데이터 소스의 양이 급증하고 그에 따른 데이터가 증가함에 따라 데이터 과학은 모든 산업에서 가장 빠르게 성장하는 분야 중 하나가 되었습니다. 결과적으로 데이터 과학자의 역할이 Harvard Business Review(ibm.com 외부 링크)에서 "21세기의 가장 섹시한 직업"이라고 불린 것은 놀라운 일이 아닙니다. 점점 더 많은 조직이 데이터를 해석하고 비즈니스 결과를 개선하기 위해 실행 가능한 권장 사항을 제공하고자 데이터 과학에 의존하고 있습니다.
데이터 과학 라이프사이클에는 다양한 역할, 도구 및 프로세스가 포함되며, 이를 통해 분석가는 실행 가능한 통찰력을 얻을 수 있습니다. 일반적으로 데이터 과학 프로젝트는 다음 단계를 거칩니다.
- 데이터 수집: 라이프사이클은 다양한 방법을 사용하여 모든 관련 소스의 원시 정형 및 비정형 데이터를 수집하는 것으로 시작됩니다. 이러한 방법에는 수동 입력, 웹 스크래핑, 시스템 및 장치의 실시간 스트리밍 데이터가 포함될 수 있습니다. 데이터 원본에는 로그 파일, 비디오, 오디오, 사진, 사물 인터넷(IoT), 소셜 미디어 등과 같은 비정형 데이터와 함께 고객 데이터와 같은 정형 데이터가 포함될 수 있습니다.
- 데이터 저장 및 데이터 처리: 데이터는 다양한 형식과 구조를 가질 수 있으므로 기업은 캡처해야 하는 데이터 유형에 따라 다양한 스토리지 시스템을 고려해야 합니다. 데이터 관리 팀은 데이터 저장 및 구조에 대한 표준을 설정하는 데 도움을 주어 분석, 기계 학습 및 딥 러닝 모델에 대한 워크플로우를 용이하게 합니다. 이 단계에는 ETL(추출, 변환, 로드) 작업 또는 기타 데이터 통합 기술을 사용한 데이터 정리, 중복 제거, 변환 및 데이터 결합이 포함됩니다. 이 데이터 준비는 데이터 웨어하우스, 데이터 레이크 또는 기타 리포지토리에 로드하기 전에 데이터 품질을 높이는 데 꼭 필요합니다.
- 데이터 분석: 여기서 데이터 과학자는 데이터 내 값의 편향, 패턴, 범위 및 분포를 조사하기 위해 탐색적 데이터 분석을 수행합니다. 이 데이터 분석 탐색은 a/b 테스트를 위한 가설 생성을 촉진합니다. 또한 분석가는 예측 분석, 머신 러닝/딥 러닝을 위한 모델링 작업에서 사용할 데이터의 관련성을 결정할 수 있습니다. 모델의 정확도에 따라 조직은 비즈니스 의사 결정에서 이러한 인사이트에 의존할 수 있으며, 이를 통해 확장성을 높일 수 있습니다.
- 커뮤니케이션: 마지막으로, 인사이트는 비즈니스 분석가 및 기타 의사 결정권자가 인사이트와 비즈니스에 미치는 영향을 더 쉽게 이해할 수 있도록 하는 보고서 및 기타 데이터 시각화로 제공됩니다. R 또는 Python과 같은 데이터 과학 프로그래밍 언어에는 시각화 생성을 위한 구성 요소가 포함되어 있습니다. 또는 데이터 과학자는 전용 시각화 도구를 사용할 수 있습니다.
이 eBook을 사용하여 MLOps 및 신뢰할 수 있는 AI의 3가지 주요 목표인 데이터에 대한 신뢰, 모델에 대한 신뢰, 프로세스에 대한 신뢰에 대해 다른 리더들과 의견을 부합해 보세요.
가트너 보고서 등록하기
데이터 과학은 학문으로 간주되는 반면 데이터 과학자는 해당 분야의 실무자입니다. 데이터 과학자가 반드시 데이터 사이언스 수명 주기와 관련된 모든 프로세스를 직접 담당하는 것은 아닙니다. 예를 들어 데이터 파이프라인은 일반적으로 데이터 엔지니어가 처리하지만 데이터 과학자는 유용하거나 필요한 데이터 종류에 대한 권장 사항을 제공할 수 있습니다. 데이터 과학자는 머신 러닝 모델을 구축할 수 있지만, 이러한 노력을 더 큰 수준에서 확장하려면 프로그램을 더 빠르게 실행하도록 최적화하기 위해 더 많은 소프트웨어 엔지니어링 기술이 필요합니다. 따라서 데이터 과학자는 기계 학습 엔지니어와 협력하여 기계 학습 모델을 확장하는 것이 일반적입니다.
데이터 과학자의 책임은 일반적으로, 그리고 특히 탐색적 데이터 분석 및 데이터 시각화 분야에서 데이터 분석가와 겹칠 수 있습니다. 그러나 데이터 과학자의 기술은 일반적으로 일반 데이터 분석가보다 광범위합니다. 상대적으로 데이터 과학자는 R 및 Python과 같은 일반적인 프로그래밍 언어를 활용하여 더 많은 통계 추론 및 데이터 시각화를 수행합니다.
이러한 작업을 수행하기 위해 데이터 과학자는 일반적인 비즈니스 분석가 또는 데이터 분석가를 넘어서는 컴퓨터 과학 및 순수 과학 기술이 필요합니다. 데이터 과학자는 또한 자동차 제조, 전자 상거래 또는 의료와 같은 비즈니스의 세부 사항을 이해해야 합니다.
요컨대, 데이터 과학자는 다음을 수행할 수 있어야 합니다.
- 관련 질문을 하고 비즈니스 문제점을 파악할 수 있을 만큼 비즈니스에 대해 충분히 알고 있어야 합니다.
- 통계 및 컴퓨터 과학과 비즈니스 통찰력을 데이터 분석에 적용합니다.
- 데이터베이스 및 SQL에서 데이터 마이닝, 데이터 통합 방법에 이르기까지 데이터를 준비하고 추출하기 위한 다양한 도구와 기술을 사용합니다.
- 머신 러닝 모델, 자연어 처리, 및 딥 러닝을 포함한 예측 분석 및 인공 지능 (AI)을 사용하여 빅 데이터에서 인사이트를 추출합니다.
- 데이터 처리 및 계산을 자동화하는 프로그램을 작성합니다.
- 모든 수준의 기술 이해도에서 의사 결정권자와 이해 관계자에게 결과의 의미를 스토리로 명확하게 전달하고 설명할 수 있습니다.
- 결과가 비즈니스 문제를 해결하는 데 어떻게 사용될 수 있는지 설명합니다.
- 데이터 및 비즈니스 분석가, IT 아키텍트, 데이터 엔지니어, 애플리케이션 개발자와 같은 다른 데이터 과학 팀원들과 협업합니다.
이러한 기술에 대한 수요가 높기 때문에 데이터 과학 경력에 뛰어드는 많은 개인이 인증 프로그램, 데이터 과학 과정 및 교육 기관에서 제공하는 학위 프로그램과 같은 다양한 데이터 과학 프로그램을 탐색합니다.
파운데이션 모델로 구동되는 새로운 제너레이티브 AI 기능과 함께 전통적인 기계 학습을 결합하는 완전히 새로운 엔터프라이즈 스튜디오
Watson Studio
IBM Cloud Pak for Data
"데이터 과학"과 "비즈니스 인텔리전스"(BI)라는 용어는 둘 다 조직의 데이터 및 해당 데이터 분석과 관련이 있기 때문에 혼동하기 쉽지만 초점이 다릅니다.
비즈니스 인텔리전스(BI)는 일반적으로 데이터 준비, 데이터 마이닝, 데이터 관리 및 데이터 시각화를 가능하게 하는 기술을 포괄하는 용어입니다. 비즈니스 인텔리전스 도구 및 프로세스를 통해 최종 사용자는 원시 데이터에서 실행 가능한 정보를 식별하여 다양한 산업 분야의 조직 내에서 데이터 기반 의사 결정을 용이하게 할 수 있습니다. 데이터 과학 도구는 이와 관련하여 많은 부분이 겹치지만 비즈니스 인텔리전스는 과거의 데이터에 더 중점을 두고 BI 도구의 인사이트는 본질적으로 더 설명적입니다. 데이터를 사용하여 이전에 발생한 일을 파악하여 조치를 취합니다. BI는 일반적으로 구조화된 정적(변경되지 않는) 데이터를 대상으로 합니다. 데이터 과학은 기술 데이터를 사용하지만 일반적으로 예측 변수를 결정한 다음 데이터를 분류하거나 예측하는 데 사용합니다.
데이터 과학과 BI는 상호 배타적인 것이 아니며, 디지털에 정통한 조직은 데이터에서 가치를 완전히 이해하고 추출하기 위해 두 가지를 모두 사용합니다.
데이터 과학자는 널리 사용되는 프로그래밍 언어를 사용하여 탐색적 데이터 분석과 통계적 회귀 분석을 수행합니다. 이러한 오픈 소스 도구는 사전 구축된 통계 모델링, 머신 러닝 및 그래픽 기능을 지원합니다. 이러한 언어에는 다음이 포함됩니다(자세한 내용은 "Python vs. R: What's the Difference?").
- R Studio: 통계 컴퓨팅 및 그래픽 개발을 위한 오픈 소스 프로그래밍 언어 및 환경입니다.
- Python: 역동적이고 유연한 프로그래밍 언어입니다. Python에는 데이터를 빠르게 분석하기 위한 NumPy, Pandas, Matplotlib와 같은 수많은 라이브러리가 포함됩니다.
코드 및 기타 정보 공유를 용이하게 하기 위해 데이터 과학자는 GitHub 및 Jupyter Notebook을 사용할 수 있습니다.
일부 데이터 과학자는 사용자 인터페이스를 선호할 수 있으며, 통계 분석을 위한 두 가지 일반적인 엔터프라이즈 도구는 다음과 같습니다.
- SAS: 분석, 보고, 데이터 마이닝 및 예측 모델링을 위한 시각화 및 대화형 대시보드가 포함된 포괄적인 도구 모음입니다.
- IBM SPSS: 고급 통계 분석, 방대한 머신 러닝 알고리즘 라이브러리, 텍스트 분석, 오픈 소스 확장성, 빅 데이터와의 통합 및 애플리케이션으로의 원활한 배포를 제공합니다.
데이터 과학자는 Apache Spark, 오픈 소스 프레임워크 Apache Hadoop 및 NoSQL 데이터베이스와 같은 빅 데이터 처리 플랫폼도 능숙하게 사용할 수 있습니다. 또한 비즈니스 프레젠테이션 및 스프레드시트 응용 프로그램(예: Microsoft Excel)에 포함된 간단한 그래픽 도구, Tableau 및 IBM Cognos와 같은 목적용 상용 시각화 도구, D3.js(대화형 데이터 시각화 생성을 위한 JavaScript 라이브러리) 및 RAW 그래프와 같은 오픈 소스 도구를 포함하여 광범위한 데이터 시각화 도구에 능숙합니다. 기계 학습 모델을 구축하기 위해 데이터 과학자는 PyTorch, TensorFlow, MXNet 및 Spark MLib와 같은 여러 프레임워크를 자주 사용합니다.
데이터 과학의 가파른 학습 곡선을 감안할 때 많은 기업이 AI 프로젝트에 대한 투자 수익을 가속화하기 위해 노력하고 있습니다. 그들은 종종 데이터 과학 프로젝트의 잠재력을 최대한 실현하는 데 필요한 인재를 고용하는 데 어려움을 겪습니다. 이러한 격차를 해소하기 위해 멀티페르소나 데이터 사이언스 및 머신 러닝(DSML) 플랫폼으로 눈을 돌리고 있으며, 이를 통해 '시민 데이터 과학자'의 역할이 대두되고 있습니다.
멀티페르소나 DSML 플랫폼은 자동화, 셀프 서비스 포털 및 로우코드/노코드 사용자 인터페이스를 사용하므로 디지털 기술이나 전문 데이터 과학에 대한 배경 지식이 거의 또는 전혀 없는 사람도 데이터 과학 및 머신 러닝을 사용하여 비즈니스 가치를 창출할 수 있습니다. 이러한 플랫폼은 또한 보다 기술적인 인터페이스를 제공하여 전문 데이터 과학자를 지원합니다. 다중 사용자 DSML 플랫폼을 사용하면 기업 전체의 협업이 촉진됩니다.
클라우드 컴퓨팅은 데이터 과학 프로젝트에 필요한 추가 처리 능력, 스토리지 및 기타 도구에 대한 액세스를 제공하여 데이터 과학을 확장합니다.
데이터 과학은 대규모 데이터 세트를 활용하는 경우가 많기 때문에 데이터 크기에 따라 확장할 수 있는 도구는 특히 시간에 민감한 프로젝트의 경우 매우 중요합니다. 데이터 레이크와 같은 클라우드 스토리지 솔루션은 대용량 데이터를 쉽게 수집하고 처리할 수 있는 스토리지 인프라에 대한 액세스를 제공합니다. 이러한 스토리지 시스템은 최종 사용자에게 유연성을 제공하여 필요에 따라 대규모 클러스터를 가동할 수 있도록 합니다. 또한 증분 컴퓨팅 노드를 추가하여 데이터 처리 작업을 신속하게 처리함으로써 비즈니스에서 더 큰 장기적 결과를 위해 단기적인 절충안을 만들 수 있습니다. 클라우드 플랫폼은 일반적으로 대기업이든 소규모 스타트업이든 최종 사용자의 요구 사항을 충족하기 위해 사용량 또는 구독과 같은 다양한 가격 책정 모델을 가지고 있습니다.
오픈 소스 기술은 데이터 과학 도구 세트에 널리 사용됩니다. 클라우드에서 호스팅되는 경우 팀은 로컬에서 설치, 구성, 유지 관리 또는 업데이트할 필요가 없습니다. 또한 IBM Cloud® 를 비롯한 여러 클라우드 제공업체는 데이터 과학자가 코딩 없이 모델을 구축할 수 있도록 사전 패키징된 툴 키트를 제공하여 기술 혁신 및 데이터 인사이트에 대한 액세스를 더욱 보편화합니다.
기업은 데이터 과학을 통해 수많은 이점을 얻을 수 있습니다. 일반적인 사용 사례에는 지능형 자동화를 통한 프로세스 최적화, 향상된 타겟팅 및 개인화를 통해 고객 경험(CX)을 개선하는 것이 포함됩니다. 그러나 보다 구체적인 예는 다음과 같습니다.
다음은 데이터 과학 및 인공 지능의 몇 가지 대표적인 사용 사례입니다.
- 한 국제 은행은 머신 러닝 기반 신용 위험 모델과 강력하고 안전한 하이브리드 클라우드 컴퓨팅 아키텍처를 사용하는 모바일 앱을 통해 더 빠른 대출 서비스를 제공합니다.
- 한 전자 회사는 미래의 무인 자동차를 안내하기 위해 초강력 3D 프린팅 센서를 개발하고 있습니다. 이 솔루션은 데이터 과학 및 분석 도구에 기반하여 실시간 객체 감지 기능을 향상시킵니다.
- 로보틱 프로세스 자동화(RPA) 솔루션 제공업체는 고객사의 인시던트 처리 시간을 15%에서 95%까지 단축하는 인지 비즈니스 프로세스 마이닝 솔루션을 개발했습니다. 이 솔루션은 고객 이메일의 내용과 감정을 이해하도록 훈련되어 서비스 팀이 가장 관련성이 높고 긴급한 이메일의 우선 순위를 지정하도록 지시합니다.
- 한 디지털 미디어 기술 회사는 고객이 점점 더 다양한 디지털 채널을 제공받을 때 TV 시청자의 관심을 끄는 것이 무엇인지 확인할 수 있는 시청자 분석 플랫폼을 만들었습니다. 이 솔루션은 심층 분석 및 머신 러닝을 사용하여 시청자 행동에 대한 실시간 인사이트를 수집합니다.
- 한 도시 경찰서에서는 경찰관이 범죄를 예방하기 위해 언제 어디에 자원을 배치해야 하는지 이해하는 데 도움이 되는 통계적 사건 분석 도구를 만들었습니다. 데이터 기반 솔루션은 현장 경찰관의 상황 인식을 강화하기 위해 보고서와 대시보드를 생성합니다.
- Shanghai Changjiang Science and Technology Development는 IBM ® Watson ® 기술을 사용하여 기존 의료 기록을 분석하여 뇌졸중 위험에 따라 환자를 분류하고 다양한 치료 계획의 성공률을 예측할 수 있는 AI 기반 의료 평가 플랫폼을 구축했습니다.
AI 빌더를 위한 차세대 스튜디오에서 기초 모델을 실험하고 기계 학습 모델을 자동으로 구축하세요.
DevOps와 ModelOps를 동기화하세요. 거의 모든 클라우드에서 귀사의 클라우드 네이티브 앱을 통해 AI 모델을 구축하고 확장할 수 있습니다.
AI 해석 가능성을 높입니다. AI 위험을 평가하고 완화합니다. 신뢰와 확신을 가지고 AI를 배포하세요.
고품질 예측 모델을 신속하게 구축하고 훈련시킵니다. AI 라이프사이클 관리를 간소화합니다.
Autostrade per l'Italia는 완전한 디지털 혁신을 위한 여러 가지 IBM 솔루션을 구현하여 광범위한 인프라 자산의 모니터링 및 유지 관리 방식을 개선했습니다.
MANA Community는 IBM Garage와 팀을 이루어 여러 디지털 채널과 수천 개의 소스에서 방대한 양의 환경 데이터를 마이닝할 수 있는 AI 플랫폼을 구축했습니다.
프로그래밍 언어, 도구 및 프레임워크를 완전히 자유롭게 선택할 수 있으면 창의적 사고와 진화가 향상됩니다.