데이터 과학이란 무엇인가요?

데이터 소스의 양이 급증하고 그에 따른 데이터가 증가함에 따라 데이터 사이언스는 모든 산업에서 가장 빠르게 성장하는 분야 중 하나가 되었습니다. 결과적으로 데이터 과학자의 역할이 Harvard Business Review에서 "21세기의 가장 섹시한 직업"이라고 불린 것은 놀라운 일이 아닙니다. 점점 더 많은 조직이 데이터를 해석하고 비즈니스 결과를 개선하기 위해 실행 가능한 권장 사항을 제공하고자 데이터 사이언스에 의존하고 있습니다.

데이터 사이언스 라이프사이클에는 다양한 역할, 도구 및 프로세스가 포함되며, 이를 통해 분석가는 실행 가능한 통찰력을 얻을 수 있습니다. 일반적으로 데이터 사이언스 프로젝트는 다음 단계를 거칩니다.

• 데이터 수집: 라이프사이클은 다양한 방법을 사용하여 모든 관련 소스의 원시 정형 및 비정형 데이터를 수집하는 것으로 시작됩니다. 이러한 방법에는 수동 입력, 웹 스크래핑, 시스템 및 장치의 실시간 스트리밍 데이터가 포함될 수 있습니다. 데이터 원본에는 로그 파일, 비디오, 오디오, 사진, 사물인터넷(IoT), 소셜 미디어 등과 같은 비정형 데이터와 함께 고객 데이터와 같은 정형 데이터가 포함될 수 있습니다.

• 데이터 저장 및 데이터 처리: 데이터는 다양한 형식과 구조를 가질 수 있으므로 기업은 캡처해야 하는 데이터 유형에 따라 다양한 스토리지 시스템을 고려해야 합니다. 데이터 관리 팀은 데이터 저장 및 구조에 대한 표준을 설정하는 데 도움을 주어 분석, 기계 학습 및 딥 러닝 모델에 대한 워크플로를 용이하게 합니다. 이 단계에는 ETL(추출, 변환, 로드) 작업 또는 기타 데이터 통합 기술을 사용한 데이터 정리, 중복 제거, 변환 및 데이터 결합이 포함됩니다. 이 데이터 준비는 데이터 웨어하우스, 데이터 레이크 또는 기타 리포지토리에 로드하기 전에 데이터 품질을 높이는 데 꼭 필요합니다.

• 데이터 분석: 여기서 데이터 사이언스자는 데이터 내 값의 편향, 패턴, 범위 및 분포를 조사하기 위해 탐색적 데이터 분석을 수행합니다. 이 데이터 분석 탐색은 a/b 테스트를 위한 가설 생성을 촉진합니다. 또한 분석가는 예측 분석, 머신 러닝/딥 러닝을 위한 모델링 작업에서 사용할 데이터의 관련성을 결정할 수 있습니다. 모델의 정확도에 따라 조직은 비즈니스 의사 결정에서 이러한 인사이트에 의존할 수 있으며, 이를 통해 확장성을 높일 수 있습니다.

• 커뮤니케이션: 마지막으로, 인사이트는 비즈니스 분석가 및 기타 의사 결정권자가 인사이트와 비즈니스에 미치는 영향을 더 쉽게 이해할 수 있도록 하는 보고서 및 기타 데이터 시각화로 제공됩니다. R 또는 Python과 같은 데이터 사이언스 프로그래밍 언어에는 시각화 생성을 위한 구성 요소가 포함되어 있습니다. 또는 데이터 과학자는 전용 시각화 도구를 사용할 수 있습니다.

데이터 과학자는 데이터에서 산업별 인사이트와 답변을 추출하는 전문가입니다. 데이터 과학자는 일반적인 비즈니스 분석가 또는 데이터 분석가를 넘어서는 컴퓨터 과학 및 순수 과학 기술이 있으며, 자동차 제조, 전자 상거래 또는 의료 등 자신이 종사하는 비즈니스의 세부 사항을 심층적으로 이해합니다.  

데이터 과학자는 다음을 수행할 수 있어야 합니다.

• 관련 질문을 하고 비즈니스 문제점을 파악할 수 있을 만큼 비즈니스에 대해 충분히 알고 있어야 합니다.
  
  
• 통계 및 컴퓨터 과학과 비즈니스 통찰력을 데이터 분석에 적용합니다.
• 데이터베이스 및 SQL에서 데이터 마이닝, 데이터 통합 방법에 이르기까지 데이터를 준비하고 추출하기 위한 다양한 도구와 기술을 사용합니다.
  
  
• 머신 러닝 모델, 자연어 처리, 및 딥 러닝을 포함한 예측 분석 및  인공 지능 (AI)을 사용하여 빅 데이터에서 인사이트를 추출합니다.
• 데이터 처리 및 계산을 자동화하는 프로그램과 알고리즘을 작성합니다.
  
  
• 모든 수준의 기술 이해도에서 의사 결정권자와 이해 관계자에게 결과의 의미를 스토리로 명확하게 전달하고 설명할 수 있습니다.
  
  
• 결과가 비즈니스 문제를 해결하는 데 어떻게 사용될 수 있는지 설명합니다.
  
  
• 데이터 및 비즈니스 분석가, IT 아키텍트, 데이터 엔지니어, 애플리케이션 개발자와 같은 다른 데이터 사이언스 팀원들과 협업합니다.

이러한 기술에 대한 수요가 높기 때문에 데이터 과학 경력에 뛰어드는 많은 개인이 인증 프로그램, 데이터 과학 과정 및 교육 기관에서 제공하는 학위 프로그램과 같은 다양한 데이터 과학 프로그램을 탐색합니다.

데이터 과학자가 반드시 데이터 사이언스 수명 주기와 관련된 모든 프로세스를 직접 담당하는 것은 아닙니다. 예를 들어 데이터 파이프라인은 일반적으로 데이터 엔지니어가 처리하지만 데이터 과학자는 유용하거나 필요한 데이터 종류에 대한 권장 사항을 제공할 수 있습니다. 데이터 과학자는 머신 러닝 모델을 구축할 수 있지만, 이러한 노력을 더 큰 수준에서 확장하려면 프로그램을 더 빠르게 실행하도록 최적화하기 위해 더 많은 소프트웨어 엔지니어링 기술이 필요합니다. 따라서 데이터 과학자는 기계 학습 엔지니어와 협력하여 기계 학습 모델을 확장하는 것이 일반적입니다.

데이터 사이언스자의 책임은 일반적으로, 그리고 특히 탐색적 데이터 분석 및 데이터 시각화 분야에서 데이터 분석가와 겹칠 수 있습니다. 그러나 데이터 사이언스자의 기술은 일반적으로 일반 데이터 분석가보다 광범위합니다. 상대적으로 데이터 사이언스자는 R 및 Python과 같은 일반적인 프로그래밍 언어를 활용하여 더 많은 통계 추론 및 데이터 시각화를 수행합니다.

"데이터 사이언스"과 "비즈니스 인텔리전스"(BI)라는 용어는 둘 다 조직의 데이터 및 해당 데이터 분석과 관련이 있기 때문에 혼동하기 쉽지만 초점이 다릅니다.

비즈니스 인텔리전스(BI)는 일반적으로 데이터 준비, 데이터 마이닝, 데이터 관리 및 데이터 시각화를 가능하게 하는 기술을 포괄하는 용어입니다. 비즈니스 인텔리전스 도구 및 프로세스를 통해 최종 사용자는 원시 데이터에서 실행 가능한 정보를 식별하여 다양한 산업 분야의 조직 내에서 데이터 기반 의사 결정을 용이하게 할 수 있습니다. 데이터 사이언스 도구는 이와 관련하여 많은 부분이 겹치지만 비즈니스 인텔리전스는 과거의 데이터에 더 중점을 두고 BI 도구의 인사이트는 본질적으로 더 설명적입니다. 데이터를 사용하여 이전에 발생한 일을 파악하여 조치를 취합니다. BI는 일반적으로 구조화된 정적(변경되지 않는) 데이터를 대상으로 합니다. 데이터 사이언스은 기술 데이터를 사용하지만 일반적으로 예측 변수를 결정한 다음 데이터를 분류하거나 예측하는 데 사용합니다.

데이터 사이언스와 BI는 상호 배타적인 것이 아니며, 디지털에 정통한 조직은 데이터에서 가치를 완전히 이해하고 추출하기 위해 두 가지를 모두 사용합니다.

데이터 사이언스자는 널리 사용되는 프로그래밍 언어를 사용하여 탐색적 데이터 분석과 통계적 회귀 분석을 수행합니다. 이러한 오픈 소스 도구는 사전 구축된 통계 모델링, 머신 러닝 및 그래픽 기능을 지원합니다. 이러한 언어에는 다음이 포함됩니다(자세한 내용은 "Python vs. R: What's the Difference?").

• R Studio: 통계 컴퓨팅 및 그래픽 개발을 위한 오픈 소스 프로그래밍 언어 및 환경입니다.
• Python: 역동적이고 유연한 프로그래밍 언어입니다. Python에는 데이터를 빠르게 분석하기 위한 NumPy, Pandas, Matplotlib와 같은 수많은 라이브러리가 포함됩니다.

코드 및 기타 정보 공유를 용이하게 하기 위해 데이터 사이언스자는 GitHub 및 Jupyter Notebook을 사용할 수 있습니다.

일부 데이터 사이언스자는 사용자 인터페이스를 선호할 수 있으며, 통계 분석을 위한 두 가지 일반적인 엔터프라이즈 도구는 다음과 같습니다.

• SAS: 분석, 보고, 데이터 마이닝 및 예측 모델링을 위한 시각화 및 대화형 대시보드가 포함된 포괄적인 도구 모음입니다.
• IBM SPSS: 고급 통계 분석, 방대한 머신 러닝 알고리즘 라이브러리, 텍스트 분석, 오픈 소스 확장성, 빅 데이터와의 통합 및 애플리케이션으로의 원활한 배포를 제공합니다.

데이터 사이언스자는 Apache Spark, 오픈 소스 프레임워크 Apache Hadoop 및 NoSQL 데이터베이스와 같은 빅 데이터 처리 플랫폼도 능숙하게 사용할 수 있습니다. 또한 비즈니스 프레젠테이션 및 스프레드시트 응용 프로그램(예: Microsoft Excel)에 포함된 간단한 그래픽 도구, Tableau 및 IBM Cognos와 같은 목적용 상용 시각화 도구, D3.js(대화형 데이터 시각화 생성을 위한 JavaScript 라이브러리) 및 RAW 그래프와 같은 오픈 소스 도구를 포함하여 광범위한 데이터 시각화 도구에 능숙합니다. 기계 학습 모델을 구축하기 위해 데이터 사이언스자는 PyTorch, TensorFlow, MXNet 및 Spark MLib와 같은 여러 프레임워크를 자주 사용합니다.

데이터 사이언스의 가파른 학습 곡선을 감안할 때 많은 기업이 AI 프로젝트에 대한 투자 수익을 가속화하기 위해 노력하고 있습니다. 그들은 종종 데이터 사이언스 프로젝트의 잠재력을 최대한 실현하는 데 필요한 인재를 고용하는 데 어려움을 겪습니다. 이러한 격차를 해소하기 위해 멀티페르소나 데이터 사이언스 및 머신 러닝(DSML) 플랫폼으로 눈을 돌리고 있으며, 이를 통해 '시민 데이터 사이언스자'의 역할이 대두되고 있습니다.

멀티페르소나 DSML 플랫폼은 자동화, 셀프 서비스 포털 및 로우코드/노코드 사용자 인터페이스를 사용하므로 디지털 기술이나 전문 데이터 사이언스에 대한 배경 지식이 거의 또는 전혀 없는 사람도 데이터 사이언스 및 머신 러닝을 사용하여 비즈니스 가치를 창출할 수 있습니다. 이러한 플랫폼은 또한 보다 기술적인 인터페이스를 제공하여 전문 데이터 사이언스자를 지원합니다. 다중 사용자 DSML 플랫폼을 사용하면 기업 전체의 협업이 촉진됩니다.

클라우드 컴퓨팅은 데이터 사이언스 프로젝트에 필요한 추가 처리 능력, 스토리지 및 기타 도구에 대한 액세스를 제공하여 데이터 사이언스을 확장합니다.

데이터 사이언스는 대규모 데이터 세트를 활용하는 경우가 많기 때문에 데이터 크기에 따라 확장할 수 있는 도구는 특히 시간에 민감한 프로젝트의 경우 매우 중요합니다. 데이터 레이크와 같은 클라우드 스토리지 솔루션은 대용량 데이터를 쉽게 수집하고 처리할 수 있는 스토리지 인프라에 대한 액세스를 제공합니다. 이러한 스토리지 시스템은 최종 사용자에게 유연성을 제공하여 필요에 따라 대규모 클러스터를 가동할 수 있도록 합니다. 또한 증분 컴퓨팅 노드를 추가하여 데이터 처리 작업을 신속하게 처리함으로써 비즈니스에서 더 큰 장기적 결과를 위해 단기적인 절충안을 만들 수 있습니다. 클라우드 플랫폼은 일반적으로 대기업이든 소규모 스타트업이든 최종 사용자의 요구 사항을 충족하기 위해 사용량 또는 구독과 같은 다양한 가격 책정 모델을 가지고 있습니다.

오픈 소스 기술은 데이터 사이언스 도구 세트에 널리 사용됩니다. 클라우드에서 호스팅되는 경우 팀은 로컬에서 설치, 구성, 유지 관리 또는 업데이트할 필요가 없습니다. 또한 IBM Cloud 를 비롯한 여러 클라우드 제공업체는 데이터 과학자가 코딩 없이 모델을 구축할 수 있도록 사전 패키징된 툴 키트를 제공하여 기술 혁신 및 데이터 인사이트에 대한 액세스를 더욱 보편화합니다. 

기업은 데이터 사이언스을 통해 수많은 이점을 얻을 수 있습니다. 일반적인 사용 사례에는 지능형 자동화를 통한 프로세스 최적화, 향상된 타겟팅 및 개인화를 통해 고객 경험(CX)을 개선하는 것이 포함됩니다. 그러나 보다 구체적인 예는 다음과 같습니다.

다음은 데이터 사이언스 및 인공 지능의 몇 가지 대표적인 사용 사례입니다.

• 한 국제 은행은 머신 러닝 기반 신용 위험 모델과 강력하고 안전한 하이브리드 클라우드 컴퓨팅 아키텍처를 사용하는 모바일 앱을 통해 더 빠른 대출 서비스를 제공합니다.
• 한 전자 회사는 미래의 무인 자동차를 주도하기 위해 초강력 3D 프린팅 센서를 개발하고 있습니다. 이 솔루션은 데이터 사이언스 및 분석 도구에 기반하여 실시간 객체 감지 기능을 향상시킵니다.
• 로보틱 프로세스 자동화(RPA) 솔루션 제공업체는 고객사의 인시던트 처리 시간을 15%에서 95%까지 단축하는 인지 비즈니스 프로세스 마이닝 솔루션을 개발했습니다. 이 솔루션은 고객 이메일의 내용과 감정을 이해하도록 훈련되어 서비스 팀이 가장 관련성이 높고 긴급한 이메일의 우선 순위를 지정하도록 지시합니다.
• 한 디지털 미디어 기술 회사는 고객이 점점 더 다양한 디지털 채널을 제공받을 때 TV 시청자의 관심을 끄는 것이 무엇인지 확인할 수 있는 시청자 분석 플랫폼을 만들었습니다. 이 솔루션은 심층 분석 및 머신 러닝을 사용하여 시청자 행동에 대한 실시간 인사이트를 수집합니다.
• 한 도시 경찰서에서는 경찰관이 범죄를 예방하기 위해 언제 어디에 자원을 배치해야 하는지 이해하는 데 도움이 되는 통계적 사건 분석 도구를 만들었습니다. 데이터 기반 솔루션은 현장 경찰관의 상황 인식을 강화하기 위해 보고서와 대시보드를 생성합니다.
• Shanghai Changjiang Science and Technology Development는 IBM® Watson 기술을 사용하여 기존 의료 기록을 분석하여 뇌졸중 위험에 따라 환자를 분류하고 다양한 치료 계획의 성공률을 예측할 수 있는 AI 기반 의료 평가 플랫폼을 구축했습니다.