블록체인 및 빅데이터 사용 사례: 블록체인 및 데이터 과학의 도전과 기회

블록체인과 빅데이터는 여러 산업에 혁명을 일으켜 비즈니스와 조직의 운영 방식을 근본적으로 변화시킬 것으로 기대되는 최고의 신흥 기술 중 하나입니다. 이 두 기술은 각각 고유한 길을 개척하고 서로 독립적으로 적용되는 상호 배타적인 기술이라고 생각할 수 있습니다.

하지만 이는 잘못된 생각입니다.

데이터 과학과 마찬가지로 블록체인은 여러 산업이 운영되는 방식을 점진적으로 변화시키고 있습니다. 또한 데이터 과학은 적절한 관리를 위해 데이터를 활용하는 데 중점을 두며, 블록체인은 분산된 원장을 유지하여 데이터의 신뢰를 보장합니다.

문제는 이 두 개념이 교차하는 곳이 있는가하는 것입니다.

이 두 기술을 동시에 적용하면 어떤 결과를 얻을 수 있을까요?

간단히 말해, 블록체인이 어떻게 데이터 과학을 혁신할 수 있을까요?

이러한 질문에 답하려면 블록체인과 데이터 과학을 따로 분리하여 더 명확하게 이해하는 것이 도움이 될 것입니다.

블록체인은 본질적으로 경제 거래를 조작할 수 없도록 기록하므로 신뢰할 필요가 없는 원장입니다. 이 기술은 비트코인과 암호화폐에 대한 일반적인 관심으로 인해 두각을 나타냈지만, 그 이후로 암호화폐 거래뿐만 아니라 가치 있는 모든 것을 기록하는 데 관련성이 있음을 발견했습니다. 개발자와 기술 애호가들은 이 새로운 기술의 기능을 알고 있기 때문에 블록체인의 사용 사례를 연이어 만들기 위해 노력했습니다.

블록체인 개발자에 대한 높은 수요

지난 몇 년 동안 블록체인의 다양한 애플리케이션에 대한 프로젝트가 진행됨에 따라 블록체인 개발자에 대한 수요가 급증했습니다. UpWork와 같은 프리랜서 플랫폼의 보고서는 가장 수요가 많은 기술로 블록체인 기술을 꼽았습니다. 이와 유사하게, 법률 연구와 같은 다른 분야의 전문가들도 블록체인 기술이 있거나 적어도 기술에 대한 이해가 있다면 큰 이점을 가진다고 합니다.

데이터 과학은 정형 데이터와 비정형 데이터에서 지식과 인사이트를 추출하고자 합니다. 이 분야에는 데이터를 사용하여 실제 프로세스를 이해하고 분석하는 데 사용되는 통계, 데이터 분석, 머신 러닝 및 기타 고급 방법이 포함됩니다.

데이터는 흔히 경제 용어로 '새로운 석유'로 불리며, 이는 유명한 GAFA(Google, Amazon, Facebook, Apple)를 포함한 주요 기업이 방대한 양의 데이터를 통제하고 있는 이유이기도 합니다. 데이터 과학의 몇 가지 일반적인 애플리케이션은 인터넷 엔진 프로토콜, 디지털 광고, 추천 서비스 등에서 볼 수 있습니다. 데이터 과학의 핵심 요소인 데이터 분석은 의료 산업에서 환자 치료 및 장비 흐름을 추적하고, 여행 및 게이밍 산업에서 소비자 경험을 개선하며, 에너지 관리 및 기타 여러 분야에서 관련성이 있는 것으로 밝혀졌습니다.

데이터 과학자의 높은 수요

데이터로 더 많은 인사이트를 제공하고 더 많은 문제를 해결하는 데 도움을 줄 수 있는 데이터 과학자에 대한 수요 또한 끝이 없어 보입니다. 이는 기존 데이터 처리 방법으로는 처리할 수 없는 매우 많은 양의 데이터를 다루는 데이터 과학의 고급 측면인 빅데이터를 고려할 때 더욱 두드러집니다.

블록체인이 매우 친숙한 핀테크, 의료, 공급망과 같은 분야와 달리, 이 기술은 데이터 과학 측면에서 광범위하게 탐구되지 않았습니다. 어떤 사람들에게는 개념 간의 관계가 존재하지 않는 것은 아니더라도 그 관계가 불분명해 보일 것입니다.

우선 블록체인과 데이터 과학은 모두 데이터를 다룹니다. 데이터 과학은 실행 가능 인사이트를 얻기 위해 데이터를 분석하는 반면, 블록체인은 데이터를 기록하고 검증합니다. 둘 다 다양한 데이터 세그먼트와의 상호 작용을 제어하기 위해 만들어진 알고리즘을 사용합니다. 곧 알게 될 공통적인 주제는 '예측을 위한 데이터 과학, 데이터 무결성을 위한 블록체인'입니다.

다른 기술 발전과 마찬가지로 데이터 과학에도 고유한 과제와 한계가 있으며, 이를 해결해야 모든 능력을 발휘할 수 있습니다. 데이터 과학의 주요 과제에는 액세스하기 어려운 데이터, 개인정보 보호 문제, 오염된 데이터 등이 있습니다.

오염된 데이터(또는 잘못된 정보)의 제어는 블록체인 기술이 데이터 과학 분야에 긍정적으로 많은 영향을 미칠 수 있는 영역 중 하나입니다. 2017년 16,000명의 데이터 전문가를 대상으로 실시한 설문조사에 따르면 중복되거나 잘못된 데이터와 같은 오염된 데이터를 포함하는 것이 데이터 과학의 가장 큰 과제로 확인되었습니다. 블록체인은 분산된 합의 알고리즘과 암호화를 통해 데이터를 검증하므로 컴퓨팅 파워가 엄청나게 많이 필요하기 때문에 조작이 거의 불가능합니다.

블록체인 기술은 분산형 시스템을 통해 데이터의 보안과 개인정보 보호를 보장합니다. 대부분의 데이터는 중앙 집중식 서버에 저장되어 사이버 공격자의 표적이 되는 경우가 많으며, 해킹 및 보안 침해에 대한 여러 보고서는 위협의 정도를 보여줍니다. 반면, 블록체인은 데이터를 생성하는 개인에게 데이터의 통제권을 되돌려주기 때문에 사이버 범죄자가 대규모로 데이터에 액세스하고 조작하기 어렵습니다.

Janexter의 Maria Weinberger는 빅데이터가 양이라면 블록체인은 질이라고 말합니다. 이는 블록체인이 데이터 검증에 초점을 맞추고 있는 반면, 데이터 과학이나 빅데이터는 대량의 데이터로부터 예측을 수행한다는 이해에 따른 것입니다.

블록체인은 더 이상 모든 데이터를 한데 모아야 하는 중앙 집중식 관점이 아니라, 개별 디바이스의 에지에서 바로 데이터를 분석할 수 있는 분산된 방식이라는 완전히 새로운 데이터의 관리 및 운영 방식을 가져왔습니다. 블록체인은 클라우드 솔루션, 인공 지능(AI), 사물인터넷(IoT)과 같은 다른 고급 기술과 통합됩니다.

또한 블록체인 기술을 통해 생성된 검증된 데이터는 구조화되고 완전하며 앞서 언급한 것처럼 변경이 불가능합니다. 블록체인에서 생성된 데이터가 빅데이터의 원동력이 되는 또 다른 중요한 영역은 데이터 무결성입니다. 블록체인이 연결된 체인을 통해 데이터의 출처를 확인하기 때문입니다.

블록체인 데이터가 일반적으로 데이터 과학자에게 도움이 될 수 있는 구체적인 방법은 5가지가 넘습니다.

• 신뢰 보장(데이터 무결성)

블록체인에 기록된 데이터는 품질을 보장하는 검증 프로세스를 거쳐야 하기 때문에 신뢰할 수 있습니다. 또한 블록체인 네트워크에서 발생하는 활동과 거래를 추적할 수 있기 때문에 투명성을 제공합니다.

작년에 Lenovo는 사기성 문서 및 양식을 탐지하는 블록체인 기술의 사용 사례를 선보였습니다. 거대 PC 기업들은 블록체인 기술을 사용하여 디지털 서명으로 인코딩된 물리적 문서를 검증했습니다. 디지털 서명은 컴퓨터로 처리되며 문서의 진위 여부는 블록체인 기록을 통해 확인됩니다.

대부분의 경우 데이터 블록의 출처 및 상호 작용에 대한 세부 정보가 블록체인에 저장되고 이에 대해 조치를 취하기 전에 자동으로 검증(또는 유효성 검사)되기 때문에 데이터 무결성이 보장됩니다.

• 악성 활동 방지

블록체인은 합의 알고리즘을 사용하여 거래를 검증하기 때문에 단일 단위가 데이터 네트워크에 위협을 가하는 것은 불가능합니다. 비정상적으로 작동하기 시작한 노드(또는 단위)를 쉽게 식별하여 네트워크에서 제거할 수 있습니다.

네트워크가 너무 분산되어 있기 때문에 한 당사자가 유효성 검사 기준을 변경하고 시스템에 원치 않는 데이터를 허용할 만큼 충분한 계산 능력을 생성하는 것은 거의 불가능합니다. 블록체인 규칙을 변경하려면 대다수의 노드가 함께 모여 합의를 도출해야 합니다. 이는 한 명의 악성 행위자가 달성할 수 있는 일이 아닙니다.

• 예측(예측 분석)

다른 유형의 데이터와 마찬가지로 블록체인 데이터를 분석하여 행동, 추세에 대한 귀중한 인사이트를 얻을 수 있으며, 이를 통해 향후 결과를 예측할 수 있습니다. 또한 블록체인은 개인 또는 개별 디바이스에서 수집한 구조화된 데이터를 제공합니다.

예측 분석에서 데이터 과학자는 대규모 데이터 세트를 기반으로 비즈니스와 관련된 고객 선호도, 고객 평생 가치, 동적 가격, 이탈률과 같은 소셜 이벤트의 결과를 정확하게 파악합니다. 그러나 이는 비즈니스 인사이트에 국한되지 않습니다. 사회적 감정이든 투자 지표이든 거의 모든 이벤트를 올바른 데이터 분석으로 예측할 수 있기 때문입니다.

또한 블록체인의 분산된 특성과 이를 통해 제공되는 방대한 계산 능력 덕분에 소규모 조직의 데이터 과학자도 광범위한 예측 분석 작업을 수행할 수 있습니다. 이러한 데이터 과학자는 클라우드 기반 서비스로 블록체인 네트워크에 연결된 수천 대의 컴퓨터의 계산 능력을 사용하여 다른 방법으로는 불가능했을 규모의 사회적 성과를 분석할 수 있습니다.

• 실시간 데이터 분석

금융 및 결제 시스템에서 볼 수 있듯이 블록체인은 실시간 국경 간 거래를 가능하게 합니다. 블록체인이 지리적 장벽에 상관없이 엄청난 액수의 빠른 결제를 실제로 실시간으로 제공할 수 있기 때문에 몇몇 은행과 핀테크 혁신가들은 현재 블록체인을 탐구하고 있습니다.

동일한 방식으로 대규모 데이터의 실시간 분석이 필요한 조직은 블록체인 지원 시스템을 호출하여 이를 달성할 수 있습니다. 은행 및 기타 조직은 블록체인을 사용하여 데이터 변경 사항을 실시간으로 관찰할 수 있으므로 의심스러운 거래를 차단할지 비정상적인 활동을 추적할지 여부와 같은 신속한 결정을 내릴 수 있습니다.

• 데이터 공유 관리

이와 관련하여 데이터 연구에서 얻은 데이터를 블록체인 네트워크에 저장할 수 있습니다. 이렇게 하면 프로젝트 팀은 다른 팀에서 이미 수행한 데이터 분석을 반복하거나 이미 사용된 데이터를 실수로 재사용하지 않습니다. 또한 블록체인 플랫폼은 데이터 과학자가 플랫폼에 저장된 분석 결과를 거래하여 작업으로 수익을 창출하는 데 도움이 될 수 있습니다.

앞서 언급했듯이 블록체인은 짧은 기간에 얻은 엄청난 화제성으로 인해 그렇게 보이지 않을 수도 있지만 아직 초기 단계에 있습니다. 기술이 성숙하고 기술을 중심으로 더 많은 혁신이 이루어지면 더 구체적인 사용 사례가 식별되고 탐색될 것으로 예상되며, 데이터 과학은 이를 통해 혜택을 얻을 수 있는 분야 중 하나일 것입니다.

하지만 데이터 과학, 특히 예외적으로 많은 양의 데이터를 처리해야 하는 빅데이터에서 블록체인이 미치는 영향에 대해 몇 가지 문제가 제기되었습니다. 이와 관련하여 한 가지 우려되는 점은 블록체인 애플리케이션을 개발하는 데 비용이 많이 든다는 것입니다. 이는 블록체인에 데이터를 저장하는 것이 기존 수단에 비해 비용이 많이 들기 때문입니다. 블록은 빅데이터 및 기타 데이터 분석 작업에서 초당 수집되는 대량의 데이터에 비해 상대적으로 적은 양의 데이터를 처리합니다.

앞서 살펴본 것처럼 블록체인은 데이터를 관리하고 사용하는 방식을 혁신할 수 있는 엄청난 잠재력을 가지고 있기 때문에 이 기술이 이러한 문제를 해결하고 데이터 과학 분야를 혁신하기 위해 어떻게 발전해 나갈지는 특히 흥미로울 것입니다.

때때로 업계 리더, 학계 전문가 및 파트너를 블록체인 펄스 블로그에 초대하여 블록체인 최신 동향에 대한 의견과 인사이트를 공유합니다. 이 블로그 게시물에 담긴 의견은 저자의 의견이며 반드시 IBM의 견해를 반영하는 것은 아니지만, 이 블로그는 모든 관점을 대화에 참여시키기 위해 노력하고 있습니다.