たとえあなたがデータ・チームに 所属していたとしても、さまざまな役割とそのニュアンスをすべて把握し続けることは混乱を招きます。ましてや、技術者でない幹部がチームをサポートし、協力する場合はなおさら状況は複雑化します。
最も混乱しやすい部分は、データ・エンジニア、データサイエンティスト、分析エンジニアの役割の違いを理解することです。
IBMニュースレター
AI活用のグローバル・トレンドや日本の市場動向を踏まえたDX、生成AIの最新情報を毎月お届けします。登録の際はIBMプライバシー・ステートメントをご覧ください。
ニュースレターは日本語で配信されます。すべてのニュースレターに登録解除リンクがあります。サブスクリプションの管理や解除はこちらから。詳しくはIBMプライバシー・ステートメントをご覧ください。
データ・エンジニアは、データ・アーキテクチャーとパイプラインを開発および保守します。基本的には、データを生成するプログラムを構築し、運用や分析にとって意味のあるアウトプットになるようにすることを目指します。
データ・エンジニアの主な責任には、次のようなものがあります。
データ・エンジニアにとって重要なスキルは次のとおりです。
お客様のビジネス課題（顧客満足度の向上、営業力強化、コスト削減、業務改善、セキュリティー強化、システム運用管理の改善、グローバル展開、社会貢献など）を解決した多岐にわたる事例のご紹介です。
分析エンジニアは、統合された洞察を導き出せるようにデータ・ソースをまとめます。データを明確かつ簡潔な方法で繰り返しモデル化できるシステムを構築し、誰もが継続的にそのシステムを使用して質問に回答できるようにします。dbt Labs社の分析エンジニアが述べたように（ibm.com®外部へのリンク）、分析エンジニアリングの重要な部分は、「難しい問題を一度解決すれば、その解決策からメリットを無限に得られるようになる」ことです。
データ・エンジニアの主な責任には、次のようなものがあります。
分析エンジニアにとって重要なスキル（ibm.com®外部へのリンク）は次のとおりです。
データサイエンティストは、高度な統計分析と機械学習アルゴリズムを使用して大規模なデータ・セットを研究します。その際、データ内のパターンを特定 して重要なビジネス上の洞察を引き出し、そのパターンを使用して大規模でより効率的で正確な洞察を得るための機械学習ソリューションを開発するのが一般的です。重要なのは、この統計上の体験とソフトウェア・エンジニアリング上の体験を組み合わせることです。
データ・エンジニアの主な責任には、次のようなものがあります。
データサイエンティストにとって重要なスキルは次のとおりです。
データ・エンジニア、データサイエンティスト、分析エンジニアの説明を並べて見るだけでも、それぞれの役割にスキルや重点分野の重複があるため、混乱を招くことがあります。では、これらはどのように連携するのでしょうか？
データ・エンジニアはデータを生成するプログラムを構築し、そのデータが意味のあるものになることを目指しますが、それでも他のソースと組み合わせる必要があります。分析エンジニアは、これらのデータ・ソースをまとめて、ユーザーがアクセスしやすく反復可能な方法で統合された洞察にアクセスできるシステムを構築します。最後に、データサイエンティストは、そのすべてのデータを大規模に分析し、人間よりも早く、より適切にパターンと傾向を特定するためのツールを開発します。
重要なのは、これらの役割間に強力な関係性が存在する必要があることです。しかし、多くの場合、それは機能不全に陥ります。Stitch Fix社のデータ・プラットフォーム担当バイスプレジデントのJeff Magnuson氏は、数年前に「エンジニアはETLを書くべきではない」という記事（ibm.com®外部へのリンク）でこのトピックについて書いています。彼の記事の核心は、チームには「考える人」と「実行する人」が別々に存在するべきではないという点でした。むしろ、高機能なデータ・チームには、自分たちが生み出す成果物に対するエンドツーエンドの所有権が必要です。つまり、これらの役割間で「境界越しに丸投げする」ような考え方があってはなりません。
その結果、エンジニアリング分野の実務経験を有し、反復可能なプロセスの構築方法やアップタイムやSLAの重要性などを理解しているデータサイエンティストの需要が高まっています。次に、このアプローチはデータ・エンジニアの役割に影響を与え、データ・エンジニアはまったく異なる方法でデータサイエンティストと協力して作業できるようになります。そしてもちろん、分析エンジニアにもその影響が及びます。
多くの組織は、これらの役割のそれぞれを異なるものとして定義しています。それぞれがある程度同様のタスクを持っているため、終わりと始まりのしっかりとした線引きを行うのは困難です。Josh Laurito氏は次のように結論付けています。「誰もがSQLを書いています。誰もがその品質を重視します。誰もがさまざまなテーブルを評価し、データをどこかに書き込み、タイムゾーンについて不満を抱いています。誰もが似たような多くのことを行っているのです。したがって、実際に物事を区分する方法は、主要な分析データ・ストアと関連して人々がどこに配置されるかということです。」
Squarespace では、データ・エンジニアがストアの作成と維持に必要なすべての作業を担当し、分析エンジニアが各機能チームに組み込まれて意思決定をサポートし、データに関する意見をまとめ、それを使用してアクションと決定を推進し、最後にデータサイエンティストが中間に立ち、意思決定を行い、人々を導くためのインセンティブ構造とメトリクスを設定します。
もちろん、組織ごとに少しずつ異なります。現時点では境界線が曖昧ですが、これらの役割はそれぞれ進化を続け、それぞれの役割の力学をさらに変化させていくでしょう。本概要が、現状のデータ・エンジニア、データサイエンティスト、分析エンジニアの違いに関する問題の解決に役立つことを願っています。
IBM® Databandの継続的なデータ・オブザーバビリティー・プラットフォームの詳細と、それがデータ・インシデントの早期検知、迅速な解決、そしてより信頼性の高いデータをビジネスへ提供する方法についての詳細をご覧ください。さらなる詳細については、今すぐデモを予約してください。
企業が繁栄するには、データを活用して顧客ロイヤルティーを構築し、ビジネス・プロセスを自動化し、AI駆動型のソリューションで業務を刷新する必要があります。
IBMコンサルティングと連携することで、企業データの価値を引き出し、ビジネス上の優位性をもたらす洞察を活用した組織を構築します。
より良い意思決定を可能にする、AIを活用して洞察を引き出すCognos Analytics 12.0をご紹介します。