データレイクとは

データレイクは、2000年代後半から2010年代初頭にインターネットに接続されたアプリケーションやサービスによって作成された、大量のビッグデータ（その多くは構造化されていません）に、組織が対処するために生まれました。

従来のデータベースやデータウェアハウスとは異なり、データレイクでは、すべてのデータが1つの定義済みのスキーマに従う必要はありません。代わりに、データレイクは、さまざまな形式のさまざまなデータ・タイプを1つの集中リポジトリーに保管できます。データレイクは、クラウド・コンピューティングも活用して、データ・ストレージをよりスケーラブルかつ手頃な価格にします。

データレイクは、今日多くの組織のデータ・アーキテクチャーの中核コンポーネントです。IBM CDOの調査によると、主要な最高データ責任者（CDO）の75％がデータレイクに投資しています。

データレイクは柔軟なストレージを備えているため、組織がデータ・サイロを解消し、総合的なデータ・ファブリックを構築するのに役立ちます。これらは、データサイエンティストやデータ・エンジニアにとっても便利です。これらのプロフェッショナルは、データレイクを使用して、人工知能（AI）や機械学習（ML）のワークロードに必要な、大規模な非構造化データセットを管理することがよくあります。

長い間、組織はデータの管理にリレーショナル・データベース（1970年代に開発）とデータウェアハウス（1980年代に開発）に依存してきました。これらのソリューションは、現在でも多くの組織のITエコシステムの重要な部分となっていますが、主に構造化データセット向けに設計されました。

インターネットの成長、特にSNSやストリーミング・メディアの登場により、組織は自由形式のテキストや画像などの非構造化データを処理するようになりました。厳格なスキーマと比較的高価なストレージ・コストのため、ウェアハウスやリレーショナル・データベースでは、この大量のデータを処理するには不十分でした。

2011年、当時ソフトウェア会社Pentaho社の最高技術責任者だったJames Dixon氏が「データレイク」という用語を生み出しました。Dixon氏は、データレイクをデータウェアハウスの代替として捉えていました。ウェアハウスは対象となるビジネス・ユースケース向けに前処理されたデータを提供するのに対し、Dixon氏はデータレイクを、自然な形式で格納された大量のデータとしてイメージしました。ユーザーは、このレイクから必要なデータを取り出して、自由に使用できます。

初期のデータレイクの多くは、大規模なデータセットの分散処理用のオープンソース・ソフトウェア・フレームワークであるApache Hadoop上に構築されました。これらの初期のデータレイクはオンプレミスでホストされていましたが、データ量が急増し続けるとすぐに問題になりました。

クラウド・コンピューティングは、データレイクをよりスケーラブルなクラウド・オブジェクト・ストレージ・サービスに移行するというソリューションを提供しました。

データレイクは現在も進化を続けています。現在、多くのデータレイク・ソリューションは、安価でスケーラブルなストレージ以外にも、データ・セキュリティーやガバナンス・ツール、データ・カタログ、メタデータ管理などの機能を提供しています。

データレイクは、データレイクハウスのコア・コンポーネントでもあります。データレイクハウスは、レイクの低コスト・ストレージとウェアハウスの高性能分析機能を組み合わせた比較的新しいデータ管理ソリューションです。（詳細については、「データレイクとデータレイクハウスの違い」を参照してください）。

最も初期のデータレイクはHadoop上に構築されましたが、現代のデータレイクの中核はクラウド・オブジェクト・ストレージ・サービスです。一般的なオプションには、Amazon Simple Storage Service（Amazon S3）、Microsoft Azure Blob Storage、Google Cloud Storage、IBM Cloud Object Storageなどがあります。

クラウド・オブジェクト・ストレージを使用すると、組織はさまざまな種類の未加工データをすべて同じデータ・ストアに保管できます。また、一般的にオンプレミスのストレージよりも拡張性とコスト効率に優れています。クラウド・ストレージ・プロバイダーを使用すると、ユーザーはオンデマンドで大規模なクラスターを立ち上げることができ、使用したストレージに対してのみ料金を支払う必要があります。

データレイク・アーキテクチャーでは、ストレージ・リソースとコンピューティング・リソースは互いに分離されています。データを処理するには、ユーザーは外部のデータ処理ツールに接続する必要があります。Python、R、Spark SQLなどのインターフェースをサポートするApache Sparkは、人気のある選択肢です。

ストレージとコンピューティングを分離すると、コストを抑えながら拡張性を高めることができます。組織は、コンピューティング・リソースを拡張することなく、ストレージを追加できます。

中央データレイク・ストレージは、取り込み層を介して、データベース、アプリ、モノのインターネット（IoT）デバイス、センサーなどのさまざまなデータ・ソースに接続されます。

ほとんどのデータレイクでは、データの取り込みに抽出、変換、ロード（ETL）プロセスではなく、抽出、ロード、変換（ELT）プロセスを使用します。レイクが取り込んだデータは元の状態のままで、必要になるまで変換されません。データにアクセスしたときにのみスキーマを適用するこのアプローチは、「schema-on-read」と呼ばれます。

これらのコア・コンポーネントに加えて、組織はデータレイク・アーキテクチャーに他の層を組み込むことで、より安全で使いやすいものにすることができます。これらの層には次のものが含まれます。

• データ処理のさまざまな段階に対応するための、複数の異なるストレージ層。例えば、データレイクには、未加工データ用の層が1つ、クレンジングされたデータ用の層が1つ、信頼できるアプリケーション・データ用の層が1つある場合があります。

• 統合されたデータ・ガバナンス・ソリューションやアイデンティティーおよびアクセス管理（IAM）コントロールなどのセキュリティーおよびガバナンス層により、データの品質が維持され、不正アクセスから保護されます。

• ユーザーがメタデータフィルターやその他の方法を使用してデータを簡単に見つけられるようにするためのデータ・カタログ。

データレイク、データウェアハウス、レイクハウスはすべてデータ管理ツールの一種ですが、重要な違いがあります。これらは、さまざまなユースケースをサポートするために、統合データ・アーキテクチャーで一緒に使用されることがよくあります。

データレイクと同様に、データウェアハウスは、さまざまなデータソースからのデータを単一のストア（通常はリレーショナルデータベースシステム）に集約します。主な違いは、データウェアハウスは取り込んだデータをクリーンアップして準備し、データ分析に使用できる状態にすることです。

データウェアハウスは主に、高パフォーマンスのクエリ、ほぼリアルタイムの分析、ビジネス・インテリジェンス（BI）の取り組みをサポートするように設計されています。そのため、構造化データ向けに最適化されており、分析エンジン、ダッシュボード、データ視覚化ツールと緊密に統合されています。

ウェアハウスは、データレイクよりも高価で、柔軟性や拡張性が低いストレージになる傾向があります。組織は通常、特定の分析プロジェクトにウェアハウスを使用し、大規模で多目的なストレージにはデータレイクを使用します。

データレイクハウスは、レイクの柔軟なデータ・ストレージとウェアハウスの高性能な分析機能を組み合わせたデータ管理ソリューションです。

データレイクと同様に、データレイクハウスは低コストであらゆる形式のデータを保管できます。データレイクハウスは、クラウド・データレイク・ストレージ・システム上にウェアハウス・スタイルの分析インフラストラクチャーも構築し、2つのソリューションの機能を統合します。

組織はレイクハウスを使用して、AI、ML、BI、データ分析など、さまざまなワークロードをサポートできます。レイクハウスは、データ・アーキテクチャーの最新化パスとしても機能します。組織は、コストのかかる総入れ替え作業を行わずに、既存のレイクとウェアハウスの横にレイクハウスを配置できます。

データレイクは、データの保管、共有、使用を容易にすることで、組織がビジネス・データからより多くの価値を引き出すのに役立ちます。具体的には、データレイクは次の機能を提供できます。

• 柔軟性：データレイクは、構造化、半構造化、非構造化データセットを取り込むことができます。組織は、異なるタイプのデータごとに個別のストレージ・システムを維持する必要がないため、データ・アーキテクチャーを簡素化できます。

• 低コスト：データを保管するためにコストのかかるクリーニングおよび変換プロセスを経る必要がなく、クラウド・オブジェクト・ストレージは一般にオンプレミスの代替手段よりも安価です。組織は、データ管理イニシアチブ全体で予算とリソースをより効果的に最適化できます。

• 拡張性：データレイクはコンピューティング・リソースとストレージ・リソースを分離し、通常はクラウド・ストレージ・サービスを使用するため、他の多くのデータ・ストレージ・ソリューションよりもスケールアップやスケールダウンが簡単です。

• データ・サイロの減少：IBM Institute for Business Valueのベンチマーク・データによると、組織の61％がデータ・サイロが最大の課題の1つであると述べています。データレイクは、さまざまな種類のデータをさまざまな場所に保管する必要性をなくすことで、データ・サイロの解消に役立ちます。中央のデータレイクまたはデータレイクのセットは、事業単位全体に分散されたさまざまなデータ・ストアよりもアクセスしやすい場合があります。

データレイクは厳密なスキーマを強制せず、多くのソースからさまざまなデータ・タイプを受け入れるため、データ・ガバナンスとデータ品質に問題が生じる可能性があります。適切に管理しないと、データレイクは簡単に「データ沼」、つまり信頼性の低いデータの乱雑な泥沼になり、ユーザーが実用的な洞察を得ることが困難になります。

データ・スワンプに対抗するために、組織はメタデータ管理システムやデータカタログなどのタグ付けおよび分類ツールに投資して、ナビゲーションを容易にすることができます。

データ・ガバナンスおよびセキュリティー・ソリューション（アクセス制御、データ損失防止ツール、データ検知および対応ソリューションなど）は、データが許可なくアクセス、使用、または変更されることを防ぐのに役立ちます。

データレイクには、多くのウェアハウスやレイクハウスにあるような組み込みの処理および照会ツールがありません。さらに、データレイクに取り込まれるデータの量が増えると、特にデータが取得用に最適化されていない場合、照会と分析のパフォーマンスが低下する可能性があります。

最適化されたストレージ形式やクエリー・エンジンなどの適切なツールと構成を使用すると、データレイクのサイズに関係なく、高いパフォーマンスを確保できます。