Avroは、Apache Hadoop向けのデータ・シリアライゼーションとデータ交換のサービスを提供するオープンソース・プロジェクトです。これらのサービスは、一緒に使用することも、個別に使用することもできます。
Avroでは、どんな言語で書かれたプログラムどうしでもでビッグデータを容易に交換できます。シリアライゼーション・サービスを使用すると、プログラムではデータをファイルやメッセージに効率的にシリアライズできます。データ・ストレージはコンパクトで効率的です。Avroでは、データ定義とデータの両方を1つのメッセージまたはファイルにまとめて保管します。
Avroはデータ定義をJSON形式で保存するため、読み取りや解釈が簡単です。データ自体はバイナリ形式で保存されるため、コンパクトで効率的です。Avroファイルにはマーカーが含まれており、大規模なデータ・セットをApache MapReduce処理に適したサブセットに分割する際に使用できます。一部のデータ交換サービスでは、データ定義を解釈し、データにアクセスするためのコードを生成するためにコードジェネレーターを使用します。Avroはこのステップを必要としないため、スクリプト言語に最適です。
Avroの主要な機能は、時間の経過とともに変化する（多くの場合、スキーマ進化と呼ばれる）データ・スキーマの堅牢なサポートです。Avroは、フィールドの欠落、フィールドの追加、フィールドの変更といったスキーマの変更を処理します。その結果、古いプログラムが新しいデータを読み取り、新しいプログラムが古いデータを読み取ることができます。AvroにはJava、Python、Ruby、C、C++などのAPIが含まれています。Avroを使用して保管されたデータは、異なる言語で書かれたプログラムからの受け渡しが可能で、Cなどのコンパイル済み言語から、Apache Pigなどのスクリプト言語へも受け渡すこともできます。
The DX Leaders
AI活用のグローバル・トレンドや日本の市場動向を踏まえたDX、生成AIの最新情報を毎月お届けします。登録の際はIBMプライバシー・ステートメントをご覧ください。
参考情報
インテリジェントなカタログ作成とポリシー管理により、AIと分析用のデータを有効化します。 IBM Knowledge Catalogは、データ検出、データ品質管理、データ保護を自動化するデータ・カタログを提供するデータ・ガバナンス・ソフトウェアです。
未加工データを実行可能な洞察にすばやく変換し、データ・ガバナンス、品質、リネージ、共有を統合し、信頼性が高くコンテキスト化されたデータでデータ・コンシューマーを支援します。
IBMコンサルティングと連携することで、企業データの価値を引き出し、ビジネス上の優位性をもたらす洞察を活用した組織を構築できます。