Apache Avroとは
Avroは、Apache Hadoop向けのデータ・シリアライゼーションとデータ交換のサービスを提供するオープンソース・プロジェクトです。これらのサービスは、一緒に使用することも、個別に使用することもできます。
Avroでは、どんな言語で書かれたプログラムどうしでもでビッグデータを容易に交換できます。シリアライゼーション・サービスを使用すると、プログラムではデータをファイルやメッセージに効率的にシリアライズできます。データ・ストレージはコンパクトで効率的です。Avroでは、データ定義とデータの両方を1つのメッセージまたはファイルにまとめて保管します。
Avroではデータ定義をJSON形式で保管しているため、読み取りや解釈が簡単です。データ自体はバイナリー形式で保管されるため、コンパクトで効率的です。Avroファイルにはマーカーが含まれており、大容量のデータ・セットをApache MapReduceでの処理に適したサブセットに分割する際に使用できます。データ交換サービスによっては、コード・ジェネレーターを使用して、データ定義を解釈し、データにアクセスするためのコードを生成する場合があります。Avroではこの手順が必要ないので、スクリプト言語に最適です。
Avroの主要な機能は、時間の経過とともに変化する（多くの場合、スキーマ進化と呼ばれる）データ・スキーマの堅牢なサポートです。Avroは、フィールドの欠落、フィールドの追加、フィールドの変更といったスキーマの変更を処理します。その結果、古いプログラムが新しいデータを読み取り、新しいプログラムが古いデータを読み取ることができます。AvroにはJava、Python、Ruby、C、C++などのAPIが含まれています。Avroを使用して保管されたデータは、異なる言語で書かれたプログラムからの受け渡しが可能で、Cなどのコンパイル済み言語から、Apache Pigなどのスクリプト言語へも受け渡すこともできます。
The DX Leaders
「The DX Leaders」は日本語でお届けするニュースレターです。AI活用のグローバル・トレンドや日本の市場動向を踏まえたDX、生成AIの最新情報を毎月お届けします。
IBMお客様事例
お客様のビジネス課題（顧客満足度の向上、営業力強化、コスト削減、業務改善、セキュリティー強化、システム運用管理の改善、グローバル展開、社会貢献など）を解決した多岐にわたる事例のご紹介です。
参考情報
インテリジェントなカタログ作成とポリシー管理により、AIと分析用のデータを有効化します。 IBM Knowledge Catalogは、データ検出、データ品質管理、データ保護を自動化するデータ・カタログを提供するデータ・ガバナンス・ソフトウェアです。
未加工データを実行可能な洞察にすばやく変換し、データ・ガバナンス、品質、リネージ、共有を統合し、信頼性が高くコンテキスト化されたデータでデータ・コンシューマーを支援します。
IBMコンサルティングと連携することで、企業データの価値を引き出し、ビジネス上の優位性をもたらす洞察を活用した組織を構築できます。