ホーム

お客様事例

Autodesk

リアクティブからプロアクティブなデータ品質への移行
Autodesk + IBM Databand
オフィスでノートPCを使って作業する2人。1人は立って、もう1人は座って作業をしている。
データインシデントを解決するための事後対応型アプローチ

Steve Gotlieb氏は、複数の業界にソフトウェア製品を提供する多国籍ソフトウェア企業Autodesk社のデータ・エンジニアリング兼視覚化担当シニア・マネージャーです。彼は、北米とシンガポールのグローバル・データ・エンジニアリングおよびプラットフォーム・チームを率いています。彼のチームは、データ駆動型ソリューションをサポートする堅牢で信頼性の高いデータ・プラットフォームに貢献する再利用可能なコンポーネントの構築に重点を置いています。

Gotlieb氏率いるチームは、データ品質をコア・プラットフォーム コンポーネントとして推進し、データ・メッシュの概念をサポートして、独自のデータ・アプローチを促進し、組織全体でスムーズなデータ統合と利用を可能にしました。

同チームおよびAutodesk社の他のデータ・エンジニアリング・チームは、データ上の問題が発生したときにそれについて知るのはかなりあとになってからであるという課題に頻繁に直面していました。そのため、データが欠落しているか、データが遅れているか古いか、またはnull値を持つ不正なデータがあるかに関係なく、問題を解決するために事後的なアプローチを取ることを余儀なくされていました。

チームがデータの問題に気付いたときには、その問題はが発生してからすでに1カ月以上経過している場合もあり、会社の貴重な時間とリソースが失われていました。

「以前はカスタム構築されたデータ品質管理(DQM)システムを使用していましたが、それは受動的で拡張性のないソリューションでした」とGotlieb氏は言います。「DQM システムは、実行回数を監視するためにクエリを実行することに依存していましたが、データ品質の問題を積極的に検知することはありませんでした。データ問題に関する通知は一貫性がなく遅延しており、明確な所有権のない電子メールや Slack メッセージを通じて届くことがよくありました」。

これらのインシデントに対処する責任者がいないまま、繰り返しデータ・インシデントに不意を突かれることにうんざりしていたところに、Databandを使用することで、検知までの平均時間をほぼゼロまで短縮することができました。Autodesk社ではイノベーションを奨励しており、これは、Databand のデータ可観測性をビジネスにもたらす素晴らしい機会であると捉えました。 Steve Gotlieb氏 データ・エンジニアリング兼視覚化担当シニア・マネージャー Autodesk
データ品質プロセスを変革するDataband

Gotlieb氏率いるチームは、より積極的なアプローチの必要性を認識し、データ観測ソリューションの評価を開始しました。モンテカルロ・データやDatafoldなど、さまざまなオプションを検討しましたが、 IBM ® Databand観測性ソフトウェアの有用性は際立っていました。Autodesk社にはイノベーション推進文化から誕生した部門横断的なイノベーション・スプリント・チームがあり、潜在的なソリューションを検討し、導入を提案しています。同社の主席データ・エンジニアであるPreeti Taneja氏は、この評価において極めて重要な役割を果たしました。Taneja氏のチームには、Databand がデータ品質プロセスをどのように変革できるかを実証するための時間がわずか1週間しかありませんでした。

チームは、Databandがソース・システムの変更を検出し、ワークフロー障害が発生した場合にリアルタイムでアラートを提供できるかどうかを評価しました。その結果には目を見張るものがありました。Databandでは、Autodesk社が使用している最新のデータ・スタック(Apache Airflow、dbt、Spark、Snowflakeなど)とのシームレスに連携し、しかもインスタント・アラートを配信できる点が際立っていました。

「Databandは当社の最新のデータ・スタックと簡単に連携できるため、その価値をすぐに実感できました」とTaneja氏は言います。「アラートがリアルタイムで発信されるDatabandのプロアクティブなデータ品質機能には本当に驚きました」。

社内評価の結果、Databandは圧倒的な高い評価を受け、チームはその導入を進めることとなりました。

Gotlieb氏のチームは、Databandを毎日使用して、次のようなさまざまなユースケースにおけるデータ・インシデントを監視しています。

  • バッチ処理の監視:Databandは、生産バッチ処理の監視に広く使用されています。1,000件を超えるDAGがDatabandにより積極的に監視されています。

  • インライン・テスト:チームは、データ品質の問題をリアルタイムで検知するためにDatabandのインライン・テスト機能を使用します。これは、データの整合性を維持するために非常に重要です。

  • データ製品のサポート:Databandは、Autodesk社の顧客に洞察と製品内メッセージを提供するパイプラインをサポートします。

  • 機械学習(ML)とAIパイプラインの監視:Databandは、MLおよびAIチームをサポートするパイプラインも監視し、データ処理のすべての段階でデータ品質が維持されるようにします。
Autodesk社内のすべてのデータ・エンジニアリング・チームがDatabandを使用することが理想的です。Databandチームは当社のロードマップのリクエストに非常に迅速に対応してくれるため、近いうちにさらに多くのチームがDatabandを導入するようになるでしょう。 Steve Gotlieb氏 データ・エンジニアリング兼視覚化担当シニア・マネージャー Autodesk
データ品質と業務効率の向上

Databandを導入した直後から、Autodesk社におけるデータ品質管理は大幅に改善されました。

  1. 検知時間の短縮:Databandは、データ品質の問題を検知する時間を数日から数分に短縮しました。この即時検知昨日により、チームは大きな混乱を引き起こす前に問題に対処することができるようになっています。

  2. 平均解決時間(MTTR)の短縮:Databandを使用することにより、データ問題の解決までにかかる平均時間が数週間から数日に短縮されました。遅れて到着するデータ、スキーマの変更、パイプラインの障害などのインシデントを検知することは、組織内の信頼と効率性の維持に役立っています。

  3. 根本原因分析:Databandは高度な根本原因分析を提供し、チームが問題を迅速に特定してその原因を修正できるようにしています。

  4. シームレスな連携:このソリューションは、Spark、Airflow、dbtのコア・パイプラインはそのままで、Autodesk社の既存のプラットフォームとスムーズに連携できます。この連携には、バッチ処理、内部パイプライン、Snowflake環境の静止データの監視が含まれます。

  5. コスト削減:Autodesk社は、問題を早期に検知し、操作のやり直しを回避することで、クラウドの消費コストを削減しています。

Autodesk社は、データ品質と運用効率の向上において目に見える成果を上げています。また、機能リクエストの透明性のある追跡によりパートナーシップがさらに強固になり、継続的な改善と革新が可能になっています。

Bluesky Creationsのロゴ
Autodesk社について

世界中のデザイナー、エンジニア、建設業者、クリエイターは、私達の生活の中で出入りする建物から、運転する車、車で渡る橋まで、あらゆるものを設計・製造するためにAutodesk社(ibm.com外部へのリンク)を信頼しています。また、日々、使用している製品や、私たちにインスピレーションを与えてくれる映画やゲームでも、Autodesk社の製品が活用されています。Autodesk社のDesign and Makeプラットフォームは、データを最大限に利用した洞察入手の加速、プロセス自動化だけではなく、世界を創造し、ビジネスと地球がよりよい成果を得られるようにするためのテクノロジーを顧客に提供しています。詳しくは、autodesk.comをご覧ください。(ibm.com外部へのリンク)

ソリューション・コンポーネント IBM Databand
IBM Databand

継続的なデータの可観測性を活用し、信頼性の高いデータを提供します。

対話式デモを見る レポートを読む
法務

© Copyright IBM Corporation 2024.IBM、IBMのロゴ、およびDatabandは、米国およびその他の国または地域におけるIBM社の商標または登録商標です。

本書は最初の発行日時点における最新情報を記載しており、IBMにより予告なしに変更される場合があります。IBMが事業を展開している国または地域であっても、特定の製品を利用できない場合があります。

引用または説明されているすべての事例は、一部のクライアントがIBMの製品を使用し、達成した結果の例として提示されています。他の運用環境における実際のパフォーマンス、コスト、節約、またはその他の成果は異なる場合があります。