ホーム
お客様事例
IBM Big AI Models - Turbonomic
人工知能は重要な節目を迎えており、大規模言語モデル(LLM)のトレーニングは、最も計算負荷の高いタスクの1つです。高性能コンピューティングは、生成AIとLLMワークロードの最適化に不可欠であり、グラフィックス・プロセッシング・ユニット(GPU)は高価で不足する可能性があります。GPUは、複雑な数学的計算と並列処理を処理するように設計された特殊なコンピューター・チップで、ディープラーニング・モデルのトレーニングと推論に必要な複雑な計算に最適です。その結果、GPUの需要が高まり、AIの成功にはGPUの使用を最適化することが重要です。
エンジニアリング・チームが生成AIプロジェクトをテストおよび改良するための主要な研究開発環境をサポートするIBM® BigAIModels(BAM)チームは、改善の機会を見出しました。テスト段階を通過するプロジェクトが増えるにつれて、チームはリソースの無駄を避けるために各インスタンスを最適に使用することの重要性を認識しました。
IBM BAMチームは、GPUリソースを最適化し、LLM Kubernetesインスタンスを管理するために、高度なアプリケーション・リソース管理ソフトウェア・ツールである IBM® Turbonomicを導入しました。リアルタイム・データを使用するTurbonomicは、リソースの使用率と効率を最適化するための自動アクションに関するAI主導の推奨事項を生成します。最適なリソース割り当て戦略を特定することで、ソリューションはチームが自動的に実行するように構成できるカスタマイズされた提案を生成し、AI主導のリソース最適化を可能にしました。
IBM Turbonomicは、コンテナ化されたアプリケーション、バーチャル・マシン、パブリッククラウドなどのハイブリッドクラウド管理を最適化するために特別にカスタマイズされたIBM社内ソフトウェアで、既存のインフラストラクチャー内でシームレスな統合を実現しています。
AIプラットフォーム研究者のTom Morris氏は「TurbonomicがLLM推論サーバーをスケールアップおよびスケールダウンできるようにすることで、パフォーマンスの監視に費やす時間が短縮された」と評価しています。
IBM提携前
IBM提携後
IBM BAMチームは、Turbonomicを使用することで、ビジネスの変化し続けるニーズに適応し、LLMサービスをサポートし、100台を超えるNVIDIA A100 GPUを実行できる、スケーラブルで俊敏なインフラストラクチャーを構築することができました。
チームは、オーバープロビジョニングされたインスタンスをスケールダウンすることで、アイドル状態のGPUリソースを3から16(5.3倍)に増やし、それらのリソースで追加のワークロードを処理できるようにできることを示しました。
成果には次のものが含まれます。
IBM BAMチームは、Turbonomicの自動化機能を適用して、LLMサービスの拡張と最適化に成功しました。この改善により、チームは戦略的なプロジェクトに時間を再配分できるようになりました。
IBM BigAIModels(BAM)チームは、IBM® Research 内の研究者とエンジニアで構成されるグループで、大規模なAIモデルの開発と適用に重点を置いています。これらのモデルは、膨大な量のデータを処理および分析するように設計されており、自然言語処理、コンピューター・ビジョン、予測分析などのアプリケーションを可能にします。
© Copyright IBM Corporation 2024 .IBM、IBMのロゴ、Turbonomic、IBM Researchは、米国およびその他の国におけるIBM社の商標または登録商標です。本書は最初の発行日時点における最新情報を記載しており、IBMにより予告なしに変更される場合があります。IBMが事業を展開している国または地域であっても、特定の製品を利用できない場合があります。
引用または説明されているすべての事例は、一部のお客様がIBMの製品を使用し、達成した結果の例として提示されています。他の運用環境における実際のパフォーマンス、コスト、節約、またはその他の成果は異なる場合があります。