エッジにおける基盤モデル

基盤モデル（FM）は、 機械学習（ML）と人工知能（AI）における新時代の始まりを示しており、幅広いダウンストリーム・タスクに適応でき、さまざまなアプリケーションに合わせてファイン・チューニングできるAIの開発を加速しています。

作業が実行されている場所でのデータ処理の重要性が高まる中、AIモデルをエンタープライズ・エッジで提供することで、データ主権とプライバシーの要件を遵守しながら、ほぼリアルタイムの予測が可能になります。IBM watsonx®のFM機能とエッジコンピューティングを組み合わせることで、企業は運用エッジでFMの微調整や推論を行うためのAIワークロードを運用できます。これにより、企業はエッジでのAIデプロイメントの拡張が可能になり、デプロイにかかる時間とコストが削減され、応答時間が短縮されます。

エッジコンピューティングに関するこのブログ記事のすべてをご覧ください。

• パート1：「エッジにおけるクラウド」
• パート2：「エッジにおける建築」
• パート3：「エッジにおけるDevOps」
• パート4：「エッジにおけるセキュリティ」
• パート5：「エッジにおける5G」
• パート6：「エッジにおけるクラスター」
• パート7：「エッジにおける自動化」
• パート8：「エッジにおけるネットワーク・スライシング」
• パート9：「エッジにおけるデータ」
• パート10：「エッジにおけるアーキテクチャーの意思決定」
• パート11：「エッジにおけるGitOps」
• パート12：「エッジにおけるストレージサービス」
• パート13：「エッジにおけるクラウドサービス」
• パート14：「エッジにおけるデータ主権」
• パート15：「エッジにおける接続製品」
• パート16：「エッジにおける基盤モデル」

基盤モデル（FM）は、ラベルのない広範なデータセットで大規模にトレーニングされ、最先端の人工知能（AI）アプリケーションを推進しています。これらは、幅広い下流タスクに適応させ、さまざまなアプリケーション向けに微調整できます。単一ドメインで特定のタスクを実行する最新のAIモデルは、詳細はこちら学習し、ドメインや問題を超えて機能するため、FMに取って代わられています。その名前が示すように、FMはAIモデルの多くのアプリケーションの基盤になり得ます。

FMは、企業がAIの採用拡大を妨げてきた2つの主要な課題に対処しています。まず、企業はラベルのない大量のデータを生成しており、AIモデルのトレーニング用にラベルが付けられているのはそのうちのごく一部です。第2に、このラベル付けと注釈のタスクは非常に人為的であり、多くの場合、対象分野の専門家（SME）に数百時間の時間を必要とします。そのため、大勢のSMEとデータ専門家が必要になるため、ユースケースを拡張するには非常にコストがかかります。ラベル付けされていない大量のデータをINGESTし、モデルのトレーニングに自己教師あり手法を使用することで、FMはこれらのボトルネックを解消し、企業全体でのAIの広範な導入へのAvenue®を切り開きました。あらゆるビジネスに存在するこれらの膨大なデータは、洞察を引き出すために解放されるのを待っています。

大規模言語モデル（LLM）は、膨大な量のラベルなしデータでトレーニングされたneural networksのレイヤーで構成される基盤モデル（FM）の一種です。人間の言語処理方法と同様の方法で、さまざまな自然言語処理（NLP）タスクを実行します（図1を参照）。

基盤モデル（FM）を構築して導入するには、いくつかの手順があります。これらには、データ取り込み、データ選択、データの前処理、FMの事前トレーニング、1つ以上の下流タスクに合わせたモデルのチューニング、推論の提供、データとAIモデルとライフサイクル管理が含まれ、これらすべてはFMOpsとして説明できます。

これらを支援するために、IBMは企業向けにこれらのFMの力を活用するためのツールと機能を提供し、IBM watsonx®ポートフォリオを通じてAIのインパクトを企業全体で倍増させることを目的としています。IBM watsonx®は以下で構成されています。

1. IBM watsonx.ai®は、FMと従来の機械学習（ML）を活用した新たな生成AI機能を、AIライフサイクルをまたぐ強力なスタジオに導入します。
2. IBM watsonx.data®は、オープン・レイクハウス・アーキテクチャーに基づいて構築された目的に適合したデータ・ストアであり、あらゆるデータに対してAIワークロードをどこでも拡張することができます。
3. IBM watsonx.governance®は、責任があり透明かつ説明可能なAIワークフローを可能にするために構築されたエンドツーエンドの自動化されたAIライフサイクルガバナンスツールキットです。

もう1つの重要なベクトルは、工業地帯、製造現場、小売店、通信会社のエッジサイトなど、エンタープライズエッジにおけるコンピューティングの重要性が高まっていることです。具体的には、エンタープライズ・エッジでのAIは、作業が実行されている場所でのデータ処理を可能にし、ほぼリアルタイムの分析を可能にします。エンタープライズ・エッジは、膨大な量のエンタープライズ・データが生成される場所であり、AIが価値ある、タイムリーで、実行可能な洞察を提供できる場所です。

AIモデルをエッジで提供することで、データ主権とプライバシー要件を遵守しながら、ほぼリアルタイムの予測が可能になります。これにより、検査データの取得、送信、トランスフォーメーション、処理に関連しがちなレイテンシーが大幅に短縮されます。エッジで作業することで、企業の機密データを保護し、応答時間を短縮してデータ転送コストを削減できます。

しかし、データ（異種性、量、規制）と制約のある参考情報（コンピューティング、ネットワーク接続性、ストレージ、さらにはITスキル）関連の課題の間では、エッジでのAIデプロイメントの拡張は簡単な作業ではありません。これらは大きく分けて次の2つのカテゴリーに分類できます。

• デプロイメントの時間/コスト：各デプロイメントは、デプロイメントの前にインストール、設定、テストが必要なハードウェアとソフトウェアの複数の層で構成されています。現在、サービス専門家が各拠点でのデプロイメントに最大1～2週間かかる場合があり、企業が組織全体に迅速かつコスト効率よくデプロイメントを拡大できる範囲は大幅に制限されています。
• 2日目の管理：導入されたエッジの数が膨大で、各導入の地理的な場所にあるため、これらのデプロイメントを監視、メンテナンス、更新するために各拠点でローカルのITサポートを提供するのに法外なコストがかかることがよくあります。

IBMは、統合されたハードウェア/ソフトウェア（HW/SW）アプライアンス・モデルをエッジAIのデプロイメントに導入することで、これらの課題に対処するエッジ・アーキテクチャーを開発しました。これは、AIデプロイメントの拡張性を支援するいくつかの重要なパラダイムで構成されています。

• ソフトウェア・スタック全体のポリシー・ベースのゼロタッチ・プロビジョニング。
• エッジシステムの状態を継続的に監視
• 多数のエッジ拠点へのソフトウェア／セキュリティ／設定更新の管理およびプッシュするケイパビリティ―——すべてを中央のクラウド・ベース拠点から、運用管理（Day-2）向けに提供。

分散ハブ・アンド・スポーク・アーキテクチャは、エッジにおけるエンタープライズAIのデプロイメントを拡張するために利用することができ、中央のクラウドまたはエンタープライズ・データ・センターがハブとして機能し、エッジ・イン・ア・ボックス・アプライアンスがエッジの場所でスポークとして機能します。このハブ・アンド・スポーク・モデルは、ハイブリッドクラウドとエッジ環境にまたがり、FMの運用に必要なリソースを最適に利用するために必要なバランスを最もよく示しています（図2を参照）。

膨大なラベルなしデータセットに対して自己教師あり手法を使用した、これらのベースの大規模言語モデル（LLM）やその他の種類の基盤モデルの事前トレーニングには、多くの場合、大量のコンピューティング（GPU）参考情報が必要となるため、ハブで実行するのが最適です。事実上無限のコンピューティング参考情報と大規模なデータの山により、クラウドに保管されることが多いため、大規模なパラメーター・モデルの事前トレーニングと、これらのベースとなる基盤モデルの精度の継続的な向上が可能になります。

一方、下流のタスク向けのこれらのベースFMのチューニングは、数十または数百のラベル付きデータ・サンプルと推論サービスのみを必要とするため、エンタープライズ・エッジでは数個のGPUだけで実現できます。これにより、機密性の高いラベル付きデータ（または企業の最高峰データ）を企業の運用環境内に安全に保持できると同時に、データ転送コストも削減できます。

データサイエンティストは、アプリケーションをエッジに展開するためのフルスタック・アプローチを使用して、モデルの微調整、テスト、および展開を実行できます。これは、新しいAIモデルをエンド・ユーザーに提供するための開発ライフサイクルを短縮しながら、単一の環境で実現できます。Red Hat OpenShift Data Science（RHODS）や最近発表されたRed Hat OpenShift AIのようなプラットフォームは、クラウドやエッジ環境で本番環境に対応可能なAIモデルを迅速に開発・デプロイするためのツールを提供します。

最後に、微調整されたAIモデルをエンタープライズ・エッジで提供することで、データの取得、送信、変換、処理に関連しがちなレイテンシーが大幅に短縮されます。クラウドでの事前トレーニングをエッジでのファイン・チューニングと推論から切り離すことで、推論タスクに関連する必要時間とデータ移動コストを削減し、全体的な運用コストを削減できます（図3を参照）。

この価値提案をエンドツーエンドで実証するために、公共およびカスタム業種・業務特有のデータセットを用いて事前学習された土木インフラのビジョントランスフォーマーベースの基盤モデルをファインチューニングし、３ノードのエッジ（スポーク）クラスターで推論用にデプロイしました。このソフトウェア・スタックには、Red Hat OpenShift Container PlatformとRed Hat OpenShift Data Scienceが含まれていました。このエッジ・クラスターは、クラウドで実行されているRed Hat Advanced Cluster Management for Kubernetes（RHACM）ハブのインスタンスにも接続されています。

ポリシーベースのゼロタッチ・プロビジョニングは、Red Hat Advanced Cluster Management for Kubernetes（RHACM）を使用して、ポリシーと配置タグを介して実行され、特定のエッジ・クラスターを一連のソフトウェア・コンポーネントと設定にバインドしました。これらのソフトウェア・コンポーネントは、フルスタック全体に拡張され、コンピューティング、ストレージ、ネットワーク、AIワークロードをカバーしており、さまざまなOpenShiftオペレーター、必要なアプリケーション・サービスのプロビジョニング、S3バケット（ストレージ）を使用してインストールされました。

事前に訓練された公共インフラストラクチャー用の基盤モデル（FM）は、Red Hat OpenShift Data Science（RHODS）内のJupyter Notebookを介してファイン・チューニングされ、ラベル付きデータを使用して、コンクリートの橋に見られる6種類の欠陥を分類しました。この微調整されたFMの推論サービスは、Tritonサーバーを使用して実証されました。さらに、Prometheusを介して、ハードウェアおよびソフトウェア・コンポーネントからクラウド内の中央のRHACMダッシュボードにオブザーバビリティー・メトリクスを集約することで、このエッジ・システムの健全性を監視できるようになりました。民間インフラ企業は、これらのFMをエッジ・ロケーションにデプロイし、ドローン画像を使用してほぼリアルタイムで欠陥を検知できるため、洞察を得るまでの時間が短縮され、高解像度データをクラウドとの間で移動するコストが削減されます。

基盤モデル（FM）向けのIBM watsonx®機能とエッジ・イン・ア・ボックス・アプライアンスを組み合わせることで、企業は運用エッジでFMの微調整と推論のためのAIワークロードを実行できるようになります。このアプライアンスは、複雑なユースケースをすぐに処理でき、一元管理、オートメーション、セルフサービスのためのハブとスポークのフレームワークを構築します。エッジFMのデプロイメントは、繰り返し成功し、高いレジリエンスとセキュリティがあるため、数週間から数時間に短縮できます。

エッジコンピューティングに関するこのブログ記事のすべてをご覧ください。

• パート1：「エッジにおけるクラウド」
• パート2：「エッジにおける建築」
• パート3：「エッジにおけるDevOps」
• パート4：「エッジにおけるセキュリティ」
• パート5：「エッジにおける5G」
• パート6：「エッジにおけるクラスター」
• パート7：「エッジにおける自動化」
• パート8：「エッジにおけるネットワークスライシング」
• パート9：「エッジにおけるデータ」
• パート10：「エッジにおける建築的決定」
• パート11：「エッジにおけるGitOps」
• パート12：「エッジにおけるストレージサービス」
• パート13：「エッジにおけるクラウド・サービス」
• パート14：「エッジにおけるデータ主権」
• パート15：「エッジにおける接続製品」
• パート16：「エッジにおける基盤モデル」