AIのインフラストラクチャー：ストレージが重要である理由

貴社が最近、コンピューティング・ノードを購入して人工知能（AI）を試すことを決定したと想像してみてください。AIワークロードの準備を進める際には、特にストレージ システムなど、IT インフラストラクチャとテクノロジー ランドスケープの多くの側面を精査する必要があります。AIはデータによって駆動されるため、データがどのように保管されるかはAIプロジェクトの結果に大きな影響を与える可能性があります。それだけでなく、AIの 4 つの異なる段階 (取り込み、準備、トレーニング、推論) にはそれぞれ異なるストレージのニーズと要件があります。

残念ながら、一部の組織は AI のコンピューティング側に重点を置いており、ストレージ側を無視しています。このように焦点が絞られていると、AI プロジェクトの中断や完全な失敗につながる場合があります。AI のトレーニング段階を進めるには、膨大な量のデータが必要です。このデータは、トレーニング段階に「フィード」できるように、取り込み、保管、準備が必要です。トレーニングに必要なデータを取り込み、保管し、利用する機能がなければ、プロジェクトは失敗のリスクにさらされます。

AIプロジェクトには、優れた性能、拡張性、柔軟性を備えたストレージ インフラストラクチャが必要です。幸いなことに、今日のストレージ システムは AI プロジェクトのニーズに合わせて特別に構築できます。その良い例として、世界で最も強力なスーパーコンピューターの双璧である Sierra と Summit が挙げられます。

それでは、いくつかの要件を見てみましょう。

AIパイプラインの各段階の要件を、AIアプリケーションの予想されるワークロードについてレビューする必要があります。ワークロードはさまざまですが、大規模なデータセットを使用する企業の中には、長期間にわたってトレーニングできるところもあります。トレーニングが完了すると、そのデータは多くの場合、新しいワークロードの準備のためにクリティカルなストレージ プラットフォームから移動されます。データを手作業で管理するのは困難な場合があるため、ストレージ上のデータを配置する場所と、トレーニングが完了した後に移動する場所を検討しておくことが賢明です。データを自動的に移動できるプラットフォームを見つけられれば、AIの効率的で有能なストレージ管理に一歩近づきます。

自社のワークロードのニーズが及ぼす影響を確認したら、AI コンピューティングインフラストラクチャとプロジェクトに最適なストレージテクノロジーを決定できます。

データ取り込み。AIワークロードの未加工データは、さまざまな構造化データおよび非構造化データ ソースから得られるため、データを保管するには非常に信頼性の高い場所が必要です。ストレージ媒体は、大容量のデータレイクや、特にリアルタイム分析用のフラッシュストレージのような高速ティアが考えられます。

データ準備処理。保管後は、データが「生」の形式になっているため、準備処理が必要です。残りのフェーズで使用するには、データを処理してフォーマットする必要があります。この時点ではランダム読み取りと書き込みが混在するため、ファイル I/O パフォーマンスは非常に重要です。時間をかけて、AIパイプラインのパフォーマンス要件を把握しましょう。データがフォーマットされると、トレーニングのためにニューラル・ネットワークにフィードされます。

トレーニングと推論。これらの段階では計算量が非常に多く、通常はトレーニング・モデルへのストリーミング・データが必要になります。トレーニングは、モデルを作成するために使用される設定とリセットを必要とする反復的なプロセスです。推論は、データとトレーニングの合計と考えることができます。ここでは、低遅延、高スループット、迅速な応答時間の必要性があるため、サーバーの GPU とストレージ インフラストラクチャが非常に重要になります。ストレージ ネットワークは、データの取り込みと準備処理だけでなく、これらの要件も処理できるように設計する必要があります。大規模になると、多くのストレージシステム、特にAIワークロードに対応していないストレージシステムにストレスがかかるため、ストレージプラットフォームがビジネス目標に沿ったワークロードのニーズに対応できるかどうかを具体的に検討することが重要です。

次の点も考慮してください。ストレージ・インフラストラクチャーは簡単に拡張できますか。データ・ニーズの増大に応じてストレージ・システムを拡張できますか。これらは、AIインフラストラクチャー要件に直接影響を与える非常に重要な質問です。

ビジネスにおけるデータの増加に合わせて、業務の中断を最小限に、または完全に抑えながら、ストレージ インフラストラクチャをスケールアップおよびスケールアウトできることを確認しましょう。AI インフラストラクチャのさまざまなニーズに合わせて、さまざまなストレージ構成を検討できる柔軟性が必要です。

慎重に計画を立て、AI サーバーとモデリングの要件をストレージインフラストラクチャに合わせることで、投資を最大限に活用し、AI プロジェクトを成功に導くことができます。

これらの推奨事項は出発点にすぎません。組織内に適切なAIストレージ インフラストラクチャを設計および実装する専門知識を持つ人材がいない場合は、ベンダーと協力してAI用のストレージ システムの準備を支援する必要があることを常に念頭に置いてください。

また、IBM Storageを使用したAIプロジェクトの計画と準備に関してご質問がある場合やサポートが必要な場合は、お気軽にIBM Systems Lab Servicesにお問い合わせください。