生成検索

プロジェクトに適したモデルを選択するには、多くの要素を考慮する必要があります。

モデルのライセンスによって、その使用方法が制限される場合があります。例えば、モデルのライセンスによって、商用アプリケーションの一部として使用できない場合があります。

モデル・トレーニングに使用されるデータセットは、特定のアプリケーションでモデルがどの程度適切に機能するかに直接影響し、モデルが意味をなさない、不快な、または単に望ましくない応答を生成するリスクに大きく影響します。同様に、著作権で保護されたデータやプライベート・データでトレーニングされたモデルは、ユーザーが法的責任を負う可能性があります。IBMは、トレーニング・データの完全な透明性と、モデルに起因する法的請求に対する補償を提供します。

モデルのサイズ、すなわちモデルがトレーニングされるパラメーターの数、コンテキストウィンドウのサイズ（モデルが受け入れ可能なテキストの長さ）は、モデル性能、リソース要件および拡張コスト毎、スループットに影響を与えます。「大きいほど良い」という考え方に従って200億個のパラメーターを擁するモデルを選択することは素晴らしいことかもしれません、リソース要件と精度の向上（これがある場合）を考えると、それが正当化されない可能性があります。最近の研究では、一部のソリューションでは、小さいモデルの方が大きいモデルよりもむしろ大幅に優れていることが示されています。

モデルにファイン・チューニングを加えると、タスクへの適合性に影響する可能性があります。例えば、IBMはGraniteモデルの2つのバージョンを提供しています。1つは一般的なチャット・アプリケーション用に調整されたもので、もう1つは指示に従うように調整されたものです。

モデルを選択する際のその他の考慮事項は次のとおりです。

• モデル・パラメーターの選択（例：モデルの温度）により、人間のようなテキストと事実に基づく応答の作成のバランスが取れます。モデルの温度を高い値に設定すると、一貫性はあるものの、面白みに欠ける、または簡潔すぎる応答が生成される可能性があります。一方、温度を低い値に設定すると、応答に多様性がもたらされますが、応答の長さと内容が予測不可能になります。

• 効果のない結果や不快な結果を防ぐためのモデル・ガードレールの選択と実装。

• クライアント・データとユーザー・プロンプトの言語も考慮する必要があります。LLMの大半は英語のテキストでトレーニングを受けており、多くの場合、英語とその他の言語の間で翻訳を行い、それぞれの専門レベルが異なります。多言語またはローカライズされた言語サポートを必要とするアプリケーションでは、サポートされている各言語でトレーニングされた複数のモデルの使用や、多言語インプットを英語または別の「基本」言語に翻訳する翻訳ステップの実装が必要になる場合があります。

お客様によっては、システムの応答を継続的に改善するためのフィードバック・メカニズムを望む場合があります。時間の経過とともに、このフィードバックはWatson Discovery構成（検索パラメーターの調整など）とLLMの微調整の両方を改善することができます。

規制の厳しい業界のクライアントは、規制に準拠するために監視の追加の層を追加し、クエリーがどのように処理されるか、およびAIが応答を生成する上での役割について、ユーザーに透明性を提供したいと考える場合があります。

他の統合システムと同様に、性能、ユーザー満足度、潜在的な問題を継続的に監視します。ユーザーの需要の増加に応じてインフラストラクチャーを拡張できるように準備しておきます。