モデル崩壊とは

人工知能（AI）開発とコンピュータ・サイエンスにおける一般的な格言に、人工知能（AI）モデルはトレーニングされたデータによって決まる、という言葉があります。近年、研究者は、旧モデルの出力のみに基づいてトレーニングされた生成モデルが、次第に不正確な成果を生み出していくことを発見しました。「取り返しのつかない欠陥」につきまとわれるこれらのモデルは、やがて役に立たなくなります。¹これは、あるモデルのフィッティング中の出力に発生したエラーが、後続モデルのトレーニングに含まれることによって発生します。その後、新しいモデルでも独自のエラーが発生します。モデル崩壊は、世代を重ね、エラーが積み重なるにつれて進行します。^2.

これらのエラーは、生成AIモデルが元のデータ分布よりも差異が少ないデータ・セットを生成するために発生します。Ilia Shumailov氏、Zakhar Shumaylov氏、Yiren Zhao氏、およびイギリスとカナダの大学の研究員チームは、モデル崩壊に関して広く引用されている報告書を作成しました。研究チームはAIモデルを用いた実験を通して、AIが生成したデータ（合成データとも呼ばれる）で訓練されたモデルが、データの真の分布の両端、つまり極端な部分からの情報を初期段階で失うことを発見しました。彼らはこれを「初期モデル崩壊」と呼びました。その後のモデル反復では、データ分布が収束しすぎたため、元のデータとはほとんど似ていませんでした。研究者たちは、これを「後期モデルの崩壊」と呼んでいました。³

実際のシナリオでは、大規模言語モデル（LLM）などの大規模な生成AIモデルに使用されるトレーニングプロセスが原因で、モデル崩壊が発生する可能性があります。LLMは主に、インターネットからスクレイピングされた、人間が生成したデータに基づいてトレーニングを受けています。しかし、AIが作成したコンテンツがウェブ上で増えれば増えるほど、人間が作成したデータに代わって、将来のモデルのトレーニングに使われるようになり、モデル崩壊を招く可能性があります。

モデル崩壊の現象はAI開発に深刻な影響をもたらすため、研究者たちはいくつかの解決策を提案しています。こうした解決策には、データの出所を追跡すること、元のデータソースへのアクセスを保持すること、蓄積されたAI生成データを実際のデータと組み合わせてAIモデルをトレーニングすることなどが含まれます。

生成AIモデルは近年、不正確で意味不明な出力（AIハルシネーションとも呼ばれる）を生成することで話題になっています。たとえば、Google Bardのチャットボットは、James Webb Space Telescopeについて誤った主張を行い、また一方では、AIによって生成される人間の画像は、指の本数が多い傾向が広く見られます。

不正確で無意味なアウトプットは不便であり、時には楽しいものもありますが、モデル崩壊の結果はより広範囲に及ぶ可能性もあります。

モデル崩壊による不正確な出力は、意思決定にAIを使用する企業に多大なコストをもたらす可能性があります。カスタマー・サービス用チャットボットからAI搭載医療診断ツールに至るまで、あらゆるものが影響を受ける可能性があります。たとえば、低確率条件がやがて忘れ去られ、前世代のモデルのトレーニング・データ・セットから削除されたために、患者が希少疾患であると正しく診断できなかったAI診断モデルを想像してみてください。

モデルが崩壊すると、実際の人間とのやり取りや好みに関連する範囲外のデータポイントがモデルによって破棄されることがあります。その結果、あまり人気のないコンテンツやユニークなコンテンツを探しているユーザーは、モデルの出力に失望する可能性があります。⁴たとえば、オンライン買い物客向けのAIレコメンデーション・システムを考えてみましょう。消費者はライムグリーンの靴が好みですが、システムがトップセラーであることを理由に黒と白の靴を継続的に推奨する場合、消費者は他の場所で解決策を求めるかもしれません。

広く利用されているAIシステムでモデル崩壊が進行し、絶えず狭い出力を生み出すと、「ロングテール」のアイデアがやがて一般市民の意識から消え去り、人間の知識の範囲が制限され、社会に一般的に存在するバイアスが悪化する可能性があります。⁵たとえば、今日の科学者は、AI搭載研究ツールを利用して研究における情報を得ることができます。しかし、モデル崩壊の影響を受けるツールは、広く引用されている研究のみを参考として提供する場合があり、重要な発見につながる可能性のある重要な情報をユーザーから奪う可能性があります。

生成AIモデルの種類によって、モデル崩壊による影響は異なります。

LLMでは、モデル崩壊が、ますます無関係で無意味な、繰り返しの多い出力となって現れる可能性があります。ある実験では、メタ社が公開したオープンソースの大規模言語モデルOPT-125Mを研究者がファイン・チューニングしました。そのモデル世代は、その前の世代が生成したデータでトレーニングされました。建築に関する英語の初期入力の後、あるモデル世代は、最終的に、異なる色のしっぽを持つジャックウサギに関する出力を生成しました。⁶

モデル崩壊は、出力の品質、多様性、精度が低下するため、画像生成モデルでは特に顕著です。ある実験では、異なる手書きの数字のデータ・セットを使用して、変分オートエンコーダ（VAE）をトレーニングしました。複数の反復トレーニング・サイクルを経て、後の世代のモデルでは、多くの桁が互いに類似した出力が得られました。⁷多様な顔の画像で訓練された敵対的生成ネットワーク（GAN）モデルを含む別の研究では、モデルが最終的により均質な顔を生成することがわかりました。⁸

混合ガウス・モデルはデータをクラスターに整理できますが、研究者は、データを2つのクラスターに分割するタスクを課したGMMは、数十回のイテレーション後にパフォーマンスが大幅に低下することを発見しました。このモデルの基礎となるデータ分布に対する認識は時間の経過とともに変化し、2000回目のイテレーションまでに、出力の差異はほとんどなくなりました。⁹

モデル崩壊は、機械学習で観察される複数のモデル劣化現象の一つです。その他には、壊滅的忘却、モード崩壊、モデル・ドリフト、パフォーマンス予測などがあります。それぞれモデル崩壊と類似点はあるものの、異なる現象です。

壊滅的忘却とモデル崩壊はどちらも、AIシステムによって失われる情報に関係しています。しかし、壊滅的忘却はモデルの崩壊とは異なります。壊滅的忘却とは、あるモデルが新しい情報を学習すると、以前の情報を「忘れて」しまうことで、そのモデルを古い情報の使用を必要とするタスクに適用すると、性能が低下します。モデル崩壊は、データの喪失や一つのモデル内での性能の悪化ではなく、連続するモデル世代にわたる性能の低下が関係するため、異なるものです。¹⁰

モデル崩壊と名前は似ていますが、モード崩壊はGANモデルに特有の現象です。この種のモデルは、ジェネレーターとディスクリミネーターという2つの異なる部分で構成されており、実際のデータに統計的に似た合成データを生成するのに役立ちます。ジェネレーターの役割は、データの作成です。一方、ディスクリミネーターはプロセスの継続的なチェックを行い、不正であると思われるデータを識別します。モード崩壊は、ジェネレーターの出力に差異が欠如し、この欠陥がディスクリミネーターによって検出されない場合に発生し、結果として性能が低下します。

モデル・ドリフトとは、データにおける変動や、入力変数と出力変数間の関係により、機械学習モデルのパフォーマンスが低下することです。履歴データを使用して構築されたモデルが停滞する可能性があります。古いトレーニングデータに基づいて、AIモデルのトレーニングが入力データと一致しない場合、そのデータを正確に解釈したり、その入力データを使用して正確な予測を確実に行うことができません。モデル崩壊は、反復サイクルにおいて、AIが生成した新しいデータを用いてモデルをトレーニングする点で異なります。

研究者は、生成AIモデルのモデル崩壊と教師あり学習モデルのパフォーマンス予測を比較しました。どちらも以前の機械学習モデルの入力によるトレーニング・セットの汚染を伴うためです。パフォーマンス予測は、教師あり学習モデルの出力が、モデルの予測に準拠する形で現実世界の結果に影響を与える場合に起こります。これが将来のモデルの出力に影響を与え、「自己実現的予言」を生み出します。パフォーマンス予測は、このプロセスが差別を形成する場合、公平性フィードバック・ループとしても知られています。¹¹たとえば、米国の差別的レッド・ライニング時代のデータでトレーニングされたAIを活用した住宅ローン審査モデルは、現在でも貸し手に対して意図せずそのような差別を再現するよう促す可能性があります。

AI開発者や組織がモデル崩壊を防ぐ際に、役立つ可能性がある戦略がいくつかあります。たとえば次のようなものがあります。

• AI以外のデータソースの保持
• データの出所を確認
• データ蓄積の活用
• より優れた合成データの使用
• データ・ガバナンス・ツールの導入

高品質のオリジナル・データ・ソースは、AIが生成したデータに欠けているかもしれない重要な差異を提供することができます。このような人間が作成したデータによってAIモデルが訓練されるようにすることで、消費者が珍しい製品を好きだったり、科学者がめったに引用されない研究の情報からメリットを得たりするような、確率の低い事象を考慮しなければならない場合でも、AIシステムの性能を維持することができます。そのような状況では、結果として得られる出力は一般的でなく、人気がないかもしれませんが、それでも、実際には最も正確なものとなります。

情報エコシステムにおいて、モデルによって生成されたデータと人間が生成したデータを区別することは難しいかもしれませんが、LLM開発者とAI研究者が連携することで、データの出所に関する情報へのアクセスを確保できるかもしれません。そのような連携の一例として、MITや他の大学のAI研究者グループであるThe Data Provenance Initiativeは、4,000を超えるデータ・セットを監査しました。¹²

ある研究によると、AI開発者は、実際のデータと複数世代の合成データの両方を用いてAIモデルをトレーニングすることで、性能の低下を回避できます。こうしたデータの蓄積は、元のデータをAIが生成したデータに完全に置き換えることとは対照的です。¹³

AI開発者がデータの蓄積を検討する中で、特に機械学習のトレーニングを目的として作成された合成データの品質向上からメリットを受ける可能性もあります。データ生成アルゴリズムの進歩は、合成データの信頼性を高め、その有用性を高めるのに役立ちます。たとえば医療分野では、合成データを使用してモデルをトレーニングするための幅広いシナリオを提供することもでき、診断機能の向上につながります。

AIガバナンス・ツールは、AIシステムに対する監視と管理を強化することで、AI開発者と企業がAIの性能低下のリスクを軽減する際に役立ちます。このようなツールには、バイアス、ドリフト、性能、異常の自動検知システムなどがあり、組織の収益に影響が及ぶ前にモデル崩壊を検出できる可能性があります。