潜在空間とは

データ・ポイントを潜在空間にマッピングすると、複雑なデータを効率的かつ意味のある方法で表現できるため、機械学習モデルがデータを理解して操作する能力が向上し、計算で必要となるリソースが削減されます。そのため、潜在空間表現のエンコードには通常、ある程度の次元削減、つまり無関係な情報や冗長な情報を省略した低次元空間への高次元データの圧縮が伴います。

潜在空間は、データ・サイエンスの多くの分野で重要な役割を果たしており、潜在空間のエンコードは、多くの最新の人工知能（AI）アルゴリズムの重要なステップです。例えば、変分オートエンコーダー（VAE）や敵対的生成ネットワーク（GAN）などの生成モデルは、トレーニング用データの潜在空間を計算し、そこから補間して新しいデータ・サンプルを生成します。オブジェクト検出や画像セグメンテーションなどの分類タスク用にトレーニングされたコンピューター・ビジョン・モデルは、入力データを潜在空間にマッピングして、正確な予測を行うために必要な品質を分離します。

大規模言語モデル（LLM）は、意味検索を可能にする埋め込みモデルから、IBM® GraniteやOpenAIのChatGPTを支えるモデルなどの自己回帰モデルまで、潜在空間を操作して、特定のコンテキストにおけるさまざまな単語間の複雑なつながりを探ります。

空間という言葉は、機械学習の文脈では、一般言語よりも多様な意味を持ちます。大まかに言えば、MLにおける「空間」とは、データ・ポイントをマッピング、比較、またはサンプリングする特定のモードを指します。いくつかの例をご紹介します。

• 「入力空間」：入力データに含まれる可能性の範囲のこと。
• 「出力空間」：モデルの出力の可能性の範囲のこと。
• 画像データにおける「ピクセル空間」：数値ピクセル値の可能性の範囲のこと。
• 強化学習における「アクション空間」：ボードゲームの特定の瞬間に実行できる合法的な動きなど、次に実行できる可能性のあるアクションの範囲のこと。

数学的に言えば、空間は主にその次元が何に対応するかによって定義されます。つまり、その空間内のデータ・ポイントを記述するためにどの特徴（変数）が使用されているかによって定義されます。データ・ポイントが特定の空間にマッピングされると、その空間を定義する変数の値が類似するデータ・ポイントは、コサイン類似度、ユークリッド距離、ドット積などの何らかの基準によって、類似または互いに近いものになります。

機械学習では、データポイントを数値で表現する必要があります。ほとんどの場合、データ・ポイントはベクトルとして表現（または「埋め込み」）されます。したがって、データ・ポイントがベクトル表現によって比較される空間を「ベクトル埋め込み空間」（または「埋め込み空間」）と呼びます。ベクトル内の各要素が埋め込み空間の個々の次元に対応する数値表現は、ベクトル埋め込みと呼ばれます。機械学習アルゴリズムは通常、ベクトル埋め込みを入力として受け取るか、入力データをベクトル埋め込みに変換することから始めます。

特徴空間は、データ・ポイントではなく、特定のデータ・ポイント・セットを特徴付ける意味のある特徴の値の可能性の範囲に関連付けられたベクトル空間です。例えば、画像データを処理するモデルでは、特徴空間の各次元は、モデルのトレーニング用データに存在する特定の形状、テクスチャー、または色のパターンに対応する場合があります。

特徴空間では通常、特徴を含まない埋め込み空間の次元からの情報が省略されます。画像データの例を続けると、特徴空間では背景や空きスペースが除外されます。より大きな埋め込み空間から意味のある特徴を分離するプロセスは、特徴抽出と呼ばれます。

「特徴空間」と「潜在空間」はしばしば同じ意味で使用されますが、必ずしも同義語ではありません。特徴抽出には通常、役に立たない情報を省略したデータの圧縮表現が含まれるため、これらの概念は密接に関連しています。ただし、一部の機能は必ずしもデータの基礎となる構造に関連しているとは限りません。したがって、潜在空間は通常、機械学習を通じて現在のタスクに最も関連があると特定された特徴のサブセットのみを含む特徴空間の低次元表現です。

潜在空間では、各次元は元のデータの潜在変数に対応します。潜在変数は、データの分布方法を決定する基礎となる特性ですが、直接観察できないことがよくあります。

直感的な例として、通過する車両の重量を測定するセンサーを備えた橋を想像してみましょう。軽量のオープンカーから大型トラックまで、さまざまな車両がこの橋を使用していますが、車両の種類を検知するカメラはありません。しかしながら、車両の種類が重量に大きく影響することはわかっています。この例では、車両重量は観測可能な変数であり、車両タイプは潜在変数です。車両重量のパターンを調べることで、どのようなタイプの車両が橋を使用しているかを推測できます。

すべての「隠れた」変数が重要なわけではないため、すべての隠れた変数が機械学習モデルによってエンコードされた潜在空間で表現されるわけではありません。実際には、モデルは、トレーニング対象のタスクを正確に実行するのに最も役立つ潜在空間をエンコードするように学習します。

潜在空間表現をエンコードするには、通常、次元削減と呼ばれるプロセスを通じて、高次元データを低次元空間に圧縮する必要があります。

手書きの数字の28x28グレースケール画像が数万枚含まれているオープンソース・データセット「MNIST」の画像を考えてみましょう。それぞれの小さな28x28画像は、784次元のベクトル埋め込みとして表すことができます。各次元は個々のピクセルに対応し、0（黒）から1（白）の間の値を持ちます。これらがカラー画像の場合、ベクトル埋め込みは2,352次元になります。つまり、784ピクセルそれぞれに3次元があり、それぞれの赤、緑、青（RGB）値に対応します。

ただし、実際の数字はピクセル空間のごく一部を占めるだけです。画像の大部分は空の背景です。画像（および画像を表すベクトル）を、実際の情報を含む次元（潜在空間）のみに縮小すると、機械学習モデルが画像を正確かつ効率的に処理する能力が大幅に向上します。

次元削減と入力データの潜在空間への圧縮を明示的に目的として設計されたニューラル・ネットワーク・アーキテクチャーの1つに、オートエンコーダーがあります。

オートエンコーダーは自己教師型システムで、次元削減を用いて入力データを圧縮（またはエンコード）し、圧縮した表現を使用してもとの入力内容を正確に再構築（またはデコード）することがトレーニングの目標です。標準的なオートエンコーダーでは、エンコーダーの各層に含まれるノードの数は、前の層よりも徐々に少なくなります。入力データのベクトル埋め込みが次のエンコーダー層に渡されると、より少ない次元に「圧縮」されるプロセスを通じて圧縮されます。次に、デコーダー・ネットワークは、エンコーダーによって生成された潜在ベクトルのみを使用して元の入力を再構築します。

オートエンコーダーは、デコーダーの再構成が元の入力とどれだけ異なるかを測定する再構成損失を最小限に抑えるようにトレーニングされます。エンコーダーはデコーダーに限られた量の情報しか渡すことができないため、データの最も顕著な特徴のみを抽出する必要があります。言い換えれば、オートエンコーダーは入力データの潜在空間の効果的なマッピングを自然に学習します。

この機能により、オートエンコーダーはデータ圧縮に加えて多くの興味深い使用例を実現できます。例えば、オートエンコーダーは、人間の観察者には明らかでない異常を登録できるため、異常検知に使用できます。偽造された時計を想像してみてください。訓練された目にさえ、本物と全く同じように見えるかもしれません。時計を分解し、内部の基本的な歯車や機構、つまりその潜在空間を再構築することによってのみ、コピー元の本物の時計と一致しない要素を特定することができます。

線形判別分析や主成分分析（PCA）などの他の次元削減アルゴリズムと比較したオートエンコーダーの主なメリットは、オートエンコーダーが異なる変数間の非線形関係をモデル化できることです。

他の多くのニューラル・ネットワークも同様のエンコーダー/デコーダー・アーキテクチャーを実装しており、エンコーダー・ネットワークが入力データの次元を削減し、デコーダーがその潜在的なエンコーディングを処理して予測を行います。オートエンコーダーとは、入力データを再構築するようにモデルがトレーニングされる構造の実装です。

変分オートエンコーダー（VAE）は、オートエンコーダー・アーキテクチャーを使用して、画像生成などの生成タスクに使用できる方法で潜在空間をエンコードします。

ほとんどのオートエンコーダーは、トレーニング用データの潜在変数ごとに離散値の単一のベクトルをエンコードする「決定論的」モデルですが、VAESは、潜在空間を可能性の範囲としてエンコードする「確率的」モデルです。このエンコードされた可能性の範囲内で補間することにより、VAEは、それ自体がユニークでオリジナルでありながら、元のトレーニング用データに似た新しいデータ・サンプルを合成できます。

完全に新しいデータ・サンプルの生成を可能にするには（トレーニング用データからサンプルを単純に再作成または結合するのではなく）、潜在空間は次の2種類の規則性を示す必要があります。

• 連続性：潜在空間の近くのポイントは、デコード時に同様のコンテンツを生成するはずです。
• 完全性：潜在空間からサンプリングされた点は、デコードされたときに意味のある内容をもたらすはずです。

潜在空間の連続性と完全性を強制する簡単な方法は、それを正規（ガウス）分布に強制的に従わせることです。したがって、VAEは、トレーニング用データの潜在属性ごとに、平均のベクトル「μ」と標準偏差のベクトル「σ」の2つの異なるベクトルをエンコードします。本質的に、これら2つのベクトルは、それぞれの潜在変数の可能性の範囲と、それぞれの範囲内での期待される分散を表しています。

VAEは、再構築損失に加えて追加の損失関数、Kullback-Leiblerダイバージェンス（KLダイバージェンス）を追加することでこれを実現します。より具体的には、VAEは、再構成損失を最小化することによって学習された潜在空間と標準ガウス分布との間の相違を最小化するようにトレーニングされます。

他の画像生成モデル・アーキテクチャーでは、再構成損失以外のトレーニング目標を使用しますが、それらはすべて通常、潜在空間の連続性と完全性を強化するために正規化項を使用します。すべてではありませんが、ほとんどの場合、潜在空間は正規分布に適合します。

敵対的生成ネットワーク（GAN）は、敵対ゲームで2つのニューラル・ネットワーク（「Discriminator」ネットワークとGeneratorネットワーク）をトレーニングします。Discriminatorネットワークに画像が表示され、それが元の画像かトレーニング用データセットから抽出された画像かを予測するようにトレーニングされます。Generatorネットワークは、潜在空間からサンプリングして元のサンプルを生成することで、Discriminatorを騙すようにトレーニングされます。

Discriminatorがトレーニング画像と生成された画像を区別できなくなったときに、Generatorはトレーニングされたとみなされます。

潜在的拡散モデルは、元の安定拡散モデルによって初めて導入されたもので、基本的に拡散モデルとVAEを組み合わせたものです。標準的な拡散モデルはピクセル空間に直接作用しますが、潜在拡散モデルは最初にVAEスタイルのアーキテクチャーを使用して入力データを低次元の潜在表現にエンコードし、次に潜在空間に拡散を適用します。この革新により、普及モデルの速度と効率が大幅に向上しました。

潜在空間内の異なるデータ・ポイント間の関係は、本質的に想像したり視覚化したりすることが困難です。私たちの感覚と経験は、世界を3次元で理解することに限られており、数十、数百、あるいは数千の次元に沿って点をプロットするグラフを頭の中で思い描くことはできません。

この課題に対処するために、データサイエンティストは、t分布確率的近傍埋め込み（t-SNE）や一様多様体近似および投影（UMAP）などの次元削減手法を適用します。データ視覚化で広く使用されているこのような手法では、高次元データを2次元（または3次元）グラフにマッピングし、類似のオブジェクトは互いに近くに表示され、類似しないオブジェクトは遠くに表示されます。例えば、この記事の前半で紹介したVAEの潜在空間の視覚化は、t-SNEを使用して作成されました。

画像モデルの研究は、潜在空間の性質に関する興味深い洞察ももたらし、生成モデルの潜在空間の操作の進歩に貢献しました。例えば、広く引用されている論文「Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks」では、潜在ベクトルを使用して演算を実行し、特定の品質を持つ新しい画像を直感的に生成するなどの手法が検討されています。

画像のベクトル埋め込みが画像の元のピクセル値の分布によって提供されるデータを表すことを目的としているのと同様に、単語の埋め込みは特定の単語の意味を捉えることを目的としています。

しかし、画像とは異なり、単語の意味は静的なものではなく、周囲の単語によって意味合いや関係性が変化する動的なものです。したがって、Transformerモデルは自己注意メカニズムを使用して、単語の意味がコンテキストによってどのように影響を受けるかを計算し、それに応じて埋め込みを更新します。プロンプトを入力する入力層と新しいテキストが生成される出力層の間では、モデルが継続的にコンテキスト理解を洗練させていくにつれて、元の単語の埋め込みが一連の潜在的表現に変換されます。

大規模言語モデル（LLM）の内部動作を解釈するのは今のところかなり難しいことが証明されていますが、進行中の研究では、文脈内学習における潜在空間の活性化やLLMのその他の出現能力が調査されています。^{1, 2}