エンコーダー・ネットワークが入力データの重要な特徴を抽出し、その抽出された特徴データをデコーダー・ネットワークが入力として受け取る エンコーダー-デコーダー・フレームワークは、画像セグメンテーションなどのコンピューター・ビジョン・タスクで使用される畳み込みニューラル・ネットワーク（CNN）・アーキテクチャーや、Sequaence-to-Sequence（seq2seq）タスクで使用される再帰型ニューラル・ネットワーク（RNN）アーキテクチャーなど、さまざまなディープラーニング・モデルで使用されます。

エンコーダー-デコーダ・モデルのほとんどの用途では、ニューラル・ネットワークの出力は、入力とは異なります。例えば、U-Netのような画像セグメンテーション・モデルでは、エンコーダー・ネットワークが入力画像から特徴データを抽出し、異なるピクセルの意味的分類を決定します。その特徴マップとピクセルごとの分類に基づいて、デコーダー・ネットワークが画像内の各オブジェクトまたは領域に対して、セグメンテーション・マスクを構築します。エンコーダー-デコーダー・モデルの目標は、ピクセルをその意味クラスによって正確にラベル付けすることです。教師あり学習によって訓練され、人間によってラベル付けされた画像の「グランド・トゥルース」データセットに対して、モデルの予測を最適化します。

オートエンコーダーは、教師なし学習によって訓練され、自身の入力データを再構成するエンコーダー-デコーダー・アーキテクチャの特定のサブセットを指します。

オートエンコーダーは、ラベル付き訓練データに依存しないため、教師あり学習方法とはみなされません。他の教師なし学習と同様に、オートエンコーダーは、ラベル付き訓練データに示された既知のパターンを予測するのではなく、ラベルなしデータ内の隠れたパターンを発見するようにトレーニングされます。ただし、教師あり学習モデルと同様に、また教師なし学習の多くの例とは異なり、オートエンコーダーには、出力を測定するためのグランド・トゥルース、つまり元の入力自体（またはその修正バージョン）があります。そのため、これらは「自己教師あり学習」とみなされ、したがってオートエンコーダーと呼ばれています。

このボトルネックの目的は、オートエンコーダーが訓練データに過剰に適合するのを防ぐことです。ボトルネックの容量を十分に制限しなかった場合、ネットワークは入力と出力の間の恒等関数を学習する傾向にあります。言い換えると、単に入力を直接コピーすることによって、再構成損失を最小化することを学習する可能性があります。データを強制的に大きく圧縮することで、ニューラル・ネットワークに、再構成に最も重要な特徴だけを保持するように学習させる必要があります。

しかし、エンコーダーとデコーダーの処理能力が十分に高い場合、つまり、大規模もしくは複雑なデータ入力を処理している場合、オートエンコーダーは（ボトルネックがあっても）恒等関数を学習し、役に立たなくなってしまう可能性があります。これにより、不完全なオートエンコーダの柔軟性が低下し、処理能力が制限されます。

他のオートエンコーダーの根本的な違いは、ほとんどのオートエンコーダーが離散潜在空間モデルを学習するのに対し、変分オートエンコーダーは連続潜在変数モデルを学習することです。変分オートエンコーダーは、潜在空間の単一のエンコード・ベクトルではなく、平均のベクトル「 μ 」と標準偏差のベクトル「 σ 」の 2 つの異なるベクトルをモデル化します。これらのベクトルは、潜在的な属性を確率分布として捉えるため、つまり 決定論的なエンコーディングではなく確率論的なエンコーディングを学習するため、補間やランダム・サンプリングを可能にし、その能力と応用例を大幅に拡大できます。つまり、変分オートエンコーダーは、生成AIモデルです。

簡単に言うと、変分オートエンコーダーは、訓練対象のデータセットの入力から重要な特徴の学習を柔軟かつ近似的な方法でエンコードすることを学習し、元の訓練データに類似した新しいサンプルを生成できるようになります。再構成誤差を最小化するために使用される損失関数は、学習データの確率分布（事前分布）と、変分オートエンコーダーによって学習された潜在変数の分布（事後分布）との間のKLダイバージェンスによって正則化されます。この正則化された損失関数により、変分オートエンコーダーはオーバー・フィッティングを回避しながら、訓練されたデータに類似した新しいサンプルを生成できます。この場合、元のデータと極めて類似した新しいサンプルを生成することになります。

新しいサンプルを生成するために、変分オートエンコーダーは単位ガウス（リンク先は、ibm.comの外部です）内からランダムな潜在ベクトル（ε）をサンプリングします。言い換えると、正規分布内からランダムな開始点を選択し、潜在分布の平均（μ ）でシフトし、潜在分布の分散 （σ ）でスケーリングします。再パラメーター化トリック⁵と呼ばれるこのプロセスは、変分分布の直接サンプリングを回避します。プロセスがランダムであるため、微分係数がなく、サンプリング・プロセスに対するバック・プロパゲーションが不要になります。

変分オートエンコーダーが生成タスクに使用されている場合、エンコーダーが訓練後に破棄されることがよくあります。条件付き変分オートエンコーダーのような、より高度な変分オートエンコーダーでは、エンコーダーの出力を変更する条件付き入力を与えることで、生成されたサンプルをユーザーがより詳細に制御できるようになります。

• データ圧縮：オートエンコーダーは、入力データの圧縮表現を自然に学習します。
• 次元削減：オートエンコーダーによって学習されたエンコーディングは、より大規模な複合ニューラル・ネットワークへの入力として使用できます。複雑なデータの次元削減により、他のタスクに関連する特徴を抽出できるだけでなく、計算速度と効率も向上します。
• 異常検出と顔認識：オートエンコーダは、「正常な」または「本物の」例と比較した場合の検査データの再構築損失を決定することで、異常、不正、またはその他の欠陥を検出し、本物との一致を確認することができます。
• 画像のノイズ除去とオーディオのノイズ除去：デノイジング・オートエンコーダーは、ネットワークによって学習された潜在空間表現と一致しない無関係なアーティファクトや破損を除去できます。
• 画像再構築：ノイズ除去のために学習した反転技術により、オートエンコーダーは画像の欠落した要素を埋めることができます。同様に、画像の色付けにも使用できます。
• 生成タスク：変分オートエンコーダー（VAE）と敵対的オートエンコーダー（AAE）は、VAEによって学習されるものと似た確率分布を学習しますが、KLダイバージェンスの代わりに敵対的識別ネットワーク（生成的敵対的ネットワークに似ています）を使用します。オートエンコーダーの有名な生成的応用例には、画像生成のためのOpenAIのDall-Eモデル⁶ や、薬に使われる分子構造の生成⁷があります。