ほとんどの機械学習アルゴリズムは、低次元の数値データのみを入力として受け取ることができます。したがって、データを数値フォーマットに変換する必要があります。これには、テキスト・データの「バッグ・オブ・ワード」表現の作成、画像のピクセル値への変換、グラフ・データの数値行列への変換などが含まれます。

埋め込みモデルに入力されるオブジェクトは、ベクトルとして表現される埋め込みとして出力されます。ベクトルは数値の配列です（例：1489, 22… 3, 777）、各数字はオブジェクトが指定された次元に沿った位置を示します。入力データの複雑さに応じて、1,000以上の次元に達することがあります。このn次元空間内の埋め込みが他の埋め込みに近づくほど、それらはより類似します。分布の類似性は、あるオブジェクトから別のオブジェクトまでのベクトル点の長さ（ユークリッド、コサイン、またはその他によって測定）によって決まります。

2013年にGoogleによって開発されたモデルの1つであるWord2Vec（word to Vector）は、2 層のニューラル・ネットワークを使用して、単語埋め込みを効率的に作成する方法です。入力として単語を受け取り、n次元の座標（埋め込みベクトル）を出力するため、これらの単語ベクトルを3次元空間にプロットすると、同義語がクラスター化されます。

「dad」と「mom」という2つの単語がベクトルとしてどのように表現されるかを次に示します。

「dad」= [0.1548, 0.4848, …, 1.864]

「mom」= [0.8785, 0.8974, …, 2.794]

この2つの単語にはある程度の類似性はありますが、ベクトル空間では「father」は「dad」にかなり近い位置にあり、その結果、より高いドット積（2つのベクトルの相対的な方向と、それらが指し示す方向にどれだけ密接に並んでいるかを示す尺度）が得られると予想されます。

より複雑な例は、推奨埋め込みです。これは、ユーザーとアイテム（映画、製品、記事など）を連続ベクトル空間内の高次元ベクトルとして表現することによって機能します。これらの埋め込みは、ユーザーの好みやアイテムの特性を反映する潜在的な機能を捉えます。このアイデアは、埋め込みの内積がその項目に対するユーザーの好みと相関するような方法で、各ユーザーと項目の表現を学習することです。

各ユーザーとアイテムは、埋め込みベクトルに関連付けられます。これらのベクトルは通常、トレーニング・プロセス中に推奨モデルを通じて学習されます。ユーザー埋め込みと項目の埋め込みは、行列にまとめられます。ユーザー行列の行はユーザーを表し、アイテム行列の行はアイテムを表します。

ユーザーとアイテムのペアの推奨スコアは、ユーザー埋め込みベクトルとアイテム埋め込みベクトルの内積を取ることで計算できます。内積が大きいほど、ユーザーがそのアイテムに興味を持っている可能性が高くなります。

推奨スコア = ユーザー埋め込み ⋅ アイテム埋め込み

埋め込み行列は、過去のユーザーとアイテムのインタラクションを使用したトレーニング・プロセスを通じて学習されます。このモデルは、予測スコアと実際のユーザーの好み（評価、クリック、購入など）との差を最小限に抑えることを目的としています。

モデルがトレーニングされると、それを使用してユーザーに対する上位N個の推奨事項を生成できます。ユーザーの予測スコアが最も高い項目が推奨されます。

エンベディングは、幅広いデータ型に適用できる汎用性の高い表現です。ここでは、埋め込むことができる最も一般的なオブジェクトをいくつかご紹介します。

単語

単語埋め込みは、特定の言語コーパス内の使用パターンに基づいて、単語の意味関係と文脈上の意味を捉えます。各単語は、実数の固定次元の密ベクトルとして表現されます。これは、ゼロ・エントリーが多数あるワンホット・エンコーディングなどのスパース・ベクトルとは逆です。

単語埋め込みにより、より意味のある単語の効率的な表現が得られるため、自然言語処理（NLP）モデルのパフォーマンスが大幅に向上しました。これらの埋め込みにより、機械は意味的なニュアンスや文脈上の関係を捉えて言語を理解し、処理することができるようになり、感情分析や機械翻訳、情報検索など幅広い用途で利用価値が高まります。

一般的な単語埋め込みモデルには、Word2Vec、GloVe（Global Vectors for Word Representation）、FastText、およびBERT（Bidirectional Encoder Representations from Transformers）やGPT（Generative Pre-trained Transformer）のような変換器ベースのモデルから派生した埋め込みがあります。

テキスト

テキスト埋め込みは、単語埋め込みを拡張して、連続ベクトル空間で文全体、段落、またはドキュメントを表現します。テキスト埋め込みは、感情分析、テキスト分類、機械翻訳、質問応答、情報検索など、NLPのさまざまな応用で重要な役割を果たします。

Doc2Vec、USE（Universal Sentence Encoder）、BERT、ELMO（Embeddings from Language Models）などのモデルは、WikipediaやGoogleニュースなど、事前にトレーニングされた大量の埋め込みコーパスでトレーニングされています。

画像

画像埋め込みは、画像のコンテンツに関する視覚的特徴とセマンティック情報をキャプチャするように設計されています。画像埋め込みは、さまざまなコンピューター・ビジョン・タスクに特に役立ち、画像の類似性、画像分類、オブジェクト検出、その他の視覚認識タスクのモデリングを可能にします。

画像埋め込み用の一般的な畳み込みニューラル・ネットワーク（CNN）には、VGG（Visual Geometry Group）、ResNet（Residual Networks）、Inception（GoogLeNet）、EfficientNetなどのモデルが含まれます。これらのモデルは大規模な画像データ・セットで事前トレーニングされており、強力な特徴抽出ツールとして使用できます。

音声

画像やテキスト埋め込みと同様に、音声埋め込みも、多くの場合、深層学習アーキテクチャ、特にリカレント・ニューラル・ネットワーク（RNN）、畳み込みニューラル・ネットワーク（CNN）、または両方を組み合わせたハイブリッド・モデルを使用して生成されます。これらの埋め込みは、音声データの関連する機能と特性をキャプチャし、効果的な分析、処理、および類似性のメトリクスを可能にします。音声埋め込みは、音声認識、音声分類、音楽分析などの用途で特に役立ちます。

グラフ

グラフ埋め込みは、複雑なネットワークにおけるノード分類、リンク予測、コミュニティ検出などのさまざまなタスクに不可欠です。これらの埋め込みは、ソーシャル・ネットワーク分析、推奨システム、生物学的ネットワーク分析、不正行為検出、およびデータをグラフとして表現できるその他のさまざまな領域で応用されています。

埋め込みは、「埋め込み学習」と呼ばれるプロセスを通じて作成されます。使用される具体的な方法は埋め込まれるデータのタイプによって異なりますが、埋め込みは次の一般的な手順に従って作成されます。

1. 埋め込みモデルの選択またはトレーニング：データやタスクに適した既存の埋め込みモデルを選択するか、必要に応じて新しい埋め込みモデルをトレーニングします。テキストの場合は、Word2Vec、Glove、またはBERTを選択できます。画像には、VGGやResNetなどの事前トレーニング済みのCNNを使用できます。
   
   
2. データを準備する：選択した埋め込みモデルと互換性のある方法でデータをフォーマットします。テキストの場合、これにはトークン化と場合によっては前処理が含まれます。画像の場合は、画像のサイズ変更と正規化が必要になる場合があります。
   
   
3. 埋め込みモデルをロードまたはトレーニングする：事前トレーニングされたモデルを使用する場合は、重みとアーキテクチャーをロードします。新しいモデルをトレーニングする場合は、準備したトレーニング・データをアルゴリズムに入力します。
   
   
4. 埋め込みを生成する：データ・ポイントごとに、トレーニングまたはロードされたモデルを使用して埋め込みを生成します。たとえば、単語埋め込みモデルを使用する場合、単語を入力して対応するベクトルを取得します。
   
   
5. 埋め込みをアプリケーションに統合する：生成した埋め込みを機械学習モデルの機能として使用したり、特定のタスクに応じて類似性検索、推奨、クラスタリングなどに使用できます。
   

あらゆる埋め込みのケースにおいて、意味のある関係が保持される連続ベクトル空間でデータを表現するという考え方があります。トレーニング・プロセスには、選択した目的関数に基づいて予測値と実際の値の差を最小限に抑えるためにモデルのパラメーターを調整することが含まれます。トレーニングが完了すると、埋め込みはさまざまな下流タスクに使用できます。