自然言語理解（NLU）とは

NLU を使用すると、組織は自然言語での話し言葉や書き言葉などの非構造化データから知見を抽出できます。コンピューターはプログラミング言語を使用せずに、NLUを通じて、訓練を受けていないユーザーともコミュニケーションできます。

人間の言語は非常に微妙でニュアンスに富み、複雑で、曖昧さに満ちているため、大規模言語モデル（LLM）を扱うコンピューター・サイエンティストやエンジニアにとって、NLUは難しい機械学習の取り組みです。NLUシステムにより、コンピューターは、書き言葉や話し言葉の複雑さ、つまり、微妙なニュアンス、複雑な文構造、混乱を招く単語の使用法、スラングや方言などを理解できるようになります。

生成AIの台頭と、消費者向けチャットボット、質問応答、機械翻訳、その他のアプリケーションでの使用により、NLUは多額の商業投資を受けています。NLUがなければ、ChatGPTなどの双方向チャットボットは存在しないかもしれません。生成AIチャットボットがユーザーとリアルで自然な会話を実現できるのは、NLUのおかげです。

NLUは自然言語処理（NLP）の一種であり、コンピューターが人間の言語を理解してコミュニケーションすることを可能にする幅広い分野です。NLUは意味の理解に重点を置いているだけでなく、構文、単語定義、品詞などの言語要素のマッピングもカバーします。

NLPが開発される前、ユーザーはPythonやC++などのプログラミング言語を通じてコンピューターとやり取りしていました。コーディングでは引き続きプログラミング言語が使用されますが、ノーコード・ソフトウェア・アプリケーションでは、ユーザーが自然言語でコンピューターに直接指示できます。

NLPは、コンピューターを使用して言語を分析する数理言語学のコンピューター・サイエンスの分野から生まれました。機械学習アルゴリズムとディープラーニング・モデルの導入により、コンピューターは音声認識やコンテンツ生成などの言語関連のタスクを実行できるようになりました。

自然言語生成（NLG）とは、チャットボットがテキストの要約を提供したり、ユーザーと会話したりする際など、コンピューターが人間の言語でコンテンツを自動生成する方法のことです。NLGは通常、NLU と組み合わせて使用されます。ディープラーニング・モデルは自然言語のインプットを受け取り、NLUを含むNLPでそれを使用可能なデータに変換し、ユーザーが理解できる応答をNLGを使って生成します。

NLP、NLG、NLUはすべて関連しており、NLPは後者の2つを含む包括的な分野です。NLGは、ChatGPT、現代のカスタマー・サポート、チャットボット、AmazonのAlexaなどの音声アシスタントなどのチャットボットが、ユーザーと対話する際に人間のように見えるようにするためのものです。

自然言語理解は機械学習アルゴリズムを使用して、構造化されていない音声または書き言葉の言語を、その内容と意味を表す構造化されたデータ・モデルに変換することによって機能します。NLUシステムは、構文分析を適用して文中の単語を理解し、意味分析を適用して、話されている内容の意味を処理します。

NLUアルゴリズムの教師あり学習手法には、ラベル付けされたトレーニング・データをアルゴリズムに供給する処理が伴います。この方法は、アルゴリズムが言語的ニュアンスを理解するように明示的に誘導します。たとえば、性格評価ではなく統計的文脈で同音異義語の平均を使用する場合などです

教師なし学習手法では、アルゴリズムに根本的な関係性とパターンを発見させることを目的として、ラベル付けされていない大規模データセットにアルゴリズムを適用します。現代のNLUモデルは通常、教師あり学習と教師なし学習を組み合わせてトレーニングされます。

NLUを実現する主なメカニズムは次のとおりです。

• トークン化と埋め込み

• Named Entity Recognition（NER）

• 意図認識

NLUにおけるトークン化とは、機械学習アルゴリズムを使用して、非構造化テキストを小さな部分に分割し、さらに分析可能にすることです。結果として得られる各セグメントはトークンと呼ばれます。埋め込みアルゴリズムは、各トークンを数値表現に変換し、それを3次元ベクトル空間にプロットして、トークン間の関係をマッピングします。

現代のNLUは通常、トークン間の依存関係を捉えるのに優れているため、GPTなどのトランスフォーマー・ベースのモデルが使用されます。依存関係とは、シーケンス内の離れたトークン間の長距離関係のことです。依存関係を正しく捉えることで、コンピューターは長いインプット・シーケンス全体にわたって文脈に関する理解を維持できます。

Named Entity Recognition（固有表現抽出）（NER）は、テキスト・データ内の名前付きエンティティまたは現実世界のオブジェクトを識別して分類する情報抽出技術です。名前付きエンティティは、人、場所、アイテムなど物理的なもの、または日付や人の年齢や電話番号などの抽象的なものになります。

意図認識は、ユーザーが何をしたいのかをNLUアルゴリズムに伝えます。検索エンジンは意図認識を使用して、事実だけでなくユーザーが求める情報も提供する、対応する問い合わせに関連する結果を提供します。

たとえば、「chicken tikka massala（チキンティッカマサラ）」を検索すると、レシピのリストが表示される可能性があります。ただし、ユーザーがその代わりに「chicken tikka massala all name’（チキンティッカマサラ　すべての名前）」と入力した場合はどうなるでしょうか？ 意図認識は、ユーザーが鶏肉のティッカ・マダラを料理するのではなく、地元のレストランで料理を楽しみたいことを検索エンジンに伝えます。

NLUの応用分野は、コンピューターが人間と直接コミュニケーションしたり、人間の言語データを処理したりすることを必要とする幅広いユースケースに及びます。自然言語理解のユースケースには以下のようなものがあります。

• センチメント分析

• ユーザーの意図

• 機械翻訳

• カスタマー・サポート

• 音声認識

• テキスト分類

• バーチャル・アシスタント

感情分析は、コンテンツ内の気分や感情を識別するための機械学習モデルの応用分野です。たとえば、研究者は、ソーシャル・メディアの投稿やユーザー・レビューの感情分析を使用して、ユーザーがブランドについてどのように感じているかを特定できます。学んだ情報は、将来の製品開発、料金体系、その他の変更に適用できます。

検索エンジンは、より関連性の高い回答を提供するために、NLUを使用します。同じ原則が検索機能を備えたWebサイトにも適用されます。たとえば、電子商取引・サイトは、ユーザーの検索に応じて最も関連性の高いアイテムを表示することで売上を伸ばせるかもしれません。検索結果の最適化により、より多くのユーザーが検索エンジンを使用したり購入したりする可能性があります。

機械翻訳とは、コンピューターを使用して 自動 言語翻訳を実行することです。たとえば、話し言葉による英語とスペイン語をリアルタイムで翻訳するモバイル・アプリケーションを想像してみてください。スペイン語を話すユーザーは、このようなアプリを使用して、英語話者と会話すると同時に、周囲で英語で言われていることをすべて理解することができます。

カスタマー・サポート用チャットボットは、生成AIの改良に伴いますます洗練されています。NLUにより、チャットボットは人間のような会話をユーザーと行えるようになっており、カスタマー・サービスの問い合わせに対応したり、一般的な質問に回答したりするために導入する組織が増えています。一方、人間の担当者は、AIが処理するには複雑すぎる問題に対処し、顧客体験インターフェースを完成させます。

カスタマー・サポート・チャットボットの使用は、NLUを含むAIの進歩によってワークフローが簡素化化され、ワークフローの自動化が促進された例です。

NLUシステムは、ユーザーが大企業に電話をかけると出てくる自動ルーティング・システムなどのソフトウェアと口頭でやり取りするのに役立ちます。発信者は、人間の担当者に代わるまで繰り返し0を押すのではなく、「人間と話したい」と伝えることができます。NLUを稼働させれば、ソフトウェアはユーザーの音声リクエストをリアルタイムで構造化データに変換し、通話を転送できます。

組織は、より優れた顧客体験の一環としてバーチャル・アシスタントの導入を開始しています。これらのモデルは、NLUとNLGを使用してユーザーと直接やり取りし、ユーザーと組織に代わって動作します。AlexaやSiriなどのバーチャル・アシスタントもユーザーの要求を満たすためにNLUを使用しています。