IBMニュースレター
The DX Leaders
AI活用のグローバル・トレンドや日本の市場動向を踏まえたDX、生成AIの最新情報を毎月お届けします。登録の際はIBMプライバシー・ステートメントをご覧ください。
ニュースレターは日本語で配信されます。すべてのニュースレターに登録解除リンクがあります。サブスクリプションの管理や解除はこちらから。詳しくはIBMプライバシー・ステートメントをご覧ください。
機械学習の研究では、機械翻訳を確率的プロセスとして捉えることがよくあります。120世紀半ばの誕生以来、機械翻訳システムは単純なヒューリスティック・アルゴリズムからニューラル・ネットワークを活用したディープ・ラーニング・アプローチへと進化してきました。
機械翻訳は、コンピュータ支援翻訳(CAT)とは異なります。後者は、人間の翻訳者を支援するために、機械翻訳ソフトウェアやその他のデジタル翻訳ツールを使用することを指します。このようなツールには、デジタル辞書、文法チェッカー、または一般的な単語の言語ペアのデータベースなどの翻訳メモリ-・ツールなどが含まれます。CATと機械翻訳の主な違いは、前者では実際の翻訳作業は人間が行うことです。
機械翻訳と自動翻訳の区別は明確ではありません。一部のソースでは、機械翻訳と自動翻訳を同じ意味で使用していますが、これらを自動化翻訳とは区別しています。また、機械翻訳と後者2つを区別する企業もあります。一般的に、これらの区別では、機械翻訳は機械学習ツール(具体的には人工知能)を組み込んだあらゆる翻訳手法を包含するものとみなされ、CATも含まれます。
対照的に、自動化翻訳は、ソース・テキストの前編集やアウトプットの後編集など、ワークフローを自動化する機械翻訳の一種です。コンテンツ管理システムには、一般的な翻訳タスクの自動化に役立つ翻訳管理ツールが含まれることがよくあります。この方法を区別するソースは、CATと自動翻訳を並べて配置します。
IBMニュースレター
AI活用のグローバル・トレンドや日本の市場動向を踏まえたDX、生成AIの最新情報を毎月お届けします。登録の際はIBMプライバシー・ステートメントをご覧ください。
ニュースレターは日本語で配信されます。すべてのニュースレターに登録解除リンクがあります。サブスクリプションの管理や解除はこちらから。詳しくはIBMプライバシー・ステートメントをご覧ください。
機械翻訳ツールは、人間による翻訳と同じ多くの問題に直面しています。機械翻訳が発展する中でこれらの問題に対処するための方法もますます洗練化されてきており、いくつかの中心的な問題を概観することがコンテキストの把握に役立ちます。
中心的な問題の1つは、単語の曖昧さです。典型的な例文として、「The chicken is ready to eat.(鶏はいつでも食べることができる)」があります。ここでchicken(鶏)とは、生きている動物を指すこともあれば、調理された肉を指すこともあります。これは、多義的な単語と同義語が翻訳にどのような影響を与えるかを示す一例です。このような曖昧さを示すもう一つの注目すべき例は、慣用表現です。例えば、「Beat around the bush(さぐりを入れる)」は、bush(やぶ)とは何の関係もありません。代名詞は、特に単独で扱われた場合、多くの文で曖昧なままになることもあります。2
異なる言語間の構文や文法などの言語ルールの変更も、翻訳に影響を与えます。例えば、ドイツ語の動詞は文末によく見られることが多いのですが、英語では文章の中間に現れることがよくあり、ラテン語では語順は関係ありません。これは、プロの翻訳者の間で翻訳方法が違うことを示しています。場合によっては、言語翻訳は逐語訳になりますが、他のアプローチでは、自由な翻訳を通じてテキストの意味と文化的意味を捉えることを目指します。3
詩的なテキストを正確に翻訳するのは、独特の課題を伴います。拍子、韻、頭韻はすべて、詩の翻訳の品質に特有の影響を与える懸念事項です。4機械翻訳の研究は通常、散文テキストに焦点を当てます。この概要では、機械翻訳テクノロジーにも存在する、人間の翻訳プロセスにおける懸念事項のいくつかを紹介します。
すべての種類の機械翻訳に対応する単一のプロセスは存在しません。システムがテキストを翻訳する方法は、機械翻訳のタイプによって異なります。研究者はさまざまなシステムを研究していますが、最も人気のあるシステムは以下の3つです。
ルールベースの機械翻訳(RBMT)は、その名のとおり、翻訳のために保管された言語情報を活用する方法を指定する一連のルールを提供します。例えば、これには、コンピューターが単語を文法的に一貫した構造に結合するのに役立つ、単語レベルの言語ペアと品詞タグのリストが含まれる場合があります。次に、ユーザーは、ある言語の単語やその他のテキスト・グループを別の言語の単語やその他のテキスト・グループにどのようにマッピングするかをコンピューターに指示する一連のルールを作成できます。5
RBMTシステムの複雑さは、実装される言語分析のレベルによって異なります。文献では、これらのレベルの言語分析をVauquaisの三角形と呼ばれる図で説明することがよくあります。
この図は、RBMTに対する3つのアプローチを示しています。
現実世界のケースに効果的に対応するために、RBMTアプローチには大規模な辞書が必要です。さらに、自然言語は不変の規則的なルールに従うわけではありません。ある文化、ある時代、またはある方言で許可されている言語が、別の文化、時代、または方言には言語的に適用されないこともあります。自然言語は絶えず進化し、変化しやすいため、RBMTは機械翻訳に対する包括的なソリューションを提供するものではありません。統計に基づく翻訳方法は、変化し続ける言語の性質に対応するための1つの試みです。
統計的機械翻訳(SMT)は、言語ペアのトレーニング・データから統計モデルを構築するアプローチです。SMTトレーニング・データセットは、1つの言語の単語またはn-gramと、対応する1つ以上の言語の単語およびn-gramを組み合わせたもので構成されます。SMTアプローチはこのデータを利用して、翻訳プロセスを2つの段階に分割する2つの機械学習モデルを構築します。
1つ目のモデルは翻訳モデルです。トレーニング・データを使用して、確率分布を用いて言語ペアを学習します。ソース言語でn-gramが提供されると、モデルは潜在的なターゲット言語のn-gramを確率値とともにアウトプットします。これらの値は、モデルがトレーニング・データから学習した内容に基づいて、ターゲットn-gramがソースn-gramの適切な翻訳である可能性を示します。たとえば、ラテン語から英語への翻訳モデルでは、ソースのトライグラム(tri-gram)mihi canes placentに対する次のアウトプットが生成されます。
この仮定のアウトプットでは、モデルはラテン語のフレーズ「mihi canes placent」に対する英語の翻訳の可能性を予測します。英語の「I like dogs」の確率は0.8と最も高くなります。これは、モデルがラテン語と英語のペアから学習した内容に基づいて、これが最適な英語翻訳である可能性が80%であることを意味します。
2番目のモデルは、ターゲット言語の単一言語モデルです。このモデルは基本的に、翻訳モデルのn-gramアウトプットがターゲット言語で表示される可能性を予測します。例えば、翻訳モデルから「I like dogs」という仮定のアウトプットを考えてみましょう。単一言語モデルは、提供された英語のトレーニング・データに従って、I likeの後にdogが現れる確率を予測します。このように、単一言語モデルは、翻訳の意味と適切性を確認することを目的としたポストエディットへの確率的アプローチと考えることができます。7
SMTはルールベースの手法を改善していますが、機械学習モデルに共通する問題が多くあります。例えば、トレーニング・データの過学習または過小学習です。前者は、語彙用語、慣用表現、異なる語順に対するSMTシステムの能力を特に妨げる可能性があります。SMTシステムは、テキスト・シーケンスをn単語の固定長で前処理します。
ニューラル・ネットワーク翻訳(NMT)は、可変長のインプットとアウトプットに対応する、より柔軟な翻訳を提供します。SMTシステムと同様、NMTアプローチは2つの一般的なステップに分類できます。まず、モデルはインプット・テキストを読み取り、インプットを要約するデータ構造の中でコンテキスト化します。このコンテキスト表現は、多くの場合、Bag of Words(BoW)モデルのようなベクトル・モデルですが、テンソルなどの他の形式をとることもできます。再帰型または畳み込みニューラル・ネットワークがこの表現を読み取り、ターゲット言語で文を生成します。8最近では、研究者はNMTにTransformerアーキテクチャーを採用するようになりました。重要な例の1つは、人為的なラクナを回復し、翻訳用にファイン・チューニングされた多言語データでトレーニングされたトランスフォーマーであるmBARTです。9
NMTアプローチでは、大規模言語モデル(LLM)も採用されています。具体的には、研究者は翻訳用のニューラル・ネットワークをファイン・チューニングするのではなく、翻訳用にプロンプト生成大規模言語モデルを採用することを模索しています。そのような研究の1つは、機械翻訳のGPTモデルを調査するものです。NMTシステムは、大量の多言語データでトレーニングされた、前述のエンコーダー/デコーダー・アーキテクチャーで構成されています。対照的に、GPTモデルは、主に英語のデータでトレーニングされたデコーダー設定のみで構成されます。英語、フランス語、スペイン語、ドイツ語、中国語、ロシア語を含む複数の言語でテストしたこの研究は、NMTモデルとGPTモデルのハイブリッド・アプローチが高品質で最先端の翻訳を生み出すことを示唆しています。10
これは、NMTシステムが、特にLLMや生成モデルと組み合わされた場合、SMT手法よりも慣用句や語彙外の用語をより適切に処理できることを示しています。さらに、SMTはn-gramを処理しますが、NMTは完全なソース文を処理します。そのため、文を単位としてアプローチする不連続性などの言語上の機能をより適切に処理します。しかし、代名詞のあいまいさは、NMTにとって依然として問題となる可能性があります。11
機械翻訳サービスは広く利用可能であり、ニューラル・ベースの機械翻訳エンジンの1つとしてIBMのWatson Language Translatorがあります。
機械翻訳が言語の障壁を克服するのに役立つ重要な領域は、リアルタイムで実行できる可能性のある、音声から音声への翻訳です。最近の研究では、自動音声認識とトランスフォーマー・ベースのNMTを音声から音声への翻訳に共同で適用し、成果が得られています。12音声翻訳システムでは通常、音声を書き起こしてから、結果のテキストを翻訳する必要があるためです。最近の研究では、マルチモーダル翻訳の前処理中に音声とテキストを連結することを検討し、有望な成果が得られました。13
IBM® watsonx Orchestrateを使用すると、スケーラブルなAIアシスタントとエージェントを簡単に設計し、反復的なタスクを自動化し、複雑なプロセスを簡素化できます。
ライブラリー、サービス、アプリケーションの強力かつ柔軟なポートフォリオにより、人工知能のビジネス価値を促進します。
AIの導入で重要なワークフローと業務を再構築し、エクスペリエンス、リアルタイムの意思決定とビジネス価値を最大化します。
1 Miles Osborne著、「Statistical Machine Translation」、Encyclopedia of Machine Learning and Data Mining、出版社:Springer、2017年。
2 Philipp Koehn著、「Neural Machine Translation」、出版社:Cambridge University Press、2020年。
3 Thierry Poibeau著、「Machine Translation」、出版社:MIT Press、2017年。
5 Dorothy Kenny著、「Human and machine translation」、「Machine translation for everyone: Empowering users in the age of artificial intelligence」、出版社:Language Science Press、2022年。
6 Thierry Poibeau著、「Machine Translation」、出版社:MIT Press、2017年。
7 Dorothy Kenny著、「Human and machine translation」、「Machine translation for everyone: Empowering users in the age of artificial intelligence」、出版社:Language Science Press、2022年。
8 Ian Goodfellow、Yoshua Bengio、Aaron Courville著、「Deep Learning」、出版社:MIT Press、2016年。
9 Yinhan Liu、Jiatao Gu、Naman Goyal、Xian Li、Sergey Edunov、Marjan Ghazvininejad、Mike Lewis、Luke Zettlemoyer著、「Multilingual Denoising Pre-training for Neural Machine Translation」、「Transactions of the Association for Computational Linguistics」Vol. 8、2020年、https://aclanthology.org/2020.tacl-1.47/(ibm.com外部へのリンク)。
10 Amr Hendy、Mohamed Abdelrehim、Amr Sharaf、Vikas Raunak、Mohamed Gabr、Hitokazu Matsushita、Young Jin Kim、Mohamed Afify、Hany Hassan Awadalla著、「How Good Are GPT Models at Machine Translation? A Comprehensive Evaluation」https://arxiv.org/abs/2302.09210(ibm.com外部へのリンク)。
11 Dorothy Kenny著、「Human and machine translation」、「Machine translation for everyone: Empowering users in the age of artificial intelligence」出版社:Language Science Press、2022年。
12 Yi Ren、Jinglin Liu、Xu Tan、Chen Zhang、Tao Qin、Zhou Zhao、Tie-Yan Liu著、「SimulSpeech: End-to-End Simultaneous Speech to Text Translation」、「Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics」、2020年、https://aclanthology.org/2020.acl-main.350/(ibm.com外部へのリンク)。Parnia Bahar、Patrick Wilken、Tamer Alkhouli、Andreas Guta、Pavel Golik、Evgeny Matusov、Christian Herold、「Start-Before-End and End-to-End: Neural Speech Translation by AppTek and RWTH Aachen University」、「Proceedings of the 17th International Conference on Spoken Language Translation」、2020年、https://aclanthology.org/2020.iwslt-1.3/(ibm.com外部へのリンク)。
13 Linlin Zhang、Kai Fan、Boxing Chen、Luo Si著、「A Simple Concatenation can Effectively Improve Speech Translation」、「Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics」、2023年、https://aclanthology.org/2023.acl-short.153/(ibm.com外部へのリンク)。