IBM Watson Blog

Watson Natural Language Understanding に分類機能を追加

記事をシェアする:

自然言語処理は、あらゆる業界で最も急速に使用が拡大している AI ツールの 1 つです。自然言語処理 (NLP) 分野のさまざまなタスクは、多くのユースケースに対応します。中でも最も人気の高い自然言語処理タスクの 1 つが、テキストの分類です。Introducing Classifications in Watson Natural Language Understanding

 

分類とは、入力テキストを分析し、そのテキストにあらかじめ定義されたラベルを付けるタスクのことです。用途に合わせてあらゆるタイプのラベルを使用できます。例えば、お馴染みのスパム検出のユースケースでは「スパム」と「ハム」のラベルを使用したり、センチメントのユースケースでは「肯定的」と「否定的」のラベルを使用したりできます。

IBM Natural Language Understanding (NLU) は、幅広い言語範囲でテキストを分析するための豊富な NLP 機能を提供します。

今回の NLU の機能拡張の一環で、新しい分類(英語)機能が追加され、さまざまなテキスト分類ユースケースをサポートできるようになりました。この機能により、ユーザーは自身のデータを使用してモデルをトレーニングし、分析 API のその他の機能と組み合わせることで、マルチ・ラベル分類を行えるようになります。マルチ・ラベル分類では、各入力を複数のクラスに分類できます。つまり NLU の分類機能が、専門的なアルゴリズムを使用して、複数の互いに非排他的なラベルを予測できるということです。

テキスト分類は、E メール、サポート・チケット、履歴書、レビュー、およびその他多くの内容の分類など、人気の高いユースケースで使用できます。

この記事では、よく使用されるスパム検出の例を取り上げ、この新規フィーチャーを使用して簡単にカスタム・モデルをトレーニングする方法説明します。

NLU を使用した分類モデルの作成

 

Introducing Classifications in Watson Natural Language Understanding

 

  •  IBM Cloud カタログ から NLU インスタンスをプロビジョニングするか、または既存の NLU インスタンスを使用します。
  • プロビジョニング後に生成される資格情報をコピーし、安全な場所に記録しておきます。
  • 今回のデモでは、こちらから入手可能な Spamham データ・セットを使用します。”SpamHam-Train.csv” ファイルをダウンロードします。
  • NLU を使用して分類モデルをトレーニングするには、curl コマンドライン・ツールを使用します。
  • 新規のターミナル・ウィンドウを開き、上記のステップでダウンロードしたデータ・セットが格納されているフォルダーに移動します。
  • ダウンロードしたデータ・セットを使用して、以下のコマンドで分類モデルを作成します。

 

Introducing Classifications in Watson Natural Language Understanding

 

  • 上記の curl リクエストは、”model_id” というフィールドが含まれた JSON 応答を返します。後ほど、この “model_id” を使用してモデルを参照します。
  • 次は、以下の curl コマンドを使用して、モデル・トレーニングの状況を確認します。

 

Introducing Classifications in Watson Natural Language Understanding

 

  • 上記の curl コマンドは、モデル・トレーニングの状況を表示する応答を返します (以下の応答の「status」フィールドがこれに該当します)

 

Introducing Classifications in Watson Natural Language Understanding

 

”status = training” の値は、モデルが現在トレーニング中であることを示しています。トレーニングが完了したら、モデルは NLU に自動的にデプロイされ、使用可能になり次第、状況の表示が “available” に変わります。

ヒント: 分類器のトレーニングには時間がかかることがあります。その間、分類 (またはその他の NLU 機能) について資料を確認したり、この機能を Python で使用する方法を説明した役立つノートブックを参照したりしましょう。

  • モデルの状況が “available” と表示されたら、分析 API を通じてアプリケーションでモデルの使用を開始できます。
  • 以下のスパム・テキストを使用して分析リクエストを実行し、モデルがどのような予測をするか見てみましょう。

 

Introducing Classifications in Watson Natural Language Understanding

 

  • 以下のコマンドは、”curl” を使用してモデルで予測できる方法を示しています。

 

Introducing Classifications in Watson Natural Language Understanding

 

  • 上記の “analyze” リクエストは、以下の応答を返します。

 

Introducing Classifications in Watson Natural Language Understanding_

 

このカスタム分類モデルは、高い信頼度で対象のテキストをスパムとして検出することができました。

まとめ

 

Introducing Classifications in Watson Natural Language Understanding

写真: Munro Studio 撮影 (Unsplash)

 

Watson Natural Language Understanding の分類機能は、強力でスケーラブルなテキスト分類ソリューションを提供します。この機能により、ユーザーは自身のデータを使用して、ほんの数ステップでカスタムのテキスト分類モデルをトレーニングできます。

お客様のユースケースで分類機能を使用する方法についてご相談がございましたら、お気軽にこちらのフォームからお問い合わせください。また、詳しい情報はこちらの資料(英語)でご確認いただけます。

Watson Natural Language Understanding にご登録いただき (登録)、分類機能をぜひお試しください。

 

・・・

関連リンク

 

原文:Introducing Classifications in Watson Natural Language Understanding (https://medium.com/ibm-data-ai/introducing-classifications-in-watson-natural-language-understanding-20d1b86cd2f9)

 

More IBM Watson Blog stories

IBM Cloud セキュリティー・ガイド 公開

IBM Cloud Blog, IBM Cloud News

IBM Cloudは、高い安全性を備えオープンでハイブリッドかつマルチクラウドの管理可能なクラウド環境を求める組織向けに設計されており、業界独自のセキュリティ認証制度およびコンプライアンス(ISO、SOC、CSA STA ...続きを読む


グローバルワイズ社 EcoChange におけるコンテナ共創の取り組み

IBM Cloud Blog, IBM Cloud Partner Blog, IBM Partner Ecosystem

上段左からグローバルワイズ廣瀬様、千葉様、坂本様。下段左から日本アイ・ビー・エム古川、藤井。 DXを推進するためのテクノロジーとして世の中で注目を浴びる技術の一つにコンテナがあります。しかしアプリケーションをコンテナし、 ...続きを読む


複数スキルのオーケストレーションを使用してチャットボットをトレーニングするうえでの考慮事項

IBM Cloud Blog, IBM Data and AI, IBM Watson Blog...

さまざまな知識のドメインに対応しなければならないWatson Assistantのチャットボットを作成するにあたって、「複数のスキルのオーケストレーション」として知られる概念を検討されるかもしれません。自然言語分類器は、 ...続きを読む