全貌を明示するチャットボット分析
使いやすい総合的なメトリックと洞察を利用してチャットボットを改善します
Watsonx アシスタントを試してみる デモの予約
watsonx Assistant分析によって生成できる複数図表
チャットボットの効率に関する貴重な洞察を得る

watsonx Assistantは、ユーザーとバーチャル・アシスタント間の対話の概要を提供します。重要な指標とKPIの視覚化と分析により、ユーザーと顧客が対処したいトピック、バーチャル・アシスタントがそれらのニーズを満たしているかどうか、提供するサービスを迅速に改善する方法を理解することができます。

 

開始する
メリット
  目標達成率(GCR)  作成したアクションの流れをユーザーが完了させる頻度を確認することで、チャットボットがどの程度成功しているかを簡単かつ完全に理解できます。この重要なメトリックにより、構築したコンテンツがお客様の要求を正常終了できるかどうか、また仮想エージェントによって、もしくはライブ・エージェントへの意図的なハンドオフによってKPIを満たしているかどうかを知ることができます。

  ブロッカーを除去します  会話の流れが失敗する理由を理解するには、より詳しく考察してください。ユーザーは動きが取れなくなった状態ですか?ユーザーは違うアクションを探していましたか?お客様サポートの会話は放棄されましたか?エージェントにエスカレートされましたか?迅速に強化を特定して、必要なときにお客様が必要な答えを得やすくします。

   会話ログ グループ・チャットボットは会話レベルでログ記録し、その会話内でお客様が行うさまざまなアクションを強調表示します。これにより、さらに精査したいときにはまだあらゆるメッセージを備えた全会話のビューを提供しながら、問題領域を理解するための迅速なトラブルシューティングが可能になります。

  エンドツーエンド・ビュー watsonx AssistantとSegmentを使用すれば、チームは顧客とバーチャル・アシスタントの間の日々の会話すべてから生成されたチャットボットのデータ分析を、選択した数十のソリューションに組み込むことができます。このデータをクリーニング、合成し、Segmentの統合カタログに格納されている何百ものチャットボット分析ツール、未加工データ、ウェアハウス・ツールに接続します。真の顧客満足度を確認できます。 資料はこちら
そのメリットの 1 つは、Watsonが収集する応答とデータを調べられることです。Webサイトでは直接応答できない可能性のある質問を持つ人々がどこにいるのかを確認できます。 Kevin W. Sexton, MD Institute for Digital Health & Innovation、Associate Director University of Arkansas for Medical Sciences ブログ記事を読む

よくある質問

watsonx Assistantの 分析ページ には、チャットボットの会話の履歴が表示されます。この履歴を使用すると、アシスタントがユーザー要求を理解して応答する方法を改善し、自然言語処理(NLP)チャットボットの効率を検証することができます。

包含: アシスタントが人間の介入なしにお客様の要求を満たすことができる会話の数。

範囲: アシスタントがお客様の要求に対処できると確信している会話の数。

合計会話数: 選択された時間中のアクティブ・ユーザーとアシスタント間の会話の累計。

会話ごとの平均メッセージ数: 選択された時間中に受信した合計メッセージ数を、選択された時間中の合計会話数で除算した値。

合計メッセージ数: 選択された時間間中にアクティブ・ユーザーから受信したメッセージの累計。

アクティブ・ユーザー: 選択された時間内にアシスタントとやりとりしたユニーク・ユーザーの数。

ユーザーあたりの平均会話数: 合計会話数を選択された時間中のユニーク・ユーザーの累計で除算した値。

保存率: 所定の時間フレームでチャットボットの使用に戻るユーザーの割合。

すべてを表示するには、 アクション完了ページ を使用してください。

分析の概要のページには、チャットボットの対話のサマリーが表示されます。所定の時間のトラフィック量に加えて、ユーザーの会話で最も頻繁に認識されたインテントやエンティティーを表示できます。

メトリックを選択できます:チャットボット・データ分析を 1 日、1 週間、1 カ月、または四半期ごとに表示するかどうか。それぞれのケースで、グラフ上のデータ・ポイントは適切な測定期間に調整されます。たとえば、1 日のグラフを表示するとき、データは毎時の値で表示されますが、1 週間のグラフを表示するときは、データは日ごとに表示されます。週は常に日曜日から土曜日までと定義されます。木曜日から次の水曜日までの 1 週間や、1 日以外の日付から始まる月など、カスタム期間を作成することもできます。

チャットボットのチャットボット分析ツールは、理解が不十分でも個々のメッセージの数を測定できます。これらのメッセージはインテント別に分類されておらず、既知のエンティティーを含みません。認識されないメッセージを検討すると、ダイアログの問題の可能性を特定するのに役立ちます。

標準装備メトリックを使用してお客様とアシスタントの間の会話からのログを分析し、その成果を評価し、改善の余地がある領域を特定します。

watsonx Assistantの 分析ダッシュボード には、ユーザーと導入されたアシスタント間の会話の履歴が表示されます。このユースケースでは、履歴を使用してアシスタントと対話するユーザーの数を測ります。

1 つの会話は、アクティブ・ユーザーがアシスタントに送信するメッセージと、会話を開始するか応答するためにアシスタントがユーザーに送信するメッセージで構成されます。アシスタントが「こんにちは。何かお手伝いできますか?」と話し始め、ユーザーが応答せずにブラウザーを閉じた場合、そのメッセージは合計会話数のカウントに含まれます。

watsonx Assistantの 分析ダッシュボード には、ユーザーと導入されたアシスタント間の会話の履歴が表示されます。この履歴を使って、会話やメッセージの累計を決定できます。

包含を正確に測定するには、人間の介入がいつ行われるかをメトリックが特定できなければなりません。このメトリックでは、人間エージェント応答タイプとの接続をインジケーターとして使用します。ユーザーの会話ログに人間エージェント応答タイプとの接続への呼び出しが含まれている場合、その会話は含まれていないと見なされます。

チャットボットは、ユーザーから受信するメッセージにインテリジェントに応答できないとき、フォールバック・メッセージをトリガーします。

Watson Natural Language Understanding (NLU) と統合することで、センチメント分析を測定できます。

スキルの作成バージョンの分析タブから本稼働で実行されているスキルのバージョンのログを表示できます。誤分類やその他の問題が見つかれば、スキルの作成バージョンでそれらを修正し、テスト後に改善されたバージョンを本稼働にデプロイできます。詳細は、 アシスタント間の改善 に関するページを参照してください。

次のステップ

より優れたチャットボットを作成するための洞察をお探しですか。 製品のエキスパートよる個別のデモをご予約いただくか、セルフガイド・ツアーに参加して、watsonx Assistantのさまざまな機能を体験してください。

watsonx アシスタントを試してみる デモの予約
その他の参考情報 資料 チャットボットの構築方法 学習 コミュニティー