チャットボット分析で全体像を明らかに

包含：アシスタントが人間の介入なしに顧客の要求を満たすことができる会話の数。

カバレッジ：アシスタントが顧客の要求に対応できると確信している会話の数。

会話総数： 選択した期間におけるアクティブ・ユーザーとアシスタントとの間の会話の合計数。

会話当たりの平均メッセージ数： 選択した期間中に受信したメッセージの合計数を、選択した期間中の会話の合計数で除した値。

メッセージ総数： 選択した期間にアクティブ・ユーザーから受信したメッセージの合計数。

アクティブ・ユーザー：選択した期間内にアシスタントと関与した固有ユーザー数。

ユーザー当たりの平均会話数：選択した期間において、会話総数を固有ユーザーの合計数で除した値。

すべてを表示するには評価指標スコアカード を使用します。

「分析の概要」ページには、ユーザーとアシスタントの対話の要約が表示されます。 特定の期間でのトラフィック量と、ユーザーとの会話で最も頻繁に認識されたインテントとエンティティーの数を表示できます。

データを1日、1週間、1カ月、四半期の単位で表示するかどうかを選択できます。 いずれの場合も、グラフ上のデータ・ポイントは適切な測定期間に調整されます。 例えば、1日のグラフを表示する場合は、データは1時間ごとの値で表示されます。1週間のグラフを表示する場合は、データは日ごとの値で表示されます。 1 週間は常に日曜日で始まり土曜日までです。 木曜日から次の水曜日までの週や、初日以外の日付で始まる月など、カスタム期間を作成することもできます。

把握の度合いが低い個々のメッセージの数を測定します。 これらのメッセージは、インテントによって分類されておらず、既知のエンティティーを含んでいません。 認識されていないメッセージをレビューすると、潜在的なダイアログの問題を特定するのに役立ちます。

組み込みの指標を使用して顧客とアシスタントの会話のログを分析することで、会話がどの程度うまく行っているかを測定し、改善が必要な領域を特定します。

Watson Assistantの分析ダッシュボードは、ユーザーと導入されたアシスタントとの間の会話の履歴を提供します。 この履歴を使用して、アシスタントと対話しているユーザーの数を測定できます。

1つの会話は、アクティブ・ユーザーがアシスタントに送信するメッセージと、アシスタントが会話の開始や会話への応答のためにユーザーに送信するメッセージで構成されます。 アシスタントが「こんにちは、ご用件をどうぞ」と話して開始し、ユーザーが応答せずにブラウザーを閉じると、このメッセージは会話の総数に含められます。

Watson Assistantの分析ダッシュボードは、ユーザーと導入されたアシスタントとの間の会話の履歴を提供します。 この履歴を使用して、会話とメッセージの総数を判別できます。

包含を正確に測定するには、この指標が、人間の介入がいつ発生したかを識別できなければなりません。 この指標は、主に「人間の担当者へ接続」の応答タイプをインジケーターとして使用します。 ユーザー会話ログに、「人間の担当者へ接続」の応答タイプへの呼び出しが含まれている場合、その会話は「包含」されていないと見なされます。

IBM Watsonでは、Watson自然言語の理解（NLU）の主要な機能として感性分析が提供されます。

スキルの開発バージョンの分析タブから、実稼働環境で実行されているスキルのバージョンのログを表示できます。 誤分類やその他の問題を見つけた場合は、スキルの開発バージョンで修正し、テストした後に、改善されたバージョンを実稼働環境にデプロイできます。 詳細については、アシスタント間での改善を参照してください。