ユーザー評価指標

ユーザー数メトリックは、 デプロイメントスコアリングリクエストを送信するユーザー数を計算します。

メトリックの詳細

Usersは、 資産トランザクションをどれだけ効率的に処理しているかを理解するのに役立つ、モデル的な健全性評価指標です。

有効範囲 (Scope)

ユーザーメトリクスは、生成型AI 資産と機械学習モデルを評価します。

  • 生成型AIのタスク ：
    • テキストの要約
    • テキストの分類
    • コンテンツの生成
    • エンティティー抽出
    • 質問への回答
    • 検索支援強化型生成（RAG）
  • 機械学習の問題タイプ ：
    • 2 項分類
    • マルチクラス分類
    • 回帰分析
  • 対応言語 ：英語

評価プロセス

ユーザー数を計算するには、 user_id を使用して、モデルが受信するスコアリングリクエストを送信するユーザーを特定します。

watsonx.ai ランタイムデプロイメントの場合、評価版の設定時に user_id の値が自動的に検出されます。

外部およびカスタムデプロイメント、 Python SDK の次の例のように、ユーザー数を計算するためのスコアリングリクエストを送信する際に、 user_id の値を指定する必要があります

    from ibm_watson_openscale.supporting_classes.payload_record import PayloadRecord    
        client.data_sets.store_records(
            data_set_id=payload_data_set_id, 
            request_body=[
                PayloadRecord(
                    scoring_id=<uuid>,
                    request=openscale_input,
                    response=openscale_output,
                    response_time=<response_time>,
                    user_id=<user_id>). --> value to be supplied by user 
            ]
        )