モデルの詳細の提供
モデル評価を有効にするには、モデルのセットアップ方法に関する詳細を指定する必要があります。
さまざまな方法を使用して、評価のためのモデルの詳細を指定できます。 使用する方法は、評価を構成する方法、および評価する デプロイメント のタイプによって異なります。
モデルの詳細の提供
add デプロイメント すると、必要なすべてのモデル詳細を自動的に検出できます。 必要なモデルの詳細がすべて検出されない場合は、モデルの詳細を手動で指定する必要があります。
以下のセクションでは、モデル評価のモデルの詳細を指定する方法について説明します。
構成方式の選択
構造化データ・モデルの場合は、ガイド付きのステップに従うか、ノートブックを実行して、アップロード可能な構成パッケージを生成することにより、モデルの詳細を指定する必要があります。 選択した デプロイメント にスコアリング・エンドポイントがない場合は、構成パッケージをアップロードする必要があります。
取引の例を提示してください
イメージ・モデルおよび非構造化テキスト・モデルの場合、トレーニング・データは不要であり、手動でサンプル・トランザクションを指定して、モデルの出力と入力を指定する必要があります。
トレーニングデータを指定する
デプロイメントの追加時にトレーニング・データの詳細が検出されない場合は、CSV ファイルをアップロードしてトレーニング・データを指定するか、データベースまたはクラウド・ストレージに保管されているトレーニング・データに接続することができます。 トレーニング・データに接続するには、ロケーションを選択し、接続の詳細を指定する必要があります。 デプロイメント の追加時にトレーニング・データの詳細が検出された場合、 データベースまたはクラウド・ストレージ オプションが事前選択され、ロケーションと接続の詳細が指定されます。
フィーチャー列とラベル列を選択します
トレーニング・データで使用可能な列のリストが表示されたら、モデルのトレーニングに使用したフィーチャーを選択し、各レコードの予期されるクラス・ラベルまたは正確なクラス・ラベルを含む列を ラベル/ターゲット 列として指定する必要があります。 フィーチャー列とラベル列を選択すると、トレーニング・データを使用して、 デプロイメント にスコアリング要求が自動的に送信され、モデル出力と デプロイメント 状況が検証されます。
モデルの出力を選択
予測列と予測確率列を選択します。 予測列には、 デプロイメント が生成する予測が含まれ、予測確率列には、予測に対するモデルの信頼性が含まれます。 予期される列は、モデル デプロイメント から識別されるメタデータに基づいて事前選択される場合があります。 これらの選択を変更することもできます。 予測列のデータ・タイプは、ラベル列のデータ・タイプと一致している必要があります。 データ型が一致しない場合、モデル評価が正しく機能しない可能性があります。
Watson Machine Learning デプロイメント・スペース でのモデルの詳細の提供
デプロイメント・スペース での評価の構成 の場合は、「 モデルの詳細 」タブでモデルの詳細を手動で指定する必要があります。
以下のセクションでは、 デプロイメント・スペース でモデルの詳細を指定する方法について説明します。
訓練データへの接続
トレーニング・データへの接続に使用する方法を選択します。 データベースまたはクラウド・ストレージに保管されているトレーニング・データに接続する場合は、ロケーションを選択し、接続の詳細を指定する必要があります。 トレーニング・データをノートブックから分析して詳細をプライベートに保つ場合は、 カスタム・ノートブック を実行し、生成された JSON 構成ファイルをアップロードする必要があります。 詳しくは、 トレーニング・データの管理 を参照してください。
画像モデルおよび非構造化テキスト・モデルには、トレーニング・データは必要ありません。
ラベル列の選択
ラベル列として識別する列をトレーニングから選択する必要があります。 この列には、各レコードの予期されるクラス・ラベルまたは正確なクラス・ラベルが含まれます。
訓練の特徴量の選択
モデルをデプロイする前に訓練に使用した特徴量をすべて選択します。 トレーニング・データの形式 は、モデルと一致する必要があります。 例えば、モデルで特徴量 Gender の値に M と F を使用する必要がある場合は、訓練データに Male と Female ではなく、M と F が入っていなければなりません。 同様に、特徴量列が数値型として識別されている場合、モデルの学習中は、その列をモデル内で数値型として扱う必要があります。 特徴量列が数値型として識別されている場合、モデルのトレーニング中にその列をカテゴリ型として使用したときは、その列をカテゴリ型に更新する必要があります。 詳しくは、 モデル評価のためのデータの管理 を参照してください。
モデル・トランザクションの送信
評価用のモデル・トランザクションを保管する準備をするためにトレーニング・データを指定すると、スコアリング要求を自動的に送信できます。 スコアリング要求の送信に失敗した場合、または非構造化テキスト・モデルまたはイメージ・モデルを評価している場合は、予測結果の信頼性の測定値を含むサンプル・トランザクションを手動で提供できます。 モデル・トランザクションは、データベース内のペイロード・ロギング・テーブルに保管され、モデル評価にデータを使用します。
モデル出力の指定
予測列と予測確率列を選択します。 予測列には、 デプロイメント が生成する予測が含まれ、予測確率列には、予測に対するモデルの信頼性が含まれます。 予期される列は、モデル デプロイメント から識別されるメタデータに基づいて事前選択されます。