Gestionar riesgo de modelo

Se ofrece una solución de gestión de riesgos de modelos que incluye una evaluación de los modelos, la cual mide los resultados de los modelos de IA a lo largo de todo su ciclo de vida y lleva a cabo validaciones de los modelos para ayudar a su organización a cumplir con las normas y regulaciones.

Realiza análisis con Watson OpenScale

Después de configurar y activar las características de gestión de riesgos del modelo, puede ver y comparar las evaluaciones de ejemplo. Puede descargar el informe de resumen del modelo que incluye todas las medidas de calidad, las medidas de equidad y la magnitud de la desviación.

Panel de resumen de MRM

  1. En el panel de control Detalles, pulse el icono de despliegue de modelo

  2. En el menú Acciones, pulse una de las siguientes opciones de análisis:

    • Todas las evaluaciones: muestra todas las evaluaciones en curso y finalizadas
    • Compara: compara cualquiera de los modelos, pero sobre todo las versiones de un mismo modelo, para obtener el mejor rendimiento
    • Descargar el informe en PDF: Genera el informe resumido del modelo, que incluye todas las métricas y una explicación de por qué se han puntuado de esa manera

Desplegar un nuevo modelo en producción en Watson OpenScale

Envíe el mejor modelo a producción. Cree un registro de producción importando desde un modelo de preproducción. Una vez aprobado el modelo para el despliegue en IBM OpenPages, puede enviar el modelo a la producción.

  1. Comprueba el estado de la implementación del modelo.
  2. Vuelva al cuaderno de ejemplo y ejecute las celdas para enviar el modelo a producción.
  3. Ahora puede ver el mosaico de despliegue del modelo de producción. En un entorno de producción habitual, inicialmente aparece vacío hasta que se recopilan suficientes datos y transcurre un tiempo para que se desencadene el cálculo de la métrica. El cuaderno añade datos y ejecuta los supervisores para que pueda ver los resultados inmediatamente.

Comparar modelos

Al consultar los detalles de la evaluación de un modelo, puedes comparar los modelos mediante un gráfico matricial que destaca las métricas clave. Utilice esta característica para determinar qué versión de un modelo es la mejor para enviar a producción o qué modelo puede requerir algún trabajo.

En el menú Acciones, seleccione Comparar para generar un gráfico que compara las puntuaciones de las métricas que utiliza para supervisar los modelos.

Evaluar ahora

En el menú Acciones, selecciona «Evaluar ahora» para evaluar los datos de prueba. En el entorno de preproducción, puede importar datos de prueba con uno de los métodos siguientes:

  • Subir un archivo CSV que contiene datos de prueba etiquetados
  • Conéctese a un archivo CSV que contenga datos de prueba etiquetados en Cloud Object Storage o Db2

Cuando utilice cualquiera de estos métodos de importación, puede controlar si Watson OpenScale puntúa los datos de prueba.

Si quieres puntuar tus datos, importa los datos de prueba etiquetados con columnas de características y etiquetas. Los datos de prueba se puntúan y los valores de predicción y probabilidad se almacenan en la tabla de retroalimentación en las columnas _original_prediction _original_probability y.

Si desea importar datos de prueba que ya se han puntuado, seleccione el recuadro de selección Test data includes model output en el panel Importar datos de prueba. Debe importar los datos de prueba con columnas de característica y etiqueta junto con la salida puntuada. Los datos de las pruebas no se vuelven a puntuar. Los valores de predicción y probabilidad se almacenan en la tabla de comentarios como las columnas _original_prediction y _original_probability.

Notas:

  • Los datos de prueba que cargue también pueden incluir columnas de record_id/transaction_id y record_timestamp que se añaden al registro de carga útil y a las tablas de comentarios cuando se selecciona la opción Test data includes model output.
  • Asegúrese de que la suscripción está totalmente habilitada estableciendo los esquemas correctos antes de realizar las evaluaciones.
  • Marque la casilla «Habilitar credenciales de tareas ». Esta configuración es obligatoria para todas las suscripciones que requieran autorización para ejecutar trabajos de evaluación de forma segura.

Al ejecutar evaluaciones, puedes ver el progreso mediante un indicador de estado que muestra si las evaluaciones se han completado correctamente.

Se muestran los indicadores del estado de avance de la evaluación

Copiar configuración de una suscripción de preproducción en una suscripción de producción

Para ahorrar tiempo, puede copiar metadatos de la configuración y del modelo de una suscripción de preproducción y añadir los datos a una suscripción de producción. El modelo debe ser una coincidencia idéntica del modelo de origen, pero se debe desplegar en el espacio de producción.