IBM mejora las capacidades de watsonx.governance con el nuevo motor de evaluación de riesgos de modelos

Estamos emocionados de anunciar el motor de evaluación de riesgos de modelos, una nueva herramienta de watsonx.governance que puede medir los riesgos de los modelos fundacionales calculando métricas relacionadas con las dimensiones de riesgo del Atlas de riesgos de IA. Como parte de un proceso integral de incorporación de modelos, permite comparar las métricas de riesgo de distintos modelos fundacionales, ayudándole a identificar los modelos fundacionales más adecuados para su implementación en su organización, en línea con la tolerancia al riesgo específica de su organización.

A medida que las empresas continúan ampliando sus implementaciones de IA generativa, es cada vez más importante que desarrollen una mejor comprensión de los riesgos asociados a los modelos fundacionales subyacentes, incluida la inyección de instrucciones, el resultado tóxico, el jailbreaking y la alucinación.

Las organizaciones tienen muchas opciones a la hora de seleccionar qué modelos de IA generativa utilizar en su empresa. Es importante tomar una decisión informada para evitar situaciones en las que los modelos generativos funcionen mal (por ejemplo, un chatbot "deshonesto" orientado al cliente que da consejos incorrectos o perjudiciales). Estas situaciones pueden tener un enorme impacto en la reputación del que puede ser difícil recuperarse para una organización. Por lo tanto, disponer de datos cuantitativos objetivos sobre riesgos para prevenir este tipo de situaciones debe formar parte del proceso de incorporación de modelos de una organización.

El proceso de incorporación de modelos de IA generativa consta de tres etapas:

1. Comprender los riesgos generales de la IA generativa.
2. Identificar los riesgos que son aplicables a un modelo de IA en particular (o caso de uso).
3. Evaluar los riesgos identificados.

La incorporación de una biblioteca de riesgos es el primer paso para comprender qué riesgos pueden ser aplicables. El Atlas de riesgos de la IA de IBM es un gran recurso para comprender los riesgos asociados al uso de la IA generativa y los modelos de machine learning. Los riesgos también se integran directamente en la consola de gobierno de watsonx.governance y están disponibles de forma inmediata. La biblioteca de riesgos también puede complementarse con el inventario de riesgos de la propia organización, si así se desea. Los riesgos pueden vincularse a casos de uso y modelos de IA utilizando las evaluaciones de identificación de riesgos listas para usar (caso de uso de IA, incorporación de modelos y caso de uso + modelo combinados).

Comprender los riesgos que pueden ser aplicables es un gran primer paso, pero es igualmente importante contar con métodos eficaces para identificar, medir y mitigar estos riesgos.

Watsonx.governance incluye tres evaluaciones de identificación de riesgos:

• Identificación de riesgos de casos de uso de IA: se utiliza para identificar riesgos específicos del caso de uso propuesto y no específicos del modelo. Por ejemplo, inyección de instrucciones, información de IP en instrucciones y exposición de información personal.
• Identificación de riesgos de incorporación de modelos de IA: se utiliza para identificar riesgos específicos del modelo que se está evaluando. Por ejemplo, el sesgo de los datos, la procedencia incierta de los datos, la falta de transparencia de los datos de entrenamiento y la reidentificación.
• Caso de uso + identificación de riesgos de modelo: se utiliza para identificar un conjunto adicional de riesgos que podrían surgir de una combinación específica de un caso de uso y un modelo. Por ejemplo, restricciones de los derechos de uso del modelo, alucinaciones y resultados inexplicables.

Estas evaluaciones se utilizan para determinar qué riesgos del Atlas de riesgos son aplicables al modelo y/o caso de uso que se está incorporando. En la consola de gobierno de watsonx.governance, hay un flujo de trabajo para la incorporación del modelo fundacional que incluye la evaluación del cuestionario de identificación de riesgos mencionada anteriormente.

Una vez identificados, los riesgos aplicables deben examinarse individualmente mediante una evaluación de riesgos y controles (RCSA) para determinar el riesgo inherente y residual. Esto producirá un perfil de riesgo para el modelo que puede informar qué tipo de usos estaría dispuesta a aprobar una organización para el modelo, como RAG, clasificación o resumen.

Para informar mejor el proceso RCSA, se puede realizar una evaluación cuantitativa para obtener una comprensión más profunda del riesgo de un determinado modelo y cómo se compara con modelos similares. Las empresas también están facultadas para evaluar los riesgos de cualquier modelo que desarrollen o mejoren (por ejemplo, mediante el fine-tuning).

El motor de evaluación de riesgos de modelos, que ahora forma parte de watsonx.governance, ayuda con la evaluación cuantitativa de riesgos de los modelos fundacionales. Calcula métricas relacionadas con un conjunto definido de dimensiones de riesgo del Atlas de riesgos de la IA. Al calcular estas métricas para una amplia selección de modelos fundacionales, las empresas pueden elegir los modelos que cumplan con sus objetivos comerciales y, al mismo tiempo, se alineen con su apetito por el riesgo.

El Model Risk Evaluation Engine admite la evaluación de grandes modelos de lenguaje de IBM watsonx.ai, así como de cualquier modelo de lenguaje externo de gran tamaño. Los resultados completos del motor de evaluación se pueden guardar en la consola de gobierno de watsonx.governance o exportarse como informe PDF.

Model Risk Evaluation Engine ayuda a realizar las siguientes tareas:

• Calcular métricas utilizando watsonx.ai como motor de inferencia
• Calcular métricas de riesgo para modelos fundacionales en watsonx.ai
• Calcular métricas de riesgo para modelos fundacionales externos
• Almacenar las métricas calculadas en la consola de gobierno (OpenPages)
• Recuperar las métricas calculadas desde la consola de gobierno (OpenPages)
• Añadir sus propios riesgos y conjuntos de datos
• Generar un informe en PDF de las métricas calculadas
• Implementar su propia función de puntuación para cualquier modelo y realiza evaluaciones (por ejemplo, función determinista o LLM como juez)
• Mostrar las métricas en una celda del bloc de notas, en formato de tabla o de gráfico

Una vez que todos estos datos vuelven a la consola de gobierno, se pueden utilizar para informar el paso de evaluación de riesgos del flujo de trabajo de incorporación del modelo fundacional descrito anteriormente.

Watsonx.governance los usuarios pueden acceder al Model Risk Evaluation Engine ejecutando el siguiente comando:

Nuestro cuaderno de muestras contiene instrucciones para que lo pruebe usted mismo. La página de documentación de Model Risk Evaluation Engine también contiene más información.

Si desea que su organización identifique, mida y mitigue el riesgo de la IA generativa de forma eficaz, una solución integral de gobierno de la IA como watsonx.governance es crucial. Pruébelo usted mismo o programe una cita para hablar con un experto de IBM hoy mismo. 

Pruebe watsonx.governance hoy mismo

Más información sobre los servicios de gobierno de la IA de IBM