IBM mejora las capacidades de watsonx.governance con el nuevo motor de evaluación de riesgos de modelos
Nos complace anunciar Model Risk Evaluation Engine, una nueva herramienta en watsonx.governance que puede medir los riesgos de los modelos fundacionales calculando métricas relacionadas con las dimensiones de riesgo del Atlas de Riesgo de IA. Como parte de un proceso integral de incorporación de modelos, permite la comparación de métricas de riesgo entre diferentes modelos fundacionales, lo que le ayuda a identificar los modelos fundacionales más adecuados para su despliegue dentro de su organización, en línea con la tolerancia al riesgo específica de su organización.
A medida que las empresas aumentan sus despliegues de IA generativa, es cada vez más importante que comprendan mejor los riesgos asociados con los modelos de IA subyacentes, como la inyección de prompts, la salida tóxica, el jailbreaking y la alucinación.
Las organizaciones tienen muchas opciones a la hora de seleccionar qué modelos de IA generativa utilizar en su empresa. Tomar una decisión informada es importante para evitar situaciones en las que los modelos generativos funcionan mal (por ejemplo, un chatbot "falso" orientado al cliente que brinda orientación incorrecta o dañina). Estas situaciones pueden tener un gran impacto en la reputación del que puede ser difícil recuperarse para una organización. Por lo tanto, contar con datos cuantitativos objetivos sobre riesgos para prevenir este tipo de situaciones debe ser parte del proceso de incorporación de modelos de una organización.
El proceso de incorporación de modelos de IA generativa consta de 3 etapas:
- Comprender los riesgos generales de la IA generativa.
- Identificar los riesgos aplicables a un modelo de IA en particular (o el caso de uso).
- Evaluar los riesgos identificados.
La incorporación de una biblioteca de riesgos es el primer paso para comprender qué riesgos pueden ser aplicables. El Atlas de riesgos de IA de IBM es un gran recurso para comprender los riesgos asociados con el uso de modelos de IA generativa y machine learning. Los riesgos también se integran directamente en la consola de gobernanza de watsonx.governance y están disponibles de forma inmediata. La biblioteca de riesgos también se puede complementar con el inventario de riesgos de una organización si se desea. Los riesgos se pueden vincular a casos de uso y modelos de IA mediante las evaluaciones de identificación de riesgos listas para usar (caso de uso de IA, incorporación de modelos y caso de uso + modelo combinados).
Comprender los riesgos que pueden ser aplicables es un gran primer paso, pero es igualmente importante contar con métodos eficaces para identificar, medir y mitigar estos riesgos.
watsonx.governance se envía con 3 evaluaciones de identificación de riesgos:
- Identificación de riesgos de casos de uso de IA: se utiliza para identificar riesgos que son específicos del caso de uso que se propone y no son específicos del modelo. Por ejemplo, inyección de instrucciones, información de IP en instrucciones y exposición de información personal.
- Identificación de riesgos de incorporación del modelo de IA: se utiliza para identificar riesgos específicos del modelo que se está evaluando. Por ejemplo, el sesgo de datos, la procedencia incierta de los datos, la falta de transparencia de los datos de entrenamiento y la reidentificación.
- Caso de uso + identificación de riesgo de modelo: se utiliza para identificar un conjunto adicional de riesgos que podrían surgir de una combinación específica de un caso de uso y un modelo. Por ejemplo, restricciones de derechos de uso del modelo, alucinaciones y resultados inexplicables.
Estas evaluaciones se utilizan para determinar qué riesgos del Risk Atlas son aplicables al modelo o caso de uso que se está incorporando. En watsonx.governance Governance Console, hay un flujo de trabajo para la incorporación del modelo fundacional que incluye la evaluación del cuestionario de identificación de riesgos mencionada anteriormente.
Una vez identificados, los riesgos aplicables deben examinarse individualmente mediante una evaluación de riesgos y controles (RCSA) para determinar el riesgo inherente y residual. Esto producirá un perfil de riesgo para el modelo que puede informar qué tipo de usos estaría dispuesta a aprobar una organización para el modelo, como RAG, clasificación o resumen.
Para informar mejor el proceso de RCSA, se puede realizar una evaluación cuantitativa para obtener una comprensión más profunda del riesgo de un determinado modelo y cómo se compara con modelos similares. Las empresas también están facultadas para evaluar los riesgos de cualquier modelo que desarrollen o mejoren (por ejemplo, mediante ajustes).
El motor de evaluación de riesgos de modelos, ahora parte de watsonx.governance, ayuda con la evaluación cuantitativa de riesgos de los modelos fundacionales. Calcula métricas relacionadas con un conjunto definido de dimensiones de riesgo del AI Risk Atlas. Al calcular estas métricas para una amplia selección de modelos fundacionales, las empresas pueden elegir los modelos que cumplan con sus objetivos comerciales y, al mismo tiempo, se alineen con su apetito por el riesgo.
El motor de evaluación de riesgos de modelos admite la evaluación de modelos de lenguaje de gran tamaño de IBM watsonx.ai, así como de cualquier modelo de lenguaje de gran tamaño externo. Los resultados completos del motor de evaluación se pueden guardar en la Governance Console de watsonx.governance o exportar como informe PDF.
El motor de evaluación de riesgos de modelos ayuda a realizar las siguientes tareas:
- Calcular métricas con watsonx.ai como motor de inferencia
- Calcular métricas de riesgo para modelos fundacionales en watsonx.ai
- Calcular métricas de riesgo para modelos fundacionales externos
- Almacenar las métricas calculadas en Governance Console (OpenPages)
- Recuperar las métricas calculadas desde Governance Console (OpenPages)
- Agrega tus propios riesgos y conjuntos de datos
- Generar un informe en PDF de las métricas calculadas
- Implementa tu propia función de puntuación para cualquier modelo que realice evaluaciones (por ejemplo, una función determinista o LLM como juez)
- Muestra las métricas en una celda de cuaderno, en formato de tabla o gráfico
Una vez que todos estos datos regresan a Governance Console, se pueden utilizar para informar el paso de evaluación de riesgos del flujo de trabajo de incorporación del modelo fundacional descrito anteriormente.
Los usuarios de watsonx.governance pueden acceder al motor de evaluación de riesgos de modelos:
Nuestro cuaderno de muestra contiene instrucciones para que lo pruebe usted mismo. La página de documentación del motor de evaluación de riesgos del modelo también contiene más información.
Si desea que su organización identifique, mida y mitigue el riesgo de IA generativa de manera efectiva, una solución de gobernanza de la IA como watsonx.governance es crucial. Pruébelo usted mismo o programe una cita para hablar con un experto de IBM hoy mismo.