Escenario: Gestión de una solución AI RAG

Este escenario describe estrategias para gobernar un activo de IA. Revise las orientaciones para gobernar una solución de Generación Mejorada por Recuperación (RAG).

Utilice este enfoque de escenario para aprender cómo puede utilizar los componentes de watsonx.governance para lograr una solución integrada que vincule el desarrollo de activos con la supervisión del rendimiento y los objetivos de cumplimiento.

En este escenario, su equipo planea alojar una aplicación de preguntas y respuestas basada en un conjunto de documentos seleccionados. En este caso, la aplicación admite preguntas y respuestas relacionadas con un artículo sobre la historia de los ascensores. Revise los pasos para saber cómo utilizar las funciones de watsonx.governance, incluida la consola Governance, las fichas de AI y las evaluaciones para controlar y realizar un seguimiento de esta aplicación desde la solicitud hasta la producción. Los enlaces a la documentación relacionada le conectan con las instrucciones para realizar las tareas descritas en el escenario.

Escenario general

Este escenario describe estos pasos de alto nivel:

Configuración de un caso de uso desde Governance Console.
Mover el caso de uso a través de un flujo de trabajo de aprobación automatizado.
Realización de una evaluación de riesgos de la aplicación propuesta.
Completar una evaluación para determinar si la aplicación requiere el cumplimiento de la Ley de IA de la UE.
Sincronización de datos para la aplicación con AI Factsheets.
Evaluación de la calidad de las respuestas generadas para la aplicación de preguntas y respuestas.
Analizar y revisar las transacciones para explicar las respuestas.

Este escenario supone lo siguiente:

Watsonx.governance está instalado y la Governance Console está configurada.
La aplicación de preguntas y respuestas está disponible como modelo externo. En este escenario, se crea con Azure OpenAI.
Un bloc de notas registra el modelo con watsonx.ai y almacena la plantilla de solicitud separada en un proyecto Watson Studio.

Nota: El seguimiento de los activos de IA, especialmente mediante la consola Gobernanza, es muy personalizable. Su organización puede planificar y aplicar un enfoque de gobernanza que satisfaga sus necesidades. Este escenario describe un enfoque de gobernanza.

Gobernar un caso de uso desde la consola de gobernanza

Vea la actividad de gobernanza desde la consola de gobernanza. La consola es altamente personalizable, pero esta vista proporciona una vista típica de un tablero de control para el seguimiento de los casos de uso y la actividad de gobernanza relacionada. Consulte Gestión de riesgos y cumplimiento con Governance console en IBM watsonx.
El caso de uso del Asistente de preguntas y respuestas para ascensores proporciona detalles que incluyen una descripción del problema empresarial, la parte que solicita una solución y el objetivo de la solución. El caso de uso captura todos los detalles de las actividades relacionadas con el seguimiento de un activo de IA para abordar el problema empresarial. Véase Creación de casos de uso con Governance console.
Una de las principales características de la creación de casos de uso en la consola de Gobernanza es que se pueden configurar flujos de trabajo automatizados para regular las actividades del ciclo de vida de la IA. El flujo de trabajo más habitual es un flujo de aprobación que pide a las partes interesadas que revisen y aprueben la solución propuesta. Tras definir la información básica del caso de uso, incluidos los detalles sobre los objetivos de la solución de IA solicitada, el caso de uso se envía al primer aprobador para su revisión. Véase Revisión de casos de uso.
El flujo de trabajo de aprobación puede requerir aprobadores adicionales. Cuando se satisface el flujo de trabajo de aprobación, el proceso avanza a la siguiente fase.
En este caso, la política de gobernanza exige cumplimentar un cuestionario de evaluación de riesgos para determinar un nivel de riesgo para la aplicación Q&A. La Evaluación de Riesgos conecta con los riesgos definidos en el atlas de riesgos de la IA, un directorio de riesgos potenciales y sugerencias para mitigar los riesgos asociados a la IA. Véase Atlas de riesgo de la IA.
Una vez completado el cuestionario de evaluación de riesgos, se asigna un nivel de riesgo al caso de uso. El nivel de riesgo puede impulsar un plan de mitigación de riesgos que puede añadirse al caso de uso. Véase Completar una evaluación de riesgos.
En este caso, el siguiente paso es rellenar otro cuestionario para determinar si el caso de uso requiere algún paso adicional para cumplir la Ley de IA de la UE. Si la aplicación requiere algún paso adicional para su cumplimiento, el plan puede añadirse al caso de uso. Véase Cumplimentación de una evaluación de aplicabilidad.
La finalización de las evaluaciones activa el siguiente flujo de trabajo de aprobación, de modo que los equipos jurídico y de cumplimiento puedan revisar el caso de uso. Una vez aprobado, el caso de uso está listo para su desarrollo. Para pasar al entorno de desarrollo, haga clic en el enlace Terceros. Esto abre la ficha de IA para el caso de uso en Watson Studio. Los datos para el seguimiento de los activos de IA se sincronizan entre el caso de uso de IA en Watson Studio y el caso de uso de la consola de Gobernanza.
En la pestaña Ciclo de vida, puede revisar un enfoque para el seguimiento de una plantilla de aviso desvinculada para el modelo remoto. Un enfoque es una parte de una solución para el problema empresarial enmarcado en el caso de uso. Una plantilla de instrucciones es una instrucción reutilizable para un modelo generativo de IA con al menos una variable. En este escenario, el modelo de consulta está desvinculado, lo que significa que la inferencia se realiza en el modelo remoto, pero los resultados se pueden evaluar con las herramientas watsonx.governance. Véase Configuración de un caso de uso de IA.
Revise el despliegue independiente para un modelo Azure OpenAI que generará respuestas para preguntas sobre el artículo del ascensor. Las métricas proporcionan información detallada sobre el activo evaluado. En el caso de una plantilla de preguntas para un modelo de preguntas y respuestas, las métricas pueden responder a la calidad y comprobar la presencia de contenido personal o abusivo. Véase Plantillas de avisos de seguimiento.
Puede abrir la plantilla de solicitud en un proyecto para ejecutar nuevas evaluaciones. En este caso, la inferencia se realiza directamente con el modelo remoto, pero los detalles de la evaluación de la entrada y la salida del modelo se recogen en la ficha. Cuando se configura una evaluación, se establecen umbrales aceptables para las métricas con el fin de evaluar el rendimiento de la plantilla de avisos. Véase Evaluaciones generativas de la calidad de la IA.
Analice las transacciones para conocer mejor cómo se generó la respuesta. Por ejemplo, revise la relevancia de las respuestas para saber cómo se generaron. El análisis de las transacciones contribuye a una comprensión más profunda y a una mayor transparencia de una solución de IA. Véase Revisión de las transacciones del modelo.