Planificación del gobierno de IA

Planifique cómo utilizar watsonx.governance para acelerar los flujos de trabajo de IA responsables, transparentes y explicables con una solución de gobierno de IA que proporciona una supervisión integral para el aprendizaje automático y los modelos de IA generativos.

Funcionalidades de gobierno

Nota:

Para controlar los metadatos a partir de los modelos base organizados por IBM, debe haber suministrado watsonx.ai .

Tenga en cuenta estas prestaciones de watsonx.governance cuando planifique su estrategia de gobierno:

  • Recopile metadatos en hojas de datos sobre modelos de aprendizaje automático y plantillas de solicitud para modelos de base de IA generativa.
  • Supervise los despliegues de aprendizaje automático para garantizar la equidad, la desviación y la calidad para asegurarse de que los modelos cumplen los estándares especificados.
  • Supervise los activos de IA generativos para detectar infracciones de umbrales de lenguaje tóxico o la detección de información de identificación personal.
  • Evalúe las plantillas de solicitud con métricas diseñadas para medir el rendimiento y para probar la presencia de contenido prohibido, como la voz odiosa.
  • Recopile datos de estado de modelo que incluyan el tamaño de los datos, la latencia y el rendimiento para ayudarle a evaluar los problemas de rendimiento y gestionar el consumo de recursos.
  • Utilice el Atlas de riesgos de IA como guía de los retos de las soluciones de IA para que pueda planificar la mitigación de riesgos y cumplir sus objetivos normativos y de conformidad.
  • Asigne una puntuación de riesgo única a los modelos rastreados para indicar el impacto relativo del modelo asociado. Por ejemplo, a un modelo que predice información confidencial como, por ejemplo, una puntuación de crédito, se le puede asignar una puntuación de riesgo alta.
  • Utilice las herramientas de análisis de transacciones automatizadas para mejorar la transparencia y la explicabilidad de sus activos de IA. Por ejemplo, vea cómo una característica contribuye a una predicción y pruebe escenarios hipotéticos para explorar distintos resultados.
  • Opcionalmente, intégrese con la consola de gobernanza para recopilar metadatos sobre modelos básicos y modelos de aprendizaje automático que le ayudarán a alcanzar sus objetivos de gobernanza. También puede utilizar la consola de gobernanza para desarrollar flujos de trabajo que respalden sus procesos de gobernanza.
  • Utilice el catálogo de agentes regulados para registrar, evaluar y reutilizar rápidamente herramientas y agentes de IA.

Planificación del gobierno

Considere estas estrategias de gobierno:

Crear un equipo de gobierno

Tenga en cuenta la experiencia que necesita en su equipo de gobierno. Un plan de gobierno típico puede incluir los roles siguientes. A veces, la misma persona puede ocupar varios roles. En otros casos, un rol puede representar un equipo de personas.

  • Propietario del modelo: el propietario crea un caso de uso de IA para realizar un seguimiento de una solución a una necesidad empresarial. El propietario solicita el modelo o la plantilla de solicitud, gestiona el proceso de aprobación y realiza un seguimiento de la solución a través del ciclo de vida de IA.
  • Desarrollador de modelos o experto en datos: el desarrollador trabaja con los datos en un conjunto de datos o un modelo de lenguaje grande (LLM) y crea el modelo de aprendizaje automático o la plantilla de solicitud LLM.
  • Validador de modelo: el validador prueba la solución para determinar si cumple los objetivos que se indican en el caso de uso de IA.
  • Gestor de riesgos y conformidad: el gestor de riesgos determina las políticas y los umbrales de conformidad para el caso de uso de IA. Por ejemplo, el gestor de riesgos puede determinar las reglas que se deben aplicar para probar una solución para la equidad o para examinar la salida para hablar con odio y de forma abusiva.
  • Ingeniero de MLOps: el ingeniero de MLOps mueve una solución de un entorno de preproducción (prueba) a un entorno de producción cuando una solución se considera lista para desplegarse por completo.
  • Desarrollador de aplicaciones: Después del despliegue, y el desarrollador de aplicaciones ejecuta evaluaciones en el despliegue para supervisar el rendimiento de la solución en relación con el umbral de métrica establecido por el propietario de riesgo y conformidad. Si el rendimiento cae por debajo de los umbrales especificados, el desarrollador de la aplicación trabaja con las demás partes interesadas para solucionar los problemas y actualizar el modelo o la plantilla de avisos.

Configurar una estructura de gobierno

Después de identificar roles y ensamblar un equipo, planifique la estructura de gobierno.

  1. Cree un inventario para almacenar casos de uso de IA. Un inventario es donde se almacenan y visualizan los casos de uso de IA y las hojas de datos que están asociadas con los activos gobernados. En función de sus requisitos de gobierno, almacene todos los casos de uso en un único inventario o cree varios inventarios para sus esfuerzos de gobierno.
  2. Cree proyectos para la colaboración. Si utiliza las herramientas de IBM , cree un proyecto de Watson Studio . El proyecto puede contener los datos necesarios para entrenar o probar la solución de IA y el modelo o plantilla de solicitud que se gobierna. Utilice el control de acceso para restringir el acceso a los colaboradores aprobados.
  3. Cree un espacio de despliegue de preproducción. Utilice el espacio para probar el modelo o la plantilla de solicitud utilizando datos de prueba. Al igual que un proyecto, un espacio proporciona características de control de acceso para que pueda incluir los colaboradores necesarios.
  4. Configurar evaluaciones de prueba y validación. Proporcione los detalles de la plantilla de solicitud o modelo y configure un conjunto de evaluaciones para probar el rendimiento de la solución. Por ejemplo, puede probar un modelo de aprendizaje automático para dimensiones como la equidad, la calidad y la desviación, y probar una plantilla de solicitud con métricas como la perplejidad (la precisión de la salida) o la toxicidad (si la salida contiene un discurso odioso o abusivo). Al probar datos conocidos (etiquetados), puede evaluar el rendimiento antes de mover una solución a producción.
  5. Configure un espacio de producción. Cuando la plantilla de modelo o solicitud esté lista para desplegarse en un entorno de producción, mueva la solución y todas las dependencias a un espacio de producción. Un espacio de producción normalmente tiene una lista de control de accesos más ajustada.
  6. Configurar evaluaciones para el modelo desplegado. Proporcione los detalles del modelo y configure las evaluaciones para la solución. Ahora puede probar con datos activos en lugar de con datos de prueba. Es importante supervisar la solución para que se le avise si se cruzan los umbrales, lo que indica un problema potencial con la solución desplegada.

Gestionar la colaboración para el gobierno

Watsonx.governance se basa en una plataforma de colaboración para que todos los miembros del equipo aprobados puedan contribuir a los objetivos de resolución de problemas de negocio.

Para planificar la colaboración, considere cómo gestionar el acceso a los inventarios, proyectos y espacios que utiliza para el gobierno.

Utilice los roles junto con las características de control de acceso para asegurarse de que el equipo tiene el acceso adecuado para cumplir los objetivos.

Desarrollar un plan de comunicación

Parte del flujo de trabajo en torno a la definición de un caso de uso de IA y el traslado de activos a través del ciclo de vida se basan en una comunicación efectiva. Decida cómo se comunicará su equipo y establezca los detalles. Por ejemplo:

  • ¿Utilizará el correo electrónico para la toma de decisiones o una herramienta de mensajería como Slack?
  • ¿Hay un proceso formal para añadir comentarios a un activo a medida que se mueve a través de un flujo de trabajo?
  • ¿Qué flujos de trabajo automatizados son necesarios para dar soporte a la comunicación y la responsabilidad?

Cree su plan de comunicación y compártalo con su equipo.

Implemente una solución de gobierno simple

A medida que implemente su estrategia de gobierno, empiece con una implementación sencilla y, a continuación, considere cómo crear de forma incremental una solución más completa. La implementación más sencilla requiere un caso de uso de IA en un inventario, con un activo que pasa de la solicitud a la producción.

Para la implementación más sencilla del gobierno de IA, cree un caso de uso de IA para el seguimiento de activos. Un caso de uso de IA en un inventario consiste en un conjunto de fichas que contienen el linaje, el historial y otra información relevante sobre el ciclo de vida de un modelo. Añada científicos de datos, ingenieros de datos y otros usuarios como colaboradores.

La figura siguiente muestra cómo los propietarios de casos de uso de IA pueden solicitar y realizar un seguimiento de los activos:

  • Los usuarios empresariales crean casos de uso de IA en el inventario para solicitar modelos de aprendizaje automático o plantillas de solicitud LLM.
  • Los científicos de datos asocian el activo entrenado con un caso de uso de IA para realizar un seguimiento de las actividades del ciclo de vida.

Los inventarios almacenan hojas de datos con metadatos sobre activos gobernados

Las hojas de datos de IA acumulan información sobre el modelo o las plantillas de solicitud de las siguientes maneras:

  • Todas las acciones asociadas con el activo rastreado se guardan automáticamente, incluidos los despliegues y las evaluaciones.
  • Todos los cambios en los activos de datos de entrada se guardan automáticamente.
  • Los científicos de datos pueden añadir etiquetas, documentación de soporte y otra información.
  • Los científicos de datos pueden asociar modelos de retador con los casos de uso de IA para comparar el rendimiento del modelo.

Los validadores y otras partes interesadas revisan las hojas de datos de IA para garantizar la conformidad y certificar el progreso de los activos desde el desarrollo hasta la producción. También pueden generar informes a partir de las hojas de datos para imprimir, compartir o archivar detalles.

Planifique soluciones más complejas

Puede ampliar su implementación de gobierno de IA en cualquier momento. Considere estas opciones para ampliar el gobierno:

  • Los ingenieros de MLOps pueden ampliar el seguimiento de modelos para incluir modelos externos que se crean con modelos de aprendizaje automático de terceros.
  • Los ingenieros de MLOps pueden añadir propiedades personalizadas a las hojas de datos para realizar un seguimiento de más información.
  • Los analistas de conformidad pueden personalizar las plantillas de informe predeterminadas para generar informes personalizados para la organización.
  • Integrar AI Factsheets con la consola de Gobernanza para respaldar una visión empresarial de la actividad de gobernanza y desarrollar flujos de trabajo para respaldar los procesos de gobernanza.

Control de activos que se crean local o externamente

Watsonx.governance proporciona las herramientas para que gobierne los activos que ha creado utilizando herramientas de IBM , como por ejemplo modelos de aprendizaje automático creados utilizando AutoAI o plantillas de solicitud de modelo base creadas en un proyecto watsonx . También puede controlar los modelos de aprendizaje automático que se crean utilizando herramientas que no son deIBM , como por ejemplo Microsoft Azure o Amazon Web Services. A medida que desarrolle su plan de gobierno, tenga en cuenta estas diferencias:

IBM activos

Los activos de IBM desarrollados con herramientas como Watson Studio están disponibles para el gobierno anterior en el ciclo de vida. Puede realizar un seguimiento de la hoja de datos para un activo local desde la fase de desarrollo y tener visibilidad en detalles como, por ejemplo, los datos de entrenamiento y los detalles de creación de una etapa anterior.

Activos creados con otras herramientas

Puede gestionar los activos creados con herramientas de terceros utilizando las siguientes opciones.

  • Puede importar modelos ML y funciones e Python s a un inventario. Utilice esta opción cuando desee almacenar los activos en watsonx.governance. Cuando se habilita la gobernanza para estos activos, se asocian con una fase del ciclo de vida de un caso de uso de IA. Puede actualizar la fase del ciclo de vida de un activo desde el inventario. Cuando un activo está listo para su implementación, se copia el activo a un espacio de implementación y, a continuación, se crea una implementación.
  • Puedes almacenar los activos fuera de watsonx.governance. Utilice esta opción cuando desee gestionar los activos, pero almacenarlos en herramientas no e IBM s. Un propietario o administrador de inventario debe habilitar el gobierno para modelos externos. Cuando se habilita la gobernanza para modelos externos, puede añadirlos explícitamente a un caso de uso de IA. Si realiza un seguimiento de un modelo externo en la fase de desarrollo, las actividades de ciclo de vida para las fases de validación y operación se rastrean automáticamente.

Para obtener una lista de los proveedores de modelos de aprendizaje automático soportados, consulte Proveedores de aprendizaje automático soportados.

Próximos pasos