Seguimiento de plantillas de solicitud
Realice un seguimiento de una plantilla de solicitud en un caso de uso de IA para capturar y compartir hechos sobre el activo para ayudarle a cumplir los objetivos de gobierno y conformidad.
Seguimiento de plantillas de solicitud
Una plantilla de solicitud es la entrada de solicitud guardada para un modelo de base. Una plantilla de solicitud puede incluir variables para que se pueda ejecutar con distintas opciones. Por ejemplo, si tiene una solicitud que resume las notas de reunión para el proyecto-X, puede definir una variable para que la misma solicitud se pueda ejecutar para el proyecto-Y.
Puede añadir una plantilla de solicitud guardada a un caso de uso de IA para realizar un seguimiento de los detalles de la plantilla de solicitud. Además de registrar detalles sobre la información de creación de la plantilla de solicitud y los detalles del modelo de origen, la hoja de datos realiza un seguimiento de la información de las evaluaciones de la plantilla de solicitud para capturar las métricas de rendimiento. Puede evaluar las plantillas de solicitud antes o después de iniciar el seguimiento de una plantilla de solicitud.
Antes de empezar
Para poder realizar un seguimiento de una plantilla de solicitud, deben cumplirse estas condiciones.
- Debes ser administrador o editor del proyecto o del espacio de implementación que contiene la plantilla de solicitud.
- La plantilla de solicitud debe incluir al menos una variable. Para obtener más información, consulte Creación de solicitudes reutilizables.
Vea este vídeo para ver cómo realizar un seguimiento de una plantilla de solicitud en un caso de uso de IA. El vídeo comienza en la pantalla de inicio de « watsonx ». El usuario selecciona «Solicitar o realizar un seguimiento de modelos» en «Casos de uso de IA » y, a continuación, selecciona «Nuevo caso de uso de IA ».
Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.
Seguimiento de una plantilla de solicitud en un caso de uso de IA
Puedes añadir una plantilla de solicitud a un caso de uso de IA desde un proyecto o un espacio de implementación.
- Abre el proyecto o el espacio de implementación que contenga la plantilla de solicitud que deseas gestionar.
- En el menú de acciones del activo, haz clic en «Seguimiento en caso de uso de IA».
Cuando empiezas a realizar un seguimiento de una plantilla de indicaciones, esta se bloquea y ya no puedes editarla. Para realizar cambios, debes crear una nueva plantilla de indicaciones. - Elija un enfoque existente o cree un nuevo enfoque. Un enfoque representa una faceta de una solución completa. Cada enfoque crea un conjunto de versiones para todos los activos en el mismo enfoque.
- Elija un esquema de numeración de versión. Todos los activos de un enfoque comparten una versión común. Elija entre:
- Experimental si tiene previsto actualizar con frecuencia.
- Estable si los activos no están cambiando rápidamente.
- Personalizado si desea iniciar un nuevo número de versión. La numeración de versión debe seguir un esquema de major.minor.patch.
Cuando el seguimiento está habilitado, todos los colaboradores del caso de uso pueden revisar los detalles de la plantilla de solicitud.
Se capturan los detalles de cada etapa del ciclo de vida para una plantilla de solicitud.
- Desarrollar proporciona información sobre cómo se define la solicitud, incluida la propia solicitud, la fecha de creación, el modelo de base que se utiliza, el conjunto de parámetros de solicitud y las variables definidas.
- «Validate» muestra las métricas de dimensión obtenidas al evaluar tu plantilla de solicitud.
- Operar proporciona detalles relacionados con cómo se despliega la plantilla de solicitud para uso productivo.
Requisitos para el seguimiento de las plantillas de mensajes
Ten en cuenta estos requisitos para gestionar las plantillas de mensajes de gobernanza desde la interfaz de usuario.
- Solo puedes crear implementaciones de plantillas de indicaciones que hagan referencia a implementaciones de modelos en el mismo proyecto o espacio en el que hayas creado la implementación del modelo. Si publicas una plantilla que hace referencia a un modelo implementado en un espacio, se añade automáticamente una copia del recurso del modelo a dicho espacio. Debes implementar el modelo en el espacio antes de implementar la plantilla de prompt.
- Si exportas una plantilla de solicitud que hace referencia a un modelo implementado, el recurso del modelo asociado se exporta automáticamente junto con la plantilla de solicitud. Al importar la plantilla a un nuevo contenedor, también se importa el modelo. El modelo debe implementarse en el nuevo contenedor antes de implementar la plantilla de solicitud.
Visualización de la hoja de datos para una plantilla de solicitud rastreada
Pulse el nombre de la plantilla de solicitud en un caso de uso de IA para ver la hoja de datos asociada.
La hoja de datos para una plantilla de solicitud recopila este tipo de datos:
- Governance recopila información básica como, por ejemplo, el nombre del caso de uso de IA, la descripción y los datos de nombre y versión del enfoque.
- Modelo de fundación muestra el nombre del modelo de fundación, el ID de licencia y el editor de modelos.
- Plantilla de solicitud muestra el nombre de solicitud, el ID, la entrada de solicitud y las variables.
- Parámetros de solicitud recopila las opciones de configuración para la plantilla de solicitud, incluyendo el método de decodificación y los criterios de detención.
- Los resultados de las pruebas muestran los datos de las evaluaciones de la plantilla de indicaciones, incluidas las alertas y las métricas. Por ejemplo, esta ficha informativa muestra los resultados de los indicadores de calidad de la IA generativa correspondientes a la fase de desarrollo. La evaluación activó catorce alertas de umbral:
- En «Detalles adicionales» se ofrece más información sobre la plantilla de la solicitud.
- Archivos adjuntos muestra información sobre los archivos adjuntos que dan soporte al caso de uso.
Mover una plantilla de solicitud a través de etapas de ciclo de vida
Cuando se realiza un seguimiento de una plantilla de solicitud, puede ver los detalles de la creación de la plantilla de solicitud y de la evaluación del rendimiento con respecto a las métricas adecuadas. La siguiente etapa del ciclo de vida es _validar la plantilla de solicitud. Esto implica probar la plantilla de solicitud con datos nuevos. Si es el ingeniero de solicitud que tiene la tarea de validar el activo, siga estos pasos para validar la plantilla de solicitud y capturar los datos de validación en la hoja de datos asociada.
- Desde el proyecto que contiene la plantilla de la solicitud, exporta el proyecto a un archivo ZIP comprimido.
- Cree un proyecto nuevo y rellénelo con el archivo ZIP exportado.
- Cargue los datos de validación, evalúe la plantilla de solicitud y guarde los resultados en el proyecto de validación.
- Desde el proyecto, promocione la plantilla de solicitud a un espacio de despliegue nuevo o existente que se haya designado como etapa Producción . La etapa se asigna cuando se crea el espacio y no se puede actualizar, por lo tanto, cree un espacio nuevo si no tiene un espacio de producción disponible.
- Después de promocionar la plantilla de solicitud a un espacio de despliegue, puede configurar la supervisión continua.
- Los detalles de la supervisión de la plantilla de solicitud en un espacio de producción se muestran en la etapa de ciclo de vida Operar del caso de uso de IA.
Seguimiento de plantillas de solicitud desconectadas de modelos de lenguaje grandes alojados externamente
Como parte del proceso de gobierno, puede realizar un seguimiento de las plantillas de solicitud para los modelos de IA generativos que no se crean ni alojan en IBM. Por ejemplo, puede evaluar una plantilla de solicitud para un modelo Google Vertex AI y un modelo Azure OpenAI o un modelo AWS Bedrock. Para obtener información sobre cómo crear una plantilla de solicitud desconectada para un modelo alojado externamente y guardarla en un proyecto o espacio, consulte Evaluación de plantillas de solicitud para modelos de fundación que no son deIBM.
Para explorar los resultados de la evaluación, puede crear un despliegue desconectado en un espacio de despliegue para conectarse a la plantilla de solicitud remota y, a continuación, evaluar la plantilla de solicitud desconectada con dimensiones para el tipo de tarea. Para obtener más información, consulte Creación de un despliegue desconectado para una solicitud externa.
Después de guardar la plantilla de solicitud en un producto o espacio, realice el seguimiento en un caso de uso de la misma forma que realiza el seguimiento de una plantilla de solicitud desde un modelo de base watsonx.ai .
Este ejemplo muestra una plantilla de solicitud desconectada que se está rastreando en un caso de uso de IA.
La visualización de la hoja de datos para las plantillas de solicitud desconectadas muestra información sobre dónde se aloja el modelo de origen.
Más información
- Siga la guía de aprendizaje Inicio rápido: Evaluar y realizar un seguimiento de una plantilla de solicitud para evaluar y realizar un seguimiento de una plantilla de solicitud de ejemplo.
- Consulte Despliegue de una plantilla de solicitud para obtener detalles sobre cómo preparar una plantilla de solicitud para producción.
- Consulte Evaluación de plantillas de solicitud para obtener detalles sobre la evaluación de una plantilla de solicitud para dimensiones como la precisión o para comprobar la presencia de un discurso odioso o abusivo.