Evaluación de plantillas de solicitud desconectadas en proyectos

Crear una plantilla de solicitud independiente desde la interfaz de usuario

Puedes crear una plantilla de solicitud independiente directamente desde la interfaz de usuario de watsonx.governance. Las plantillas de indicaciones independientes te permiten evaluar las indicaciones al margen de los activos de implementación.

Procedimiento:

1. En tu proyecto, ve a la pestaña «Recursos», haz clic en «Nuevo recurso » > «Trabajar con modelos» y, a continuación, selecciona «Preparar un recurso de IA externo para la gobernanza ».

2. Si tu proyecto no tiene una instancia de watsonx.governance asociada, se te pedirá que selecciones una. Haz clic en «Asociar una instancia de servicio », selecciona una instancia y, a continuación, haz clic en «Asociar ».

3. Introduce los datos de la plantilla de mensaje independiente.

   Campos obligatorios:

   • Nombre: Escribe un nombre para la plantilla de mensaje independiente.
   • Plantilla de solicitud « URL »: el campo « URL » de la solicitud, si el proveedor lo admite.
   • Modelo base URL : Enlace a la documentación del modelo o a recursos adicionales.
   • Nombre del modelo base: Nombre del modelo base
   • ID del modelo base: el identificador único del modelo aprovisionado, normalmente en formato ARN o equivalente.
   • Tipo de tarea: Selecciona el tipo de tarea que realiza la plantilla de comando.

4. Opcional: Introduce el mensaje de base que deseas utilizar para la evaluación. Esta indicación define la instrucción o pregunta que procesará el modelo de lenguaje de gran tamaño.

5. Selecciona un método de descodificación:

   • Greedy: Genera el siguiente token más probable en cada paso.
   • Muestreo: introduce el azar en el proceso de generación.

6. Define las variables de la línea de comandos.

   En la sección «Variables de la línea de comandos», define las variables que se utilizan en la línea de comandos. Las variables son pares clave-valor que se insertan en la línea de comandos durante la evaluación. Estas variables no son obligatorias al crear la plantilla, pero es necesario proporcionar al menos una variable para evaluar la plantilla.

7. Revisa y crea la plantilla de mensaje independiente. Comprueba que todos los campos obligatorios estén rellenados y, a continuación, haz clic en «Crear» para guardar la plantilla de mensaje independiente.

Crear una plantilla de solicitud independiente con la API

Para crear una plantilla de solicitud independiente mediante la API, consulta el siguiente ejemplo:

{
    "name": "prompt name",
    "description": "prompt description",
    "model_version": {
        "number": "2.0.0.7",
        "tag": "my prompt tag",
        "description": "my description"
    },
    "prompt_variables": {
        "var1": {},
        "var2": {}
    },
    "task_ids": [
        "retrieval_augmented_generation"
    ],
    "input_mode": "detached",
    "prompt": {
        "model_id": "",
        "input": [
            [
                "Some input",
                ""
            ]
        ],
        "data": {},
        "external_information": {
            "external_prompt_id": "external prompt",
            "external_model_id": "external model",
            "external_model_provider": "external provider",
            "external_prompt": {
                "url": "https://company.com?asd=a&32=1",
                "additional_information": [
                    {
                        "additional_key": "additional settings"
                    }
                ]
            },
            "external_model": {
                "name": "An external model",
                "url": "https://company.com?asd=a&32=1"
            }
        }
    }
}

Seleccionar dimensiones

El asistente Evaluar plantilla de solicitud muestra las dimensiones que están disponibles para evaluar el tipo de tarea asociado a la solicitud. Puede expandir las dimensiones para ver la lista de métricas que se utilizan para evaluar las dimensiones que seleccione.

Watsonx.governance configura automáticamente las evaluaciones para cada dimensión con los valores predeterminados. Para configurar evaluaciones con distintos valores, puede seleccionar Valores avanzados para establecer tamaños mínimos de muestra y valores de umbral para cada métrica, tal como se muestra en el ejemplo siguiente:

Seleccionar datos de prueba

Debes cargar un archivo « CSV » que contenga datos de prueba con columnas de referencia que incluyan los datos de entrada y los resultados esperados del modelo. Los datos de prueba que subas deben incluir el resultado del modelo en una columna denominada generated_text para permitir evaluaciones de implementación independientes.

Una vez finalizada la carga, también debes asignar las variables de la solicitud a las columnas correspondientes de tus datos de prueba.

Revisar y evaluar

Puede revisar las selecciones para el tipo de tarea de solicitud, los datos de prueba cargados y el tipo de evaluación que se ejecuta. Debe seleccionar Evaluar para ejecutar la evaluación.

Revisar los resultados de la evaluación

Cuando finalice la evaluación, puede revisar un resumen de los resultados de la evaluación en la pestaña Evaluaciones en watsonx.governance para obtener información sobre el rendimiento del modelo. El resumen proporciona una visión general de las puntuaciones de métrica y las infracciones de los umbrales de puntuación predeterminados para las evaluaciones de plantilla de solicitud.

Si tiene asignado el rol de Visor para el proyecto, puede seleccionar Evaluar en la lista de activos en la pestaña Activos para ver los resultados de la evaluación.

Para analizar los resultados, puedes hacer clic en la flecha situada junto a la evaluación de tu plantilla de indicaciones para ver representaciones gráficas de tus resultados a lo largo del tiempo. También puede analizar los resultados de la evaluación de estado del modelo que se ejecuta de forma predeterminada durante las evaluaciones de plantilla de solicitud para comprender la eficacia con la que el modelo procesa los datos.

El menú Acciones también proporciona las opciones siguientes para ayudarle a analizar los resultados:

• Evaluar ahora: Ejecutar evaluación con un conjunto de datos de prueba diferente
• Todas las evaluaciones: muestra un historial de las evaluaciones para comprender cómo cambian los resultados a lo largo del tiempo.
• Configurar supervisores: configurar umbrales de evaluación y tamaños de muestra.
• Ver información de modelo: Ver detalles sobre el modelo para comprender cómo se configura el entorno de despliegue.