Utilización de AI Gateway para dar soporte a las API para aplicaciones de IA

AI Gateway le permite acceder a las políticas de AI Gateway directamente en DataPower API Gateway. Puede crear proxies REST que utilicen el " AI Gateway " para controlar el acceso a los modelos de IA, lo que proporciona una forma sencilla de gestionar el acceso a la IA dentro de su infraestructura de API, al tiempo que garantiza una mayor seguridad y gobernanza de sus modelos de IA.

AI Gateway facilita a las empresas la gestión del acceso a los puntos finales de API utilizados por las aplicaciones de IA. El AI Gateway simplifica la integración de la IA en las API OpenAPI 3.0 0 nuevas y existentes en API Connect para acceder a un conjunto de operaciones expuestas por un servicio de IA.

Casos de uso

Hay dos casos en los que debe utilizar AI Gateway:

• Como proxy inverso para una API existente

  En este caso, el contrato API con el servicio de IA no se modifica.

• Como herramienta de desarrollo para nuevas API que utilicen un servicio de IA.

  Puede crear APIs directamente en ' API Connect ' y definir políticas en el flujo de trabajo API para gestionar el acceso al servicio AI.

Ventajas

Con API Connect AI Gateway, puede gestionar de forma centralizada el uso de IA a través de la aplicación de políticas, el cifrado de datos, el enmascaramiento de datos confidenciales, el control de accesos, los seguimientos de auditoría y más, como soporte a sus obligaciones de conformidad.

El uso de " AI Gateway " para gestionar el acceso a la API del servicio AI le permite añadir controles a la ejecución de la API a través de las siguientes funciones:

• Una interfaz para cada servicio de IA compatible

  API Connect proporciona una política que permite a su API enviar solicitudes a un servicio de IA especificado.

• Almacenamiento en caché de respuestas

  La respuesta a una llamada de API a un servicio de IA se almacena en caché, lo que mejora el tiempo de respuesta de las llamadas de API y proporciona una optimización de costes para el proveedor de API. Cuando crea una API en API Connect, puede especificar la duración de la caché de respuesta de esa API.

• Limitación de velocidad

  AI Gateway aplica límites de tarifa definidos a las API y a los planes de API (que gestionan el acceso a API individuales). Puede configurar límites de velocidad basados en el número de solicitudes o señales generadas permitidas dentro de un intervalo de tiempo determinado.

• Conversión en señales

  Las señales se utilizan como unidad de coste para las API de LLM. Con AI Gateway, los límites de velocidad pueden utilizar el número de señales generadas por una solicitud como medio de limitar el uso y, por lo tanto, controlar los costes. El límite de tokens determina cuántos tokens pueden pasar por la pasarela en un periodo de tiempo determinado.

• Políticas predefinidas y estructuras lógicas

  AI Gateway puede utilizar todas las políticas y construcciones lógicas existentes proporcionadas por API Connect (por ejemplo, invocar, redactar y validar) en el flujo de ejecución de la API.

• Análisis de API

  API Connect proporciona un servicio de análisis que proporciona información sobre el uso de AI Gateway . Puede utilizar los datos de análisis en el panel de control Uso de IA para gestionar los costes y realizar un seguimiento del rendimiento. Para obtener más información, consulte Acceso a análisis en la interfaz de usuario de API Manager.

El " AI Gateway " admite los siguientes servicios de IA: