Utilisation de l' AI Gateway pour la prise en charge des API pour les applications d'IA
API Connect fournit un assistant d'interface utilisateur pour créer des API et des produits compatibles avec l'IA, ainsi qu'une intégration avec des services d'IA pour transmettre les demandes et gérer les réponses.
AI Gateway vous permet d'accéder aux politiques AI Gateway directement sur le site DataPower API Gateway. Vous pouvez créer des proxies REST qui utilisent le " AI Gateway pour contrôler l'accès aux modèles d'IA, ce qui permet de gérer de manière transparente l'accès à l'IA au sein de votre infrastructure API tout en garantissant une sécurité et une gouvernance accrues de vos modèles d'IA.
Le AI Gateway permet aux entreprises de gérer facilement l'accès aux noeuds finaux d'API utilisés par les applications d'IA. Le AI Gateway simplifie l'intégration de l'IA dans les API OpenAPI 3.0 nouvelles et existantes afin API Connect d'accéder à un ensemble d'opérations exposées par un service d'IA.
- Cas d'utilisation
- Il existe deux cas où vous devez utiliser le AI Gateway:
- En tant que proxy inverse pour une API existante
Dans ce cas, le contrat d'API avec le service d'IA reste inchangé.
- Comme outil de développement pour les nouvelles API qui utilisent un service d'IA.
Vous pouvez créer des API directement dans " API Connect et définir des politiques dans le flux de travail de l'API pour gérer l'accès au service d'IA.
- En tant que proxy inverse pour une API existante
- Avantages
- Avec API Connect AI Gateway, vous pouvez gérer de manière centralisée l'utilisation de l'intelligence artificielle via la mise en application des règles, le chiffrement des données, le masquage des données sensibles, le contrôle d'accès, les traces d'audit, etc., à l'appui de vos obligations de conformité.
L'utilisation du " AI Gateway pour gérer votre accès API au service d'IA vous permet d'ajouter des contrôles à l'exécution de l'API grâce aux fonctionnalités suivantes :
- Une interface pour chaque service d'IA pris en charge
API Connect fournit une politique qui permet à votre API d'envoyer des demandes à un service d'IA spécifique.
- Mise en cache des réponses
La réponse à un appel d'API à un service d'IA est mise en cache, ce qui améliore le temps de réponse des appels d'API et permet d'optimiser les coûts pour le fournisseur d'API. Lorsque vous créez une API dans API Connect, vous pouvez spécifier la durée de la mise en cache des réponses de cette API.
- Limitation de débit
Le site AI Gateway applique des limites tarifaires définies aux API et aux plans d'API (qui gèrent l'accès aux API individuelles). Vous pouvez configurer des limites de débit en fonction du nombre de demandes ou de jetons générés autorisés dans un intervalle de temps donné.
- Segmentation en unités
Les jetons sont utilisés comme unité de coût pour les API LLM. Avec AI Gateway, les limites de débit peuvent utiliser le nombre de jetons générés par une demande comme moyen de limiter l'utilisation et donc de contrôler les coûts. La limite de jetons détermine le nombre de jetons autorisés à passer par la passerelle au cours d'une période donnée.
- Règles et structures logiques prédéfinies
Le site AI Gateway peut utiliser toutes les politiques existantes et les constructions logiques fournies par API Connect (par exemple, invoquer, rédiger et valider) dans le flux d'exécution de l'API.
- Analyse des API
API Connect fournit un service d'analyse qui fournit des informations sur l'utilisation de AI Gateway . Vous pouvez utiliser les données d'analyse du tableau de bord Utilisation de l'IA pour gérer les coûts et suivre les performances. Pour plus d'informations, voir Accès à l'analyse dans l'interface utilisateur d'API Manager.
- Une interface pour chaque service d'IA pris en charge
Le " AI Gateway prend en charge les services d'IA suivants :