Creazione di un proxy REST per 'Gemini con 'AI Gateway
Creare un proxy REST che utilizzi il 'AI Gateway per controllare l'accesso ai modelli AI.
Prima di iniziare
Completare le operazioni in Prerequisiti per l'utilizzo del 'AI Gateway per assicurarsi di poter accedere al 'Gemini.
Informazioni su questa attività
Il 'AI Gateway è supportato solo con le API OpenAPI 3.0.
Procedura
- Nel riquadro di navigazione, fare clic su
. - Nella pagina Sviluppo, clicca su Aggiungi > API.
- Nella pagina Selezionare il tipo di API, fare clic sulla scheda OpenAPI 3.0.
- Nella sezione Crea, selezionare il gateway AI, quindi fare clic su Avanti.
- Nella pagina Crea API dal gateway AI, utilizzare il campo Piattaforma per selezionare Google Gemini come servizio AI da utilizzare per la nuova API.
- Utilizzare la sezione "Info" per fornire informazioni di base sull'API, quindi fare clic su Avanti:
- La versione OpenAPI si basa sulla selezione del passo 3 in cui si è fatto clic su OpenAPI 3.0
- Titolo : Il titolo può includere caratteri speciali, ma deve essere breve in modo da poter essere facilmente visualizzato nell'interfaccia utente.
- Il nome viene compilato in base al titolo. Il valore è una singola stringa utilizzata per identificare l'API nei comandi CLI del toolkit per sviluppatori.
- Versione: Accettare il valore predefinito o modificarlo secondo necessità. La versione corrisponde al valore della proprietà '
info.versiondella definizione OpenAPI. Si raccomanda lo schema di numerazione delle versioniversion.release.modification; ad esempio, 1.0.0. - Percorso base: Accettare il valore predefinito o modificarlo secondo necessità. Il "percorso base" dell'API è il server URL, che viene utilizzato per determinare l'endpoint completo URL per la chiamata all'API, tenendo conto di qualsiasi configurazione di endpoint di vanità nel catalogo in cui l'API è pubblicata. Per un'API che viene applicata da DataPower® API Gateway, è necessario fornire solo il valore del percorso di base. Inoltre:
- Non includere il nome dell'host o altri segmenti aggiuntivi per i percorsi o le operazioni
- Non includere caratteri speciali
- Iniziare il sito URL con una barra in avanti ( / ), anche se altrimenti è vuoto
- Descrizione: La descrizione opzionale aiuta a identificare l'API.
- Fornire il valore della chiave API o la variabile $(nome di una proprietà del catalogo) il cui valore è la chiave API, quindi fare clic su Avanti. La chiave API permette all'API di autenticarsi con Google Studio ed è necessaria per l'accesso al servizio Gemini .
- Fornire informazioni su come l'API accede a 'Gemini per inviare le richieste, quindi fare clic su Crea:
- Percorsi esposti: Accettare l'elenco predefinito dei percorsi esposti, oppure selezionare solo i percorsi a cui si desidera che l'API acceda. I percorsi esposti definiscono quali operazioni di 'Gemini sono incluse nell'API generata.
- Abilitare la cache delle risposte : la cache delle risposte è abilitata per impostazione predefinita per ottimizzare le prestazioni dell'API; tuttavia, è possibile disabilitarla se necessario per la propria API. Se si utilizza la cache delle risposte, è possibile specificare la durata della cache nella proprietà Response Cache Expiration dell'interfaccia utente del criterio.
Quando la cache delle risposte è abilitata, quando viene inviata una richiesta al servizio " Gemini, la cache delle risposte viene ispezionata per determinare se il payload della richiesta ha una risposta associata nella cache. In caso affermativo, la risposta e le intestazioni di risposta associate HTTP vengono inserite nel messaggio di contesto DataPower API Gateway (che per impostazione predefinita si chiama
message). La proprietà Output Message nell'interfaccia utente del criterio può essere modificata dopo la generazione dell'API, se è necessario un messaggio diverso.Se non c'è una risposta nella cache, la richiesta viene passata al servizio Gemini e la risposta viene messa in cache per le operazioni successive, utilizzando il tempo di vita specificato nella proprietà Response Cache Expiration.
Se si attiva la cache delle risposte, configurare la durata della cache nel campo Scadenza della cache delle risposte nell'interfaccia utente del criterio, accettando il valore predefinito o selezionando (o digitando) un nuovo valore. La durata minima è di 60 secondi e la durata massima è di 86400 secondi (1 giorno) - Qualsiasi valore al di fuori di questo intervallo non sarà convalidato quando l'API sarà pubblicata, anche se il valore è accettato in questo campo. - Nella sezione Limitazione della tariffa , selezionare Crea prodotto se si desidera generare un prodotto 'API Connect che controlli la limitazione della tariffa per l'API.
Nel " API Connect, un prodotto funge da contenitore per un'API e per i piani di utilizzo associati, che definiscono i limiti tariffari. Impostando i limiti di tasso di prodotto qui si crea un piano che contiene i limiti di tasso di assemblaggio '
gemini-defaulte 'gemini-token-weightedrichiesti e si specificano i limiti definiti.Se si sceglie di non generare automaticamente un prodotto, è necessario crearne uno come spiegato nella sezione Creazione di un proxy REST per Gemini con AI Gateway.
Attenzione: Un prodotto creato in un secondo momento con la funzione di pubblicazione automatica (quando si pubblica l'API) non include il piano necessario per l'utilizzo del servizio AI. Crea il prodotto adesso oppure crea un prodotto personalizzato prima di pubblicare l'API.Configurare i tipi di limitazione della velocità da applicare alle chiamate API:
Nota: se si sceglie di non specificare i valori di un limite di velocità, verranno assegnati i valori predefiniti per quel limite di velocità.- Imposta limite di velocità : (basato sul tempo) Accettare il limite di velocità predefinito o configurare un nuovo limite basato sul numero di richieste API inviate in un determinato periodo di tempo. Questo tipo di limite tariffario non utilizza i token.
- Imposta limite token AI : (basato sui token) Accettare il limite predefinito della tariffa o configurare un nuovo limite basato sul numero di token basati sui costi utilizzati in un periodo di tempo specificato. La limitazione della velocità basata sui token utilizza l'operazione "
per tracciare l'utilizzo dei token./chat/completionsIl limite dei token AI applica una limitazione della velocità in base all'utilizzo dei token. Il limite di velocità determina il numero di token che possono passare attraverso il gateway in un determinato periodo di tempo.
- Esaminare la pagina di riepilogo per verificare che l'API non presenti problemi.
- Modificare la nuova API e aggiungere le politiche e i costrutti logici che controllano il flusso di lavoro dell'API.
L'API creata contiene i criteri di invocazione di Gemini per i percorsi esposti che sono stati richiesti. Le loro proprietà possono essere modificate secondo le necessità.
From this step on, the info was copied from OpenAI so it needs updating for Genini.