Monitoraggio dei costi della tua applicazione di intelligenza artificiale

Come viene calcolato il costo

Instana L'osservabilità dell'IA generativa monitora e visualizza i costi associati all'utilizzo dei modelli linguistici di grandi dimensioni (LLM) in base al consumo di token. Capire come vengono calcolati questi costi ti aiuta a:

• Monitorare e ottimizzare la spesa per l'intelligenza artificiale
• Prendere decisioni consapevoli sulla scelta del modello
• Prevedere con precisione i costi delle operazioni di IA
• Individuare anomalie nei costi e inefficienze

Modello di tariffazione basato su token

I costi dell'IA generativa vengono calcolati in base al consumo di token utilizzando la seguente formula:

Total Cost = (Input Tokens × Input Token Price) + (Output Tokens × Output Token Price)

dove:

• Token di input: il numero di token presenti nel prompt inviato al modello di linguaggio di grandi dimensioni (LLM)
• Token in uscita: il numero di token presenti nella risposta generata dal modello di linguaggio di grandi dimensioni (LLM)
• Prezzo del token di input: il costo per token di input ogni 1 milione di token
• Prezzo del token di output: il costo per token di output ogni 1 milione di token

Calcolo dei costi per modello

Ogni modello LLM ha una propria struttura tariffaria. I costi vengono calcolati individualmente per ciascun modello in base a:

• Prezzi specifici per modello: i prezzi dei token variano a seconda del modello. Ad esempio, GPT-4 è più costoso di GPT-3.5. 2.
• Differenziazione in base al tipo di token: i token in entrata e quelli in uscita hanno prezzi diversi.
• Aggregazione in tempo reale: i costi vengono aggregati su tutte le richieste rivolte a un modello specifico.

Configurazione dei prezzi dei modelli

Accesso alla configurazione dei prezzi

Per configurare o aggiornare i prezzi del modello:

1. Go per l'osservabilità di " GenAI " nell'interfaccia utente di " Instana ".
2. Fai clic sulla scheda "Configurazione prezzi ".

Prezzi predefiniti

Instana fornisce un elenco predefinito dei modelli LLM più diffusi con i prezzi di mercato attuali, tra cui:

• OpenAI modelli ( GPT-4o-mini, GPT-5.1 e così via)
• Modelli antropici (Claude 3 Opus, Claude 3 Sonnet e così via)
• IBM watsonx.ai modelli
• Altri fornitori di modelli supportati

I prezzi predefiniti vengono aggiornati regolarmente per riflettere le attuali tariffe di mercato.

Aggiunta di prezzi personalizzati per i modelli

Per aggiungere i prezzi di un nuovo modello che non è presente nell'elenco predefinito:

1. Nella pagina "Configurazione prezzi", clicca su Aggiungi prezzi del modello.
2. Immetti le seguenti informazioni:
   • Nome del modello: il nome esatto così come appare nelle tracce (ad esempio, « gpt-4-turbo-preview »).
   • Fornitore del modello: la piattaforma o il fornitore (ad esempio, OpenAI, Anthropic, IBM).
   • Nome della piattaforma: per impostare prezzi specifici per la piattaforma, selezionare "Imposta prezzi specifici per la piattaforma" e inserire il nome della piattaforma (ad esempio, anthropic, bedrock, langchain).
   • Prezzo del token di input: costo per 1 milione di token di input in USD.
   • Prezzo del token emesso: costo in USD per ogni milione di token emessi.
3. Fai clic su Salva per applicare la configurazione.

Sovrascrivere i prezzi del modello esistente

Ripristino dei prezzi predefiniti

Se il prezzo di un modello è stato modificato e desideri ripristinare il prezzo predefinito originale, procedi come segue:

1. Nella scheda " Configurazione prezzi ", individua il modello con prezzi modificati.
2. Clicca sul nome del modello. Viene visualizzata la finestra di dialogo "Modifica prezzi modello".
3. 3. Nella sezione "Reimposta prezzi ", seleziona. La casella di controllo " Sono consapevole che questa azione non può essere annullata ".
4. 4. Fare clic sul pulsante "Ripristina prezzi di listino ".
5. 5. Fare clic su Salva.

I prezzi del modello vengono riportati ai valori predefiniti originali. La modifica si applica a tutti i nuovi calcoli dei costi effettuati d'ora in poi. Ciò non influisce sui dati relativi al costo storico calcolati con i prezzi modificati.

Eliminazione dei prezzi dei modelli personalizzati

Per i modelli aggiunti manualmente (modelli senza prezzi predefiniti), è possibile eliminare la configurazione dei prezzi:

1. Nella pagina di configurazione dei prezzi, individua il modello personalizzato che desideri rimuovere.
2. Fai clic sull'icona Elimina accanto al modello.
3. Confermare l'eliminazione quando viene visualizzata la finestra di dialogo.

Considerazioni importanti:

• È possibile eliminare solo i modelli personalizzati (modelli senza prezzi predefiniti)
• I modelli predefiniti possono essere solo ripristinati alle impostazioni predefinite, non eliminati
• Se si eliminano i prezzi di un modello, le metriche relative ai costi non vengono più visualizzate per quel modello
• I dati relativi al costo storico del modello eliminato rimangono nel sistema
• Altri parametri (token, latenza, tracce) continuano a essere raccolti e visualizzati

Impatto degli aggiornamenti dei prezzi

Quando i prezzi vengono aggiornati, si verifica il seguente comportamento.

Quando vengono aggiornati i prezzi

Quando si aggiornano i prezzi dei modelli nella configurazione, si verificano le seguenti modifiche.

Effetti immediati:

• I nuovi calcoli dei costi si basano sui prezzi aggiornati
• I widget della dashboard riflettono i nuovi prezzi per i dati in entrata

Dati cronologici:

• I dati storici sui costi non vengono ricalcolati automaticamente
• I costi passati rimangono quelli calcolati all'epoca
• Viene garantita l'integrità della traccia di controllo e si evitano incongruenze nei dati

Best practice:

• Modifiche ai prezzi dei documenti con le date di entrata in vigore
• Si consiglia di esportare i rapporti sui costi prima di effettuare aggiornamenti significativi dei prezzi
• Comunicare le variazioni di prezzo alle parti interessate che monitorano i costi

Quando i prezzi non sono configurati

Se per un modello specifico non è stata configurata alcuna tariffa, si applica il seguente comportamento:

Indicatori di costo:

• Per quel modello non vengono visualizzati i dati relativi ai costi.
• I widget della dashboard che mostrano i costi non includono il modello non configurato
• I calcoli dei costi totali non tengono conto delle richieste relative a quel modello

Sono disponibili anche altre metriche:

• Il conteggio dei token (in entrata e in uscita) viene ancora monitorato e visualizzato
• Le metriche relative alla latenza delle richieste e alle prestazioni continuano a funzionare
• I dati di tracciamento e i registri non subiscono alcuna modifica

Effetti sui dashboard:

• I widget di riepilogo dei costi potrebbero mostrare totali incompleti
• La ripartizione dei costi per modello non include i modelli non configurati
• I grafici sull'andamento dei costi potrebbero presentare lacune o valori inferiori alle aspettative

Risoluzione dei problemi relativi ai prezzi

Potresti riscontrare uno dei seguenti problemi.

Per problemi comuni, come la mancata visualizzazione delle metriche sui costi, consultare la sezione "Risoluzione dei problemi".

Calcoli dei costi errati

Modelli mancanti nella configurazione

Discrepanze relative al costo storico

Problema: costi storici modificati a seguito di un aggiornamento dei prezzi.

Soluzione: per risolvere il problema, prova a seguire questi passaggi:

• I costi storici non devono subire variazioni; in caso contrario, contattare l'assistenza di IBM
• Esportare regolarmente i rapporti sui costi per conservare una documentazione indipendente
• Utilizza il registro di controllo per monitorare le modifiche alla configurazione

Domande o problemi relativi ai prezzi

Per domande o problemi relativi alla configurazione dei prezzi:

• Contatta il team di assistenza di IBM.
• Consultare la documentazione di Instana.
• Dai un'occhiata ai forum della community di Instana.