Token IA: cosa consuma un agente e come prevederlo

Le formule di IA non si contano in ore né in numero di email, ma in gettoni. La parola sembra astratta. Descrive però una realtà semplice, e comprenderla evita due errori costosi : pagare un serbatoio troppo grande per prudenza, o svuotare un serbatoio troppo piccolo già dalla seconda settimana. Questo corso spiega cos'è un gettone, cosa ne consuma, e come prevedere.

IUn gettone, cos'è esattamente?

Prendete la parola « fatturazione ». L'IA non la vede in blocco: la divide in due o tre pezzi, a seconda del modello. I modelli sono stati addestrati soprattutto su testo inglese, per cui un testo francese si divide spesso in più token di quanti non abbia parole. Ricordate una regola prudente: contate poco più di un token per parola francese, a volte molto di più con nomi propri, riferimenti di prodotto o cifre.

IILeggere consuma anche gettoni

È il punto che quasi tutti dimenticano. Quando un agente legge la vostra griglia tariffaria, ogni pezzo di questa griglia viene contato. Quando legge un'email ricevuta, anche. Quando scrive la sua risposta, anche. Leggere consuma token, non solo scrivere. Alcuni modelli « riflettono » inoltre prima di rispondere, e questa riflessione interna si conta anch'essa.

Conseguenza diretta: un agente che scrive tre righe può consumare molto, se ha dovuto leggere cinquanta pagine per scriverle. La lunghezza della risposta non dice quasi nulla del costo. Quello che conta è tutto ciò che l'agente ha davanti agli occhi al momento di lavorare.

IIIOrdini di grandezza: un'email, una pagina, un lungo PDF

I numeri esatti variano a seconda del modello e della lingua. Ecco ordini di grandezza prudenti, per ragionare e non per fatturare.

Questi valori si sommano a ogni passaggio: la missione, i documenti utili, gli elementi del giorno (messaggi ricevuti, fatture scadute), poi quello che l'agente scrive. Se volete un'unica idea da ricordare: sono i documenti voluminosi riletti a ogni passaggio che fanno la fattura, molto più dei messaggi inviati.

IVI quattro serbatoi di ABYS

Su ABYS, ogni formula fornisce un serbatoio di token per il mese. Questo serbatoio è comune a tutti gli agenti dell'account: già da 19 euro, potete far lavorare più agenti, ed è la quantità di token che limita il lavoro, non il numero di agenti. L'account mostra il consumo nel corso del mese. Esiste un pagamento annuale, con uno sconto.

VCome il ritmo cambia il consumo

Il calcolo sta in una riga: consumo del mese = costo di un passaggio × numero di passaggi. Il costo di un passaggio dipende da ciò che l'agente legge e scrive. Il numero di passaggi dipende dal ritmo della vostra formula. Un agente che passa ogni giorno fa circa trenta passaggi al mese; un agente che passa una volta alla settimana ne fa quattro o cinque. Un'email ricevuta dall'agente aggiunge un passaggio.

VIConsumare meno senza lavorare meno bene

Prima di scegliere un serbatoio più grande, verificate se l'agente non legge troppo. Le leve sono semplici e non degradano il lavoro.

Se, dopo questi aggiustamenti, il serbatoio rimane ancora troppo stretto, passate alla formula successiva. Vi consiglio di decidere sulla base di una o due settimane di consumo reale, non di una stima fatta il primo giorno.