Misurare ciò che un agente IA ti porta: il metodo onesto

Troverete ovunque promesse quantificate su ciò che l'IA fa guadagnare. Nessuna riguarda il vostro laboratorio, il vostro studio o il vostro ristorante. L'unica misura che conta è quella che fate voi stessi, sul vostro lavoro, con i vostri numeri. Non richiede né software né tabelle complicate: un quaderno, una settimana di riferimento e un po' di rigore sono sufficienti.

ICiò che si può veramente misurare

Un agente rende in quattro modi, e ognuno si misura diversamente. Rende tempo: i minuti che non passate più su un compito. Accorcia i tempi: un preventivo inviato lo stesso giorno invece di tre giorni dopo. Fa partire ciò che non partiva: il sollecito che rimandavate. Ottiene risposte: un pagamento, un appuntamento, un preventivo firmato.

Non seguite i quattro. Prendete tre indicatori al massimo : uno in tempo, uno in tempo o in volume, uno in risultato. Un idraulico che affida i suoi solleciti di morosità seguirà ad esempio i minuti passati a sollecitare, il numero di solleciti partiti, e il numero di giorni tra la scadenza e il pagamento.

Diffidatevi degli indicatori che lusingano senza dire nulla. Il numero di mail preparate non vale nulla se metà va nel cestino. Il numero di token consumati misura una spesa, non un guadagno. Ponetevi sempre la stessa domanda: se questo numero raddoppia, la mia azienda andrà meglio? Se la risposta è incerta, cambiate indicatore.

IIMisurare prima di lanciare l'agente

È il passaggio che quasi tutti saltano, e senza di esso nessun confronto è possibile. Durante una settimana normale, prima di lanciare l'agente, annotate i vostri tre indicatori. Per il tempo, annotate l'ora di inizio e di fine ogni volta che fate il compito. Per i tempi, riprendete i fascicoli del mese precedente: le date figurano nelle vostre mail e nelle vostre fatture.

Scegliete una settimana rappresentativa. Una settimana di ferie o di picco falsa tutto. Se la vostra attività è molto stagionale, prendete i dati dello stesso periodo l'anno scorso, quando li avete.

IIIMonitorare durante quattro settimane

Lanciate l'agente, poi annotate gli stessi indicatori ogni settimana, nello stesso modo. Quattro settimane è una durata ragionevole: la prima serve spesso al regolamento, durante la prova in bianco e le prime convalide, e le tre successive mostrano il regime normale. Non giudicate sulla prima settimana, che è quasi sempre la peggiore.

La riga sugli invii convalidati senza ritocchi è preziosa. Se sale di settimana in settimana, i vostri regolamenti portano i loro frutti: ogni precisione aggiunta alla missione o ai documenti evita una ritocco. Se stagna, il problema viene spesso dalla consegna o da un documento mancante, non dall'agente stesso.

IVConfrontare il costo reale

Il costo di un agente non si limita all'abbonamento. Include anche il vostro tempo di revisione, soprattutto all'inizio, e il tempo dedicato alla configurazione della missione. Da ABYS, l'abbonamento va da 19 euro escluse IVA al mese per 100 000 token a 349 euro escluse IVA per 5 milioni, e l'account mostra il consumo. La vostra scheda vi dice se il serbatoio scelto è sufficiente o se è troppo grande.

Per dare un valore al tempo reso, non prendete una cifra teorica. Ponetevi una domanda semplice: che cosa avete fatto di queste ore? Un falegname che passa due ore in più in laboratorio può quantificarle in lavoro fatturato. Un gestore che le passa a riposarsi ne trae un beneficio reale, ma che non si quantifica in euro. Entrambi contano; dite solo quale contate.

VDecidere: continuare, regolare o fermarsi

Dopo quattro settimane, mettete i vostri dati di riferimento accanto a quelli dell'ultima settimana. La decisione segue una logica semplice, che potete fissare in anticipo per non raccontarvi storie.

Fermarsi non è un fallimento. Un compito mal scelto vi insegna quale compito scegliere dopo. Continuare, invece, impegna a mantenere il monitoraggio una volta al mese: un'attività cambia, e un agente che rendeva può smettere di rendere.