Meten wat een AI-agent u oplevert: de eerlijke methode

U vindt overal getalsmatige beloften over wat AI oplevert. Geen daarvan betreft uw werkplaats, uw kantoor of uw restaurant. De enige meting die telt is die welke u zelf doet, op uw werk, met uw cijfers. Dit vereist geen software of ingewikkelde tabellen: een notitieboekje, een referentieweek en wat nauwgezetheid volstaan.

IWat u echt kunt meten

Een agent rapporteert op vier manieren, en elk wordt anders gemeten. Hij geeft u tijd terug: de minuten die u niet meer aan een taak besteedt. Hij verkort termijnen: een offerte dezelfde dag verzonden in plaats van drie dagen later. Hij laat vertrekken wat niet vertrok: de herinnering die u uitstelde. Hij krijgt antwoorden: een betaling, een afspraak, een ondertekende offerte.

Volg niet de vier. Neem maximaal drie indicatoren : één in tijd, één in termijn of volume, één in resultaat. Een loodgieter die zijn herinneringen voor openstaande bedragen toevertrouwt, volgt bijvoorbeeld de minuten besteed aan herinneringen, het aantal verzonden herinneringen en het aantal dagen tussen vervaldatum en betaling.

Wees voorzichtig met indicatoren die aangenaam zijn zonder iets te zeggen. Het aantal voorbereide e-mails is niets waard als de helft in de prullenbak belandt. Het aantal verbruikte tokens meet een uitgave, geen voordeel. Stel jezelf altijd dezelfde vraag: als dit getal verdubbelt, gaat het beter met mijn bedrijf? Als het antwoord onzeker is, kies dan een ander indicator.

IIMeten voordat u de agent start

Dit is de stap die bijna iedereen overslaat, en zonder deze is geen vergelijking mogelijk. Gedurende een normale week, voordat u de agent start, noteert u uw drie indicatoren. Voor de tijd noteert u het begin- en eindtijdstip elke keer dat u de taak uitvoert. Voor termijnen bekijkt u de dossiers van de vorige maand: de datums staan in uw e-mails en facturen.

Kies een representatieve week. Een week vakantie of drukte vervalst alles. Als uw activiteit zeer seizoensgebonden is, neem dan de cijfers van dezelfde periode vorig jaar, wanneer u die hebt.

IIIVier weken lang volgen

Start de agent en noteer dezelfde indicatoren elke week op dezelfde manier. Vier weken is een redelijke duur: de eerste dient vaak voor instelling, tijdens de proefrun en eerste validaties, en de volgende drie tonen het normale regime. Beoordeel niet op de eerste week, die bijna altijd de slechtste is.

De regel over verzendingen gevalideerd zonder wijzigingen is waardevol. Als deze week na week stijgt, dragen uw instellingen vruchten af: elke precisie die aan de opdracht of documenten wordt toegevoegd, voorkomt een correctie. Als deze stagneren, komt het probleem vaak van de instructie of een ontbrekend document, niet van de agent zelf.

IVDe werkelijke kosten tegenover elkaar zetten

De kosten van een agent beperken zich niet tot het abonnement. Het omvat ook uw tijd voor controle, vooral in het begin, en de tijd die u besteedt aan het instellen van de missie. Bij ABYS varieert het abonnement van 19 euro excl. VAT per maand voor 100 000 tokens tot 349 euro excl. VAT voor 5 miljoen, en het account toont het verbruik. Uw dashboard geeft aan of de gekozen capaciteit voldoende is of te groot.

Om waarde aan de teruggegeven tijd toe te kennen, neemt u geen theoretisch getal. Stel jezelf een eenvoudige vraag: wat heb je met deze uren gedaan? Een timmerman die twee uur extra in de werkplaats doorbrengt, kan deze in gefactureerd werk berekenen. Een manager die ze doorbrengt met rusten, haalt er een reëel voordeel uit, maar dat kan niet in euro's worden uitgedrukt. Beide tellen; zeg alleen welke u telt.

VBeslissen: doorgaan, aanpassen of stoppen

Na vier weken plaatst u uw referentiecijfers naast die van de laatste week. De beslissing volgt een eenvoudige logica, die u van tevoren kunt bepalen om jezelf geen verhalen te vertellen.

Stoppen is geen mislukking. Een slecht gekozen taak leert u welke taak u volgende keer moet kiezen. Doorgaan daarentegen verplicht u om de controle eenmaal per maand voort te zetten: een activiteit verandert, en een agent die voordeel opleverde, kan ophouden voordeel op te leveren.