Messen, was ein KI-Agent Ihnen bringt: die ehrliche Methode

Überall finden Sie Zahlenversprechen darüber, was KI einsparen kann. Keine davon betrifft Ihre Werkstatt, Ihre Kanzlei oder Ihr Restaurant. Die einzige Messung, die zählt, ist die, die Sie selbst durchführen, in Ihrer Arbeit, mit Ihren Zahlen. Sie erfordert weder Software noch komplizierte Tabellen: ein Notizbuch, eine Referenzwoche und ein wenig Strenge reichen aus.

IWas sich wirklich messen lässt

Ein Agent bringt auf vier Arten Nutzen, und jede wird anders gemessen. Er spart Zeit: die Minuten, die Sie nicht mehr für eine Aufgabe aufwenden. Er verkürzt Fristen: ein Angebot am selben Tag statt in drei Tagen. Er bringt zum Versand, was nicht versendet wurde: die Mahnung, die Sie aufgeschoben haben. Er erhält Antworten: eine Zahlung, einen Termin, ein unterzeichnetes Angebot.

Folgen Sie nicht den vier. Nehmen Sie höchstens drei Indikatoren  : eine in Zeit, eine in Frist oder Volumen, eine in Ergebnis. Ein Klempner, der seine Mahnungen für unbezahlte Rechnungen überwacht, wird beispielsweise die Minuten für Mahnungen, die Anzahl der versendeten Mahnungen und die Anzahl der Tage zwischen Fälligkeitsdatum und Zahlung verfolgen.

Hüten Sie sich vor Indikatoren, die schmeicheln, ohne etwas zu sagen. Die Anzahl der vorbereiteten E-Mails ist nichts wert, wenn die Hälfte im Papierkorb landet. Die Anzahl der verbrauchten Token misst eine Ausgabe, keinen Gewinn. Stellen Sie sich immer die gleiche Frage: Wenn sich diese Zahl verdoppelt, geht es meinem Unternehmen besser? Wenn die Antwort unsicher ist, wechseln Sie den Indikator.

IIMessen vor dem Start des Agenten

Das ist der Schritt, den fast jeder überspringt, und ohne ihn ist kein Vergleich möglich. Während einer normalen Woche, bevor Sie den Agenten starten, notieren Sie Ihre drei Indikatoren. Für die Zeit notieren Sie Anfangs- und Endzeit jedes Mal, wenn Sie die Aufgabe ausführen. Für Fristen nehmen Sie die Dossiers des letzten Monats: die Daten stehen in Ihren E-Mails und Rechnungen.

Wählen Sie eine repräsentative Woche. Eine Urlaubswoche oder eine Stoßwoche verfälscht alles. Wenn Ihre Aktivität sehr saisonal ist, nehmen Sie die Zahlen aus demselben Zeitraum des Vorjahres, wenn Sie diese haben.

IIIVier Wochen lang nachverfolgen

Starten Sie den Agenten, notieren Sie dann jede Woche die gleichen Indikatoren auf die gleiche Weise. Vier Wochen ist eine angemessene Dauer: die erste dient oft der Einrichtung, während des Testlaufs und der ersten Validierungen, und die nächsten drei zeigen den normalen Betrieb. Urteilen Sie nicht nach der ersten Woche, die fast immer die schlechteste ist.

Die Zeile zu den Versänden ohne Überarbeitung validiert ist wertvoll. Wenn sie von Woche zu Woche steigt, zeigen Ihre Einstellungen Wirkung: jede Präzision, die Sie der Aufgabe oder den Dokumenten hinzufügen, vermeidet eine Überarbeitung. Wenn sie stagniert, liegt das Problem oft in der Anweisung oder einem fehlenden Dokument, nicht am Agenten selbst.

IVDie tatsächlichen Kosten gegenüberstellen

Die Kosten für einen Agenten beschränken sich nicht nur auf das Abonnement. Sie umfassen auch Ihre Zeit für die Überprüfung, besonders am Anfang, und die Zeit für die Einrichtung der Mission. Bei ABYS reicht das Abonnement von 19 Euro zzgl. MwSt. pro Monat für 100 000 Token bis 349 Euro zzgl. MwSt. für 5 Millionen, und das Konto zeigt den Verbrauch an. Ihr Dashboard teilt Ihnen mit, ob der gewählte Speicher ausreicht oder zu groß ist.

Um der eingesparten Zeit einen Wert zu geben, nehmen Sie keine theoretische Zahl. Stellen Sie sich eine einfache Frage: Was haben Sie mit diesen Stunden getan? Ein Schreiner, der zwei weitere Stunden in der Werkstatt verbringt, kann sie in abgerechneter Arbeit beziffern. Ein Geschäftsführer, der sie zum Ausruhen nutzt, zieht einen echten Nutzen daraus, der sich aber nicht in Euro beziffern lässt. Beide zählen; sagen Sie nur, welchen Sie zählen.

VEntscheiden: fortfahren, anpassen oder stoppen

Nach vier Wochen stellen Sie Ihre Referenzzahlen neben denen der letzten Woche. Die Entscheidung folgt einer einfachen Logik, die Sie im Voraus festlegen können, um sich keine Geschichten zu erzählen.

Zu stoppen ist kein Misserfolg. Eine schlecht gewählte Aufgabe lehrt Sie, welche Aufgabe Sie als nächstes wählen sollten. Weitermachen verpflichtet Sie jedoch, die Nachverfolgung einmal im Monat zu führen: Eine Aktivität ändert sich, und ein Agent, der Nutzen brachte, kann aufhören, Nutzen zu bringen.