Medir o que um agente IA lhe traz: o método honesto

Você encontrará em todo lugar promessas com números sobre o que a IA faz ganhar. Nenhuma diz respeito à sua oficina, ao seu escritório ou ao seu restaurante. A única medida que importa é aquela que você faz por conta própria, no seu trabalho, com seus números. Ela não exige software nem planilha complicada: um caderno, uma semana de referência e um pouco de rigor são suficientes.

IO que realmente pode ser medido

Um agente traz benefícios de quatro formas, e cada uma se mede de forma diferente. Ele recupera tempo: os minutos que você não gasta mais em uma tarefa. Ele reduz prazos: um orçamento enviado no mesmo dia em vez de três dias depois. Ele faz sair o que não saía: a cobrança que você adiava. Ele obtém respostas: um pagamento, um compromisso, um orçamento assinado.

Não acompanhe os quatro. Escolha três indicadores no máximo : um em tempo, um em prazo ou em volume, um em resultado. Um encanador que confia suas cobranças de inadimplentes acompanhará, por exemplo, os minutos gastos cobrando, o número de cobranças enviadas e o número de dias entre o vencimento e o pagamento.

Desconfie dos indicadores que lisonjeiam sem dizer nada. O número de e-mails preparados não vale nada se metade vai para a lixeira. O número de tokens consumidos mede uma despesa, não um ganho. Sempre se faça a mesma pergunta: se esse número dobrar, minha empresa vai melhorar? Se a resposta é incerta, mude de indicador.

IIMedir antes de lançar o agente

É a etapa que quase todo mundo pula, e sem ela nenhuma comparação é possível. Durante uma semana normal, antes de lançar o agente, anote seus três indicadores. Para o tempo, anote a hora de início e de fim cada vez que você faz a tarefa. Para os prazos, retome os dossiês do mês anterior: as datas figuram em seus e-mails e suas faturas.

Escolha uma semana representativa. Uma semana de férias ou de correria distorce tudo. Se sua atividade é muito sazonal, use os números do mesmo período do ano passado, quando os tiver.

IIIAcompanhar durante quatro semanas

Lance o agente e anote os mesmos indicadores a cada semana, da mesma forma. Quatro semanas é um período razoável: a primeira geralmente serve para ajustes, durante o teste em branco e as primeiras validações, e as três seguintes mostram o regime normal. Não julgue pela primeira semana, que quase sempre é a menos boa.

A linha sobre os envios validados sem retoque é preciosa. Se ela aumenta de semana em semana, seus ajustes estão dando frutos: cada precisão adicionada à missão ou aos documentos evita uma correção. Se ela estagnar, o problema geralmente vem da instrução ou de um documento faltante, não do agente em si.

IVConfrontar com o custo real

O custo de um agente não se limita à assinatura. Inclui também seu tempo de revisão, especialmente no início, e o tempo gasto para configurar a missão. Na ABYS, a assinatura varia de 19 euros excl. VAT por mês para 100 000 tokens a 349 euros excl. VAT para 5 milhões, e a conta exibe o consumo. Seu painel informa se o plano escolhido é suficiente ou se é muito grande.

Para dar um valor ao tempo recuperado, não use um número teórico. Faça uma pergunta simples: o que você fez com essas horas? Um marceneiro que passa duas horas a mais na oficina pode contabilizá-las em trabalho faturado. Um gerente que as passa descansando obtém um benefício real, mas que não se contabiliza em reais. Ambos contam; diga apenas qual você está contando.

VDecidir: continuar, ajustar ou parar

Ao final das quatro semanas, coloque seus números de referência ao lado dos da última semana. A decisão segue uma lógica simples, que você pode definir antecipadamente para não se enganar.

Parar não é um fracasso. Uma tarefa mal escolhida ensina qual tarefa escolher em seguida. Continuar, por outro lado, compromete a manter o acompanhamento uma vez por mês: uma atividade muda, e um agente que trazia benefícios pode deixar de trazer.