Como medimos
o que prometemos.
Números de projeto de IA são fáceis de inventar e difíceis de conferir. Esta página descreve como a CEGA chega aos seus, para que você possa cobrar o método.
Cinco etapas, nesta ordem.
Nenhuma delas é opcional, e a primeira é a que mais se tenta pular.
- 01
Baseline antes de tocar em nada
Medimos o processo como ele é hoje: quantos casos por semana, quantos minutos por caso, quantas pessoas tocam cada um, onde há retrabalho e qual o custo de um erro ou atraso. Sem esse número, não há como afirmar melhora depois.
- 02
Shadow mode
O agente roda em paralelo com o time, sobre casos reais, sem executar ação. Comparamos a decisão dele com a decisão humana caso a caso. É aqui que descobrimos as exceções que ninguém tinha documentado.
- 03
Evals com dataset do cliente
Montamos um conjunto de casos rotulados a partir do histórico real e medimos acurácia por tipo de caso, não na média. Um agente com 95% de média pode estar errando 100% de um tipo que importa.
- 04
Critério de aceite escrito antes
O que precisa acontecer para o processo ser considerado entregue é acordado por escrito no diagnóstico, junto com o que fica fora de escopo. Sem isso, "funcionou" vira opinião.
- 05
Operação medida
Depois do go-live: volume processado, taxa de exceção, taxa de erro, custo por chamada e latência. Revisão mensal com o dono do processo, e o histórico fica auditável.