ROI de AI Product: como medir o que importa

Founder me pergunta: "como sei que minha AI Product está dando retorno?". A resposta é simples e ignorada: você precisa de duas métricas.

A regra das duas métricas

Métrica de modelo mede se a IA acerta. Métrica de negócio mede se isso importa. As duas precisam estar definidas antes de começar.

Sem métrica de negócio: time orgulhoso da precisão e CEO frustrado porque nada muda. Sem métrica de modelo: ninguém percebe quando o modelo regrida.

Métricas de modelo (o que o time técnico monitora)

• Precisão / recall. Acertou o que pediu? Pegou o que deveria pegar?
• Latência. P50, P95, P99 por endpoint.
• Taxa de erro / fallback. % de chamadas que voltam vazias ou em erro.
• Drift. Distribuição de saídas mudou? (Antes 70% retornava A; agora 90% retorna B.)
• Custo por chamada. Importa quando volume cresce.

Métricas de negócio (o que o founder e o CFO monitoram)

Escolha 1-2 que conectam direto ao que sua AI Product promete:

• Receita gerada. Mais conversão, novo segmento, ticket maior.
• Custo evitado. Suporte automatizado, retrabalho reduzido, fraude bloqueada.
• Adoção. % de usuários ativos que usam o feature.
• Retenção. Usuários que usam o feature ficam mais tempo?
• NPS / satisfação. O usuário recomenda? Reclama menos?
• Tempo até resultado. Reduziu de 5 dias pra 30 segundos?

Fórmula honesta de ROI

ROI = (valor gerado pelo negócio) − (custo total)

Onde custo total inclui:

• Infra (API, GPU, banco)
• Time de produto/eng (interno + externo)
• Monitoramento e ops
• Manutenção contínua (dados novos, retreinamento)
• Governance (auditoria, conformidade)

Não esqueça de nenhum.

Vanity metrics que enganam

• Número de chamadas à API. Não é métrica de negócio. Pode até ser ruim (custo crescendo sem proporção de valor).
• Tamanho do modelo. Modelo grande não é métrica.
• Número de prompts criados. Atividade ≠ resultado.
• Hype interno. "Todo mundo está usando IA" não significa que está dando retorno.

Calibração: confiança numérica ≠ confiança real

Se o modelo diz "85% de certeza" e a galera erra 30% dessas, sua métrica está descalibrada. Pior do que ter calibração ruim é apresentar como certeza pro usuário ou pro cliente.

Quando começar a medir

Começa na fase 01 — validação. A métrica de negócio entra no escopo do problema antes da arquitetura. Tentar medir só na produção é tarde demais — você já gastou e descobriu agora.

Erro comum

Decidir métrica depois do produto pronto. Métrica define o que conta como sucesso — sem ela, todo mundo defende sua interpretação favorita.

Defina antes. Acompanhe sempre. Recalibre quando o produto evoluir.