Falsos positivos em IA: por que mostrar a incerteza

A discussão sobre falsos positivos em produtos de IA é, sem exagero, o tópico mais subestimado em SaaS B2B atualmente. Nosso motor de detecção de padrões tem acurácia reportada de 91% em dados de teste. Esse número é vazio sem contexto, e cometemos o erro de liderar com ele nos primeiros seis meses. Aprendemos algo sobre apresentar confiança de IA honestamente.

O problema com números altos de acurácia e os falsos positivos invisíveis

Quando o cliente vê “91% de acurácia”, o cérebro codifica como “errado 9 vezes em 100”. A intuição matemática está errada.

Para o tipo de padrão que detectamos — anomalias em execução de workflow — 91% de acurácia significa que estamos sinalizando corretamente quando há um padrão real. Mas também geramos falsos positivos que essa métrica não captura, porque medimos em um set de teste balanceado.

Em produção, com o desequilíbrio natural de workflows reais, a taxa prática de falsos positivos fica mais perto de 1 em 4. O conceito de matriz de confusão deixa esse problema explícito — mas é raro o cliente final vê-la.

Como mudamos o produto

Paramos de mostrar acurácia como número único em qualquer lugar da UI. Agora toda previsão vem com:

• Uma banda de confiança, não uma estimativa pontual
• Três exemplos passados de eventos que combinam com o mesmo padrão, para o usuário calibrar
• Um callout explícito “isso pode estar errado porque…” para modos de falha conhecidos

A confiança do cliente subiu depois disso. Contraintuitivo — você pensaria que mostrar mais incerteza machuca. O oposto aconteceu. Mostrar os modos de falha do sistema fez os usuários confiarem mais nos seus acertos. Falamos sobre o porquê em a arquitetura por trás da detecção.

A lição geral

Se seu produto faz previsões, a tentação é esconder a incerteza. Não esconda. Usuários descobrem a incerteza de qualquer jeito, e quando descobrem por conta própria, você já perdeu a confiança deles. Lidar bem com falsos positivos é, na prática, um exercício de honestidade de produto.