"Se a IA se engana uma vez, já não posso confiar nela."
Ouvimos esta frase em quase todas as primeiras reuniões. É uma frase sensata, porque ninguém quer pôr na empresa uma coisa que inventa números. Mas costuma vir acompanhada de uma pergunta que ninguém faz: quantas vezes se engana hoje a tua equipa, a fazer exatamente a mesma tarefa?
Quase nenhum dono de PME sabe responder. Não é desleixo. É que ninguém mede aquilo que sempre foi feito à mão. O erro humano não aparece num relatório. Aparece como nota de crédito, como telefonema de um cliente irritado ou como uma tarde perdida a "acertar o stock". E fica diluído no dia a dia.
O resultado é uma comparação injusta: de um lado uma máquina que tem de ser perfeita, do outro um processo que ninguém sabe quanto falha. Com esta régua nenhuma ferramenta passa no teste. E a decisão fica parada, às vezes durante anos. Um responsável da Salesforce contou ao ECO que há empresas que levam três anos a decidir "projetos pequenos e simples".
O problema não é exigir muito. É não saber o ponto de partida
Exigir rigor está certo. O erro está em exigir rigor sem base de comparação.
Pensa num caso típico: uma pessoa do administrativo pica à mão, todos os meses, umas centenas de faturas de fornecedores no PHC, no Sage, no Primavera ou no Artsoft. Valores, datas, NIF, condições de pagamento. É um trabalho repetitivo, feito com interrupções, muitas vezes ao fim do dia.
O título deste artigo fala em 3 erros por cada 100 documentos. Atenção: é um número ilustrativo, não um estudo. Na tua empresa podem ser 1 ou podem ser 6. O que interessa é que não é zero, e que não sabes qual é. Enquanto não souberes, qualquer conversa sobre "a IA é fiável?" é feita às cegas.
Há outro dado que ajuda a perceber porque isto importa. A Gartner atribui 57% das falhas de projetos de IA a "esperar demasiado, demasiado depressa". Uma boa parte desse "demasiado" é exigir à máquina um nível de perfeição que o processo atual nunca teve.
Como medir a tua taxa de erro em cinco dias
Não precisas de consultores nem de software. Precisas de uma folha, de uma tarefa e de alguém honesto.
- Escolhe uma única tarefa repetitiva. Por exemplo: lançar faturas de fornecedores, criar encomendas a partir de emails ou confirmar preços em propostas.
- Tira uma amostra de documentos já lançados. Cem chega: os do último mês, escolhidos ao acaso.
- Revê campo a campo contra o original. Quem faz a revisão não pode ser quem fez o lançamento.
- Classifica cada erro. Ficou só feio (uma descrição mal escrita)? Custa dinheiro (valor, IVA, prazo de pagamento)? Ou chega ao cliente (preço errado numa fatura)?
- Conta e escreve o número. Erros por cada 100 documentos e, ao lado, quantos são graves.
É aborrecido? É. Mas é a régua que te vai servir para avaliar qualquer fornecedor de IA, incluindo nós.
Um exemplo com contas
Vamos usar números redondos e assumidos, para veres o raciocínio. Troca-os pelos teus.
- 400 faturas de fornecedores por mês.
- Taxa de erro medida: 3%, ou seja, 12 erros por mês.
- Um terço desses erros custa dinheiro ou tempo a sério: 4 por mês.
- Cada erro grave leva, em média, uma hora a descobrir e a corrigir, contando o telefonema, a nota de crédito e a reconciliação.
São cerca de 50 horas por ano só a apagar fogos, sem contar o dinheiro que sai mal pago ou que nunca chega a ser cobrado. Este é o custo do processo atual, aquele que ninguém põe na mesa.
Agora a pergunta correta deixa de ser "a IA erra?". Passa a ser: "Com IA, quantos erros graves sobram, e quanto tempo levo a encontrá-los?" Se baixares de 4 erros graves para 1, e esse 1 aparecer marcado em vez de escondido, ganhaste. Mesmo sem chegares aos 100%.
"Mas a IA erra de forma diferente"
É a objeção mais séria, e tem razão de ser.
Quando uma pessoa se engana, normalmente o erro tem cara de erro: um dígito trocado, uma vírgula fora do sítio. Uma IA genérica, como um chat qualquer na internet, engana-se de outra maneira. Dá uma resposta bem escrita, confiante e falsa. Isto chama-se alucinação. Acontece porque o modelo está a completar texto plausível, não a consultar os teus dados. Não sabe quanto te deve o fornecedor X, por isso adivinha.
Por isso não basta comparar taxas. Também tens de comparar o tipo de erro e a facilidade de o apanhar. É aqui que a arquitetura faz a diferença:
- Ligada aos teus dados. A resposta vem do teu ERP, não da memória do modelo. Se o dado não existe, a resposta certa é "não encontro", e não um palpite.
- Só de leitura. Num primeiro passo, a IA não lança nem altera nada. Lê, cruza e mostra. O pior que pode acontecer é uma resposta errada, que podes verificar. Nunca um documento errado no sistema.
- Auditada. Cada pergunta e cada resposta ficam registadas, com a origem dos números. Se alguém duvidar, vê-se de onde veio.
Com estas três regras, o erro da IA volta a ter cara de erro: aponta para um documento que podes abrir e confirmar.
Por onde começar, na prática
O primeiro passo mais seguro não é pôr a IA a picar documentos. É pô-la a verificar o que já foi picado e a responder a perguntas sobre isso. Pela ordem:
- Mede a taxa de erro de uma tarefa (os cinco dias acima).
- Liga uma IA só de leitura a esses dados e faz-lhe as perguntas que hoje fazes à mão. "Que faturas de fornecedor deste mês têm um prazo de pagamento diferente da ficha do fornecedor?" "Que linhas foram lançadas com IVA diferente do habitual para este artigo?"
- Compara durante duas ou três semanas: o que a IA apanhou, o que falhou e o que inventou. Com a tua régua, não com a do vendedor.
Na Leiritech fazemos isto por WhatsApp. Perguntas ao teu negócio em português e recebes respostas tiradas do PHC, Sage, Primavera ou Artsoft. Só de leitura, auditado, sem inventar. Como a camada que traduz as tabelas do ERP em conceitos de negócio já está construída, arranca em horas e não em meses. O dono pergunta pelas margens, o comercial pelo histórico de um cliente antes da visita, o armazém pelo stock real de um artigo, o técnico pelo que foi faturado numa intervenção.
Em resumo
Não precisas de acreditar na IA. Precisas de um número: o teu ponto de partida. Com ele, qualquer proposta, nossa ou de outros, deixa de ser uma questão de fé e passa a ser uma conta.
Mede uma tarefa esta semana. Se quiseres ver o que uma IA só de leitura apanha nesses mesmos documentos, fala connosco em leiritech.pt.
