Pular para o conteúdo
Humantech Gestão do Conhecimento
Atendimento e IA

Por que o agente de IA erra e onde entra a engenharia do conhecimento

O agente de IA monta a resposta com o que encontra nas fontes da empresa. Veja os cinco pontos em que ele costuma falhar e o que fazer em cada um.

Notebook com a conversa de um assistente de IA ao lado do painel de fontes da base de conhecimento

O agente de IA erra, muitas vezes, porque responde a partir do conhecimento que encontra nas fontes da empresa, e esse conhecimento está vencido, em conflito ou só na experiência de poucas pessoas. A engenharia do conhecimento organiza esse conhecimento antes da ferramenta: define a tarefa, o que ela exige, quem detém o conhecimento e como registrá-lo.

Com o conhecimento modelado, o agente de IA tende a errar menos, e o erro que sobra passa a ter explicação.

Por que o agente de IA dá respostas erradas?

O agente de IA dá respostas erradas quando as fontes que ele consulta estão erradas, incompletas ou sem limite claro de uso, porque ele monta a resposta a partir delas. A técnica que explica essa dependência é a geração aumentada por recuperação (RAG, na sigla em inglês), descrita por Lewis e colegas em 2020: antes de responder, o sistema busca trechos em fontes externas ao modelo de linguagem e responde a partir desses trechos.

Muitos assistentes corporativos com IA generativa usam essa técnica sobre a base de conhecimento, os manuais e os procedimentos da própria empresa. Quando a fonte está errada, o agente repete o erro com segurança.

Onde o agente de IA costuma falhar?

Em atendimento e assistência técnica, as falhas do agente de IA costumam aparecer em cinco pontos:

  • Fonte vencida. O artigo da central de ajuda ainda descreve a regra anterior ao último release.
  • Versões em conflito. A mesma pergunta recebe respostas diferentes conforme quem atende.
  • Conhecimento que nunca foi escrito. O diagnóstico de uma falha recorrente depende de um técnico sênior, e o agente não tem de onde tirar a resposta.
  • Escopo indefinido. Ninguém decidiu o que o agente responde sozinho e quando passa o caso para uma pessoa.
  • Falta de teste. Não há perguntas com resposta validada por especialista para conferir o agente antes de publicar.

Fonte vencida, versões em conflito, conhecimento não escrito, escopo indefinido e falta de teste estão na base e no desenho do trabalho, fora do modelo de linguagem. Por isso trocar o modelo de linguagem pouco muda nesses cinco pontos. A pesquisa recente vai na mesma direção: Pan e colegas (2024) propõem combinar modelos de linguagem com representações estruturadas do conhecimento, como grafos de conhecimento, para reduzir respostas inventadas e tornar o raciocínio verificável.

O que a engenharia do conhecimento tem a ver com o erro do agente?

Engenharia do conhecimento é o conjunto de métodos para analisar, modelar e representar o conhecimento usado numa tarefa, de modo que pessoas e sistemas possam aplicá-lo. A explicação completa do conceito está em o que é engenharia do conhecimento, no blog O Conhecimento.

Os primeiros sistemas especialistas tentavam transferir para o código as regras que o especialista dizia usar, e esbarravam no que ele sabe sem conseguir formular como regra. Depois da fase de transferência do início dos anos 1980, segundo a revisão de Studer, Benjamins e Fensel (1998), o campo passou a tratar a engenharia do conhecimento como modelagem do conhecimento e do raciocínio da tarefa, independente da tecnologia que vai executá-la. Essa independência é o que interessa a quem implanta um agente de IA: o mesmo modelo serve ao atendimento humano, ao treinamento e ao agente.

A engenharia do conhecimento concentra o esforço nas tarefas intensivas em conhecimento, as que exigem perícia, julgamento ou experiência, como diagnosticar a falha de um equipamento industrial. São essas as tarefas em que o agente de IA mais erra quando a base está incompleta.

CommonKADS é uma metodologia de engenharia do conhecimento que organiza o projeto em seis modelos, da organização até o projeto do sistema, consolidada por Schreiber e colegas em livro de 1999. Os seis modelos são explicados em metodologia CommonKADS, no blog O Conhecimento, e o CommonKADS é uma das referências do método da Humantech.

Como a engenharia do conhecimento reduz o erro do agente de IA?

No CommonKADS, “agente” é quem executa uma tarefa, seja uma pessoa ou um software. Num projeto de atendimento, o agente de IA é um desses executores. Os modelos do CommonKADS atacam os cinco pontos de falha assim:

  • Escopo: os modelos da tarefa e do agente registram o que o agente de IA decide sozinho e quando passa o caso para uma pessoa.
  • Conversa: no modelo de comunicação fica o que o agente de IA pergunta ao cliente e em que momento transfere para um especialista.
  • Fontes: o modelo do conhecimento aponta que conceitos e regras precisam estar na base, cada um com dono, validade e versão.
  • Teste: do mesmo modelo saem as perguntas de teste, casos reais com resposta validada por especialista, conferidos antes de publicar e a cada mudança na base.

Imagine uma assistência técnica em que o diagnóstico de falha de um inversor está só na experiência do técnico sênior de campo, e o atendimento consulta uma versão antiga das regras de garantia. O quadro de conhecimentos usados, parte do modelo da organização, registra para cada conhecimento quem o detém, onde é usado e se está disponível na forma, no lugar, no tempo e com a qualidade certos. Nesse cenário, o quadro mostraria antes do projeto os dois problemas que um agente de IA ligado a essa base herdaria.

A Humantech é uma empresa de gestão do conhecimento de Joinville (SC), desde 2005, e organiza bases de conhecimento para central de ajuda e agentes de IA. A solução de bases de conhecimento para atendimento e IA aplica esse raciocínio ao acervo de suporte: diagnóstico do que está vencido ou em conflito, estrutura, curadoria com os especialistas, perguntas de teste e rotina de atualização.

Por onde começar a corrigir as respostas do agente de IA?

Um primeiro projeto parte de uma tarefa que trava a operação, como um diagnóstico que só uma pessoa sabe fazer ou uma dúvida que gera muitos chamados. Com a tarefa definida, a equipe preenche o modelo da organização (problema, processo, tarefas, conhecimentos usados e viabilidade), o que costuma levar poucas semanas na experiência da Humantech, e modela com o especialista o conhecimento da tarefa. As perguntas de teste vêm antes de construir qualquer sistema, e o modelo é revisto sempre que a tarefa muda.

A base corrigida precisa continuar correta depois do projeto, e essa parte pertence à gestão do conhecimento. Gestão do conhecimento é o trabalho contínuo de garantir que o conhecimento de que a empresa depende esteja identificado, disponível para quem precisa e atualizado. Quem responde por cada domínio e como a revisão acontece são temas de como implantar gestão do conhecimento.

Um projeto de IA que não sai do piloto porque ninguém confia nas respostas é o sinal mais claro de que a base do agente precisa desse trabalho.

Para ver os seis modelos do CommonKADS por dentro, o modelo da organização preenchido em cinco quadros e as perguntas que decidem se o projeto é viável, baixe gratuitamente o e-book Engenharia do conhecimento e a metodologia CommonKADS.

Perguntas frequentes

Como testar se um agente de IA está respondendo certo?

Para testar um agente de IA, reúna perguntas reais de clientes e peça a um especialista que valide a resposta correta de cada uma. Rode o agente sobre esse conjunto antes de publicar e de novo a cada release ou mudança na base. Cada divergência aponta uma fonte vencida, incompleta ou fora do escopo do agente.

O que fazer quando o agente de IA responde com informação vencida?

Quando o agente de IA responde com informação vencida, comece pela fonte: localize o artigo ou procedimento de onde ele tirou a resposta e atualize o conteúdo com o responsável pelo assunto, registrando a nova versão. Depois inclua a pergunta no conjunto de teste, para conferir que o erro não volta.

Por onde um piloto de engenharia do conhecimento costuma começar?

Na experiência da Humantech, um piloto pequeno costuma começar pelos modelos da organização e do conhecimento do CommonKADS, aplicados a uma única tarefa que gera muitos chamados ou depende de poucas pessoas. A metodologia permite escolher os modelos conforme o projeto.

É preciso software de ontologia para organizar a base de um agente de IA?

Na experiência da Humantech, quadros, glossários, árvores de decisão e artigos estruturados da base dão conta da maior parte dos projetos de empresa. Editores de ontologia como o Protégé, mantido pela Universidade Stanford (Musen, 2015), entram quando o domínio é complexo.

Celso Ricardo Salazar Valentim, PhD, é CKO da Humantech, mestre em Engenharia e Gestão do Conhecimento e doutor em Engenharia de Produção pela UFSC. Conheça o Dr. Celso.

Contato

Fale com a Humantech

Diga em poucas linhas o que a empresa precisa organizar ou levar ao mercado, e para quando. Respondemos o mais breve possível.

Os campos sem a marca (opcional) são obrigatórios.