Acertar a resposta é só uma parte do trabalho do agente

Quando a gente foi pesquisar como os outros avaliam inteligência artificial, levou um susto. Eu esperava agente avaliando agente, e encontrei um exército de gente lendo as conversas manualmente. Foi uma coisa que a gente estranhou demais, porque, na nossa cabeça, seria agente lendo agente.

Aquilo me chamou a atenção porque a gente estava tentando melhorar a qualidade do Jota e esbarrou numa parte muito humana do trabalho: alguém precisava perceber como a conversa tinha sido pra quem estava do outro lado.

Uma resposta pode estar certa e ainda dar trabalho demais. Pode ser longa, deixar uma ambiguidade no ar ou obrigar a pessoa a explicar de novo o que já tinha dito.

Às vezes dava para resolver sem três parágrafos

O time inteiro marca evals. Se alguém vê que uma conversa está com muita ambiguidade e percebe que o agente poderia ter conduzido aquela conversa melhor, sem falar dois, três parágrafos, a gente marca, e o time faz o aperfeiçoamento.

Quem pede ajuda quer resolver. Se precisa ler demais pra achar o que importa, ou continua sem saber o próximo passo, a experiência ainda está cobrando trabalho dela. Eu pergunto pro time toda semana: o pedido terminou com a tarefa feita?

Tem situação que pede explicação, claro. Responder direto é diferente de pular uma informação de que a pessoa precisa, e o cuidado está em reconhecer o que cada conversa pede.

É fundamental ter evals para quem quer construir alguma coisa com inteligência artificial. Sem isso, eu diria que é impossível manter um nível mínimo de qualidade. O nome soa técnico, mas evals, no fim das contas, são testes.

A pessoa também está dizendo como a conversa vai

Outra coisa que a gente desenvolveu dentro de casa foi a sensibilidade. É olhar a interação e perceber, como numa conversa entre duas pessoas, que a pessoa do outro lado está irritada. O agente identifica padrões de palavras, de frases, de contexto pra dizer se a interação está ruim, se a pessoa não foi entendida ou se está com dificuldade pra chegar ao que precisa.

Isso importa num agente que cuida da vida financeira e da operação de alguém. Quem chega ali muitas vezes já está preocupado com o que quer resolver, e a gente precisa ajudar sem acrescentar esforço.

Eu não acho que a gente lê perfeitamente o que alguém sente. A gente tem sinais pra examinar e uma experiência pra melhorar, e a própria leitura desses sinais continua sendo avaliada.

Quem escreve o produto precisa ver esse uso de perto

Depois daquele susto com as avaliações manuais, a gente fez uma escolha. No Jota, todo mundo é obrigado a dar plantão no sábado e no domingo, a empresa toda, inclusive os desenvolvedores, porque a gente quer que eles tenham a sensibilidade das conversas. Como tem rodízio, dá umas quatro horas por mês, e a pessoa fica lá lendo as conversas e vendo o que pode melhorar.

Às vezes aparece um bug. Às vezes uma melhoria de produto. Às vezes uma conversa que, tecnicamente, não deu erro e mesmo assim deixou o cliente dando voltas.

Eu quero que quem desenvolve tenha essa sensibilidade. Acompanhando o atendimento, você vê o esforço de alguém pra usar o que você construiu, e isso vira referência pra decidir o que melhorar. A gente juntou as duas coisas: como a gente faz o trabalho manual, mas com quem desenvolve? Ao mesmo tempo, a gente cria agentes que ajudam a achar padrões nas conversas.

O detalhe dos três parágrafos parece pequeno perto de tudo o que se discute sobre IA. Pra quem precisa de uma resposta simples e quer seguir com o dia, ele pesa bastante. Se a gente quer economizar o tempo do cliente, tem que prestar atenção também no tempo que a gente pede dele pra conversar com a gente.

A gente precisa entregar um produto de mais qualidade, sempre. Cada plantão mostra um pedaço do que ainda falta, e tem muito trabalho pela frente.