Se tem uma questão sobre as inteligências artificiais (IAs) generativas que deixa muita gente de cabelo em pé é a confusão que elas podem trazer – ou, ainda pior, desinformação e fake news.

Um exemplo disso foi justamente em um sistema que não deveria ter problemas: o chatbot do governo municipal de Nova York, que deveria auxiliar aos munícipes da cidade, está trazendo sérios problemas. Ele vem respondendo, de forma incorreta, questões importantes sobre políticas e leis locais.

Chatbot de Nova York é mentiroso

• O MyCity é um aplicativo-piloto liberado em Nova York em outubro passado;
• No anúncio, a Prefeitura afirmou que o chatbot seria uma forma de os munícipes “ganharem […] tempo e dinheiro ao, instantaneamente, fornecer-lhes informações úteis e confiáveis de mais de duas mil páginas da Web de negócios de Nova York e artigos sobre tópicos como conformidade com códigos e regulamentos, incentivos comerciais disponíveis e práticas recomendadas para evitar violações e multas”;
• Mas, segundo o ArsTechnica, uma reportagem do The City e do The Markup detectou que o MyCity traz informações perigosamente erradas sobre políticas básicas da cidade;
• Um exemplo trazido pelos portais trata de uma questão sobre os prédios de moradias de Nova York, os quais o bot afirma que “não são obrigados a aceitar vouchers da Seção 8”, enquanto a página da Prefeitura da cidade diz exatamente o contrário;
• Outro teste, dessa vez realizado pela usuária do BlueSky, Kathyn Tewson, mostrou que outra resposta perigosa diz respeito ao tratamento dispensado aos denunciantes no local de trabalho, bem como algumas respostas curiosas e ruins sobre a necessidade de pagar aluguel.

Como lembra o ArsTechnica, a tendência é que isso siga acontecendo, pois muitas das IAs generativas usam modelos preditivos baseados em tokens. O MyCity é assim e usa tecnologia do Microsoft Azure.

Ele usa um complexo processo de associações estatísticas em milhões de tokens para, em essência, adivinhar a próxima palavra provável em qualquer sequência. Ele não dá uma compreensão real das informações subjacentes transmitidas.

Dessa forma, quando uma única resposta factual a uma pergunta não poder ser refletida precisamente nos dados de treinamento, isso pode ser problemático.

O ArsTechnica frisa que o The Markup apontou, em seus testes, ao menos uma resposta certa sobre aceitar vouchers de moradia da Seção 8, só que “dez funcionários separados da Markup” receberam respostas incorretas à essa pergunta.

O que diz o MyCity

O MyCity, que segue em versão Beta, afirma, em seus avisos de uso, que “pode ocasionalmente produzir conteúdo incorreto, prejudicial ou tendencioso” e que os usuários “não devem confiar em suas respostas como um substituto para conselhos profissionais”.

Ao mesmo tempo, ele informa que o chatbot é “treinado para oferecer informações oficiais do NYC Business” e está sendo vendida como forma de “ajudar aos empresários a navegar pelo governo”.

Ao The Markup, Andrew Rigie, diretor-executivo da NYC Hospitality Alliance, afirmou que encontrou imprecisões do bot e recebeu relatos idênticos de ao menos um empresário local.

Por sua vez, a porta-voz do Escritório de Tecnologia e Inovação de Nova York, Leslie Brown, disse ao The Markup que o MyCity “já forneceu a milhares de pessoas respostas oportunas e precisas” e que “continuaremos a nos concentrar em atualizar essa ferramenta para podermos apoiar melhor as pequenas empresas em toda a cidade”.

Riscos dessas ferramentas

O relatório liberado pela Markup reforça o perigo de governos e corporações liberarem esses chatbots para o público antes de rigorosos testes de precisão e confiabilidade.

No mês passado, um tribunal obrigou a Air Canada a cumprir com uma política de reembolso inexistente criada pelo chatbot da empresa que prejudicou um cliente.

Segundo relatório do The Washington Post, chatbots integrados aos principais softwares de preparação de impostos fornecem “aleatórios, enganosos ou imprecisos (…) responde” a muitas consultas fiscais.

Além disso, alguns engenheiros teriam conseguido enganar chatbots de concessionárias de veículos para que aceitassem “oferta legalmente vinculante – sem retorno” por um carro de US$ 1 (R$ 5,02, na conversão direta).

As incongruências apresentadas pelos chatbots alimentados por modelos de linguagem grande (LLMs, na sigla em inglês) está afastando as corporações deles, que estão passando a adotar os modelos de Geração Aumentada de Recuperação treinados mais especificamente, ajustados apenas em pequeno conjunto de informações relevantes.

Esse novo foco pode ser ainda mais importante caso a Federal Trade Comission (FTC) obter êxito em tornar os chatbots responsáveis por informações “falsas, enganosas ou depreciativas”.