IA Generativa, um gerador de novos factos

Li dois livros seguidos sobre a febre da IA Generativa — o primeiro “Creativity Code” (2019), escrito por Marcus du Sautoy como resposta ao impacto do GPT-1, e “Brave New Words” (2024), escrito por Salman Khan, o guru que criou a Khan Academy, como resposta ao impacto do GPT-4 — e confesso ter ficado boquiaberto, não com os feitos do GPT, mas com o deslumbramento dos autores, principalmente no segundo caso, com o livro a funcionar como uma declaração de fé na IA Generativa, suportada diretamente pela Open AI e Bill Gates. Se acalentava dúvidas quanto ao efetivo impacto da IA Generativa fora do domínio criativo, o fervor apresentado por estes livros tornou bastante claro para mim que o rei vai nu.

Tudo o que vou escrever a seguir tem que ver com IA Generativa que é distinta da tradicional IA Preditiva. A segunda está relacionada com o novo mundo em que vivemos, construído sobre informação digital, dados digitalizados, que em grande número se tornam quase impossíveis de analisar por nós, tendo-nos obrigado a recorrer a sistemas suportados em IA para analisar padrões a partir dos grandes lagos de dados. Esta é a IA que nos tem oferecido avanços na Saúde, Finanças ou Engenharia entre outras áreas. A generativa, baseia-se nesta ideia, mas em vez de usar os dados para interpretar o passado, usa os dados para criar novas estruturas de dados. Ou seja, a primeira é guiada por objetivos concretos, atuando através de cálculo estatístico, usando métricas para encontrar o melhor padrão, a segunda assenta em lógicas de emergência, forçando a mescla de diferentes dados anteriores em busca do novo.

Fica desde logo muito claro que se a IA Generativa está a gerar mesclas de dados anteriores em busca da criação do novo vai cometer erros pelo caminho. A maior parte das mesclas produzem resultados irrelevantes ou mesmo maus (ex. erros factuais). Para aumentar a probabilidade de produzir resultados relevantes, o que os criadores destes modelos fazem é treiná-los com milhões de humanos, que vão sinalizando o que é correto e o que não é. Contudo, como o objetivo do modelo é criar continuamente o inexistente, por mais respostas humanas que lhe sejam dadas, estas não poderão nunca antecipar o que ainda não existe, pelo que um sistema destes, em modo aberto, tal como acontece neste momento com o ChatGPT ou Gemini, cometerá sempre erros.

As evidências disto acumulam-se todos os dias. O mais recente estudo feito sobre o uso de IA Generativa para criação de código, analisou as respostas do ChatGPT a 517 questões do Stack Overflow e detetou erros em 52% dessas respostas. Nada que nos deva surpreender, agora os problemas a sério começam quando neste estudo se verifica que os programadores que usam o ChatGPT para fazer o seu trabalho não detetaram esses erros 39% das vezes. Isto é grave, e não augura nada de bom sobre potenciais impactos negativos transversais a toda a sociedade, já que a informática se tornou omnipresente e muitos dos programadores se começaram a habituar a usar e a acreditar nestas ferramentas.

Face a isto, impressionou-me muito Sal Khan falar de modo tão leviano sobre a geração de alucinações e erros, aceitando-os como uma inevitabilidade, acreditando, aparentemente de modo ingénuo, na ausência de consequências. Khan apresenta-se neste livro como o homem de vendas da OpenAI, disposto a atirar para a listagem de efeitos secundários a falta de factualidade, de precisão e de rigor, tudo para vender o seu próprio modelo baseado no GPT-4, o Khanmigo. Ao longo do livro, torna-se entediante o número de vezes que Khan refere que foi o primeiro a experimentar as ferramentas da OpenAI:

“The OpenAI — were looking to launch it alongside a small number of trusted partners — Khan Academy was the first organization that came to mind

(…) I found myself suddenly exhilarated to be one of the first people on the planet to see the capabilities of GPT-4.

(…) I was one of the first to have access to this type of technology and attempt such prompts

(…) making my daughter, at eleven years old, one of the very first people on the planet to write a story and have it talk back to her

(…) Sam Altman and Greg Brockman of OpenAI reached out to us before anyone else

(…) In late 2022 and early 2023, Khan Academy began planning to be the first education platform to incorporate GPT-4 in advance of its launch.”

Impressiona-me porque o livro foi publicado já em 2024, Khan está a usar as ferramentas desde 2022 e ainda não percebeu, ou não quis perceber, o que temos aqui. Estes modelos de texto são excecionais conversadores, disso não há dúvida, mas são apenas isso. O problema é que por serem dotados de muito boa retórica são capazes de convencer a generalidade das pessoas de tudo e mais alguma coisa. Na generalidade dos testes que fiz ao longo destes dois anos, usando múltiplos modelos, encontrei sempre o mesmo padrão: à superfície os textos estão perfeitos, lêem-se muito bem, e parecem oferecer as respostas que procuramos. Contudo, assim que começamos a trabalhar os textos, e a analisá-los com mais cuidado, começamos a encontrar frases vazias, desprovidas de sentido sobre as ideias em questão, e mais grave, erros e contradições. Isto é bastante parecido com o que acontece com os modelos de criação de imagens, que à superfície parecem oferecer imagens perfeitas, mas quando escrutinadas no detalhe estão cheias de problemas. Por isso, tenho vindo pensar cada vez mais estes modelos como criadores de conteúdos ocos, já que quando os pressionamos eles desfazem-se.

Aliás, se o modelo for pressionado diretamente, através do questionamento, ele desfaz-se durante o próprio ato criativo. Veja-se o que aconteceu esta semana com o lançamento do novo modelo Google Overview, que cria pequenas respostas para as pesquisas realizadas pelos utilizadores. Ficam alguns dos resultados mais hilariantes:

. recomendou que se colocasse cola não tóxica numa receita de pizza;

. recomendou que se pusesse gasolina no esparguete;

. já sobre os presidentes dos EUA, disse que apenas 17 presidentes americanos eram brancos e que um era muçulmano;

. chegou mesmo a sugerir que numa dieta ideal as pessoas deveriam comer três pedras por dia.

Podemos achar graça, mas não consigo aceitar que sistemas que dão erros crassos destes possam ser vistos como sistemas compatíveis com uma sala de aulas. Uma máquina que dá erros não é igual a um ser humano que se enganou.

Khan quer dizer-nos que a IA Generativa está ao nível das revoluções criadas pela máquina vapor, eletricidade ou internet. Imagine-se que de cada vez que em cada 10 vezes que ligássemos um aparelho à eletricidade, 3 ou 4 dessas vezes não funcionasse. Quem é que desenvolveria máquinas para funcionar a eletricidade? Imagine-se que a internet que usamos, em cada 10 e-mails enviados, 5, ou mesmo 2, eram enviados para contas erradas. Qual seria a empresa que aceitaria usar uma ferramenta dessas para negócios de alta responsabilidade? E estamos a falar de questões que são verificáveis. No caso da IA Generativa, estamos a falar de máquinas que cometem erros que os seus utilizadores não detectam.

Mas isto torna-se ainda mais estranho se pensarmos que Marcus du Sautoy é matemático, alguém para quem o erro deveria ser inaceitável, contudo quando analisa estes sistemas tudo lhe parece razoável, porque tudo brota de equações matemáticas e estatísticas experimentais. Em sua defesa, Du Sautoy realiza a sua discussão sobre o impacto da IA generativa na criação artística, ainda assim, a forma como autor tenta defender a IA comparando-a a um sistema cognitivo humano matematizado é muito raso. Du Sautoy, imbuído do abstracionismo lógico-matemático, esquece que o pensamento humano é fruto de uma mescla entre a cognição e a emoção, sem essa junção não conseguiríamos raciocinar.

Aliás, é exatamente por sermos feitos de cognição e emoção que não escrevemos um texto e o entregamos de imediato a ninguém. O trabalho de escrita implica sempre um enorme trabalho de edição que assenta na pesquisa de dados, fundamentação e reescrita. Os textos não são apenas linhas de palavras, contém significados que se criam a partir da junção de frases, parágrafos e muito mais complexo, de contextos. Aquilo que os modelos de IA Generativa parecem estar a fazer é imitar a escrita num modo de “fluxo de consciência” direto, que como já vimos não serve. Sem todo um trabalho de edição, os textos não apresentam uma estrutura interna capaz de suportar as ideias/respostas com princípio, meio e fim.

Contudo Khan faz toda uma defesa cega do uso da IA Generativa na Educação, falando muitas vezes como se a IA Generativa fosse já quase consciente, ou a sua consciência estive iminente. É inegável olhar para todo o seu discurso como mais um dos capítulos da Educação e Tecnologia, depois de tantos outros — a febre do Audiovisual, a febre do PC, a febre os Videojogos, a febre do Mobile, a febre da VR, etc. Não deixa de ser algo preocupante que a Educação que deveria ser um centro de conhecimento sólido, esteja sempre disposta a experimentar tudo e mais alguma coisa, desde que brilhe, mexa, pareça inovador.

Na verdade, o resto do livro acaba elevando-se a patamares ainda mais obscuros, para quem se diz ser um defensor da educação. Khan defende, suportado por Gates, que os estudantes vão continuar a precisar de estudar e trabalhar em profundidade as áreas que quiserem seguir, para logo a seguir defender que os futuros trabalhadores terão de dominar múltiplas áreas, e depois logo a seguir como mais importante de tudo, que terão de ser todos empreendedores, porque todos o podem ser, a escola é que mata o empreendedorismo.

Voltando ao início, a IA Generativa produz conteúdos a partir da fusão de conteúdos anteriores fazendo emergir novos conteúdos, ou seja, novos factos. Se isto é interessante do ponto de vista artístico, nomeadamente na criação em âmbitos ficcionais, quando entramos no domínio da informação tudo cai por terra. Os factos não podem ser tratados desta forma, factos não são opiniões. As opiniões são factos anteriores, recriados a partir da fusão com as ideologias do opinador. No fundo, aquilo que a IA Generativa faz é gerar opiniões, não há espaço para factos nos textos criados por esta.

Se pensarmos na Wikipédia, temos um modelo de produção de informação completamente distinto. Desde logo, não se produzem novos factos, apenas se associam e estruturam factos pré-existentes. Todos os factos na Wikipédia têm de apresentar uma referência anterior, sem o que não podem ser publicados. Mais, os factos apresentados passam por processos alargados de curadoria humana, com centenas ou milhares de pessoas a selecionar, comparar, contrastar, debater, filtrar até que sejam aceites para exposição pública no site.

Mas agora repare-se no modo como a sociedade, pelo menos ainda em 2024, olha para ambos. Os factos apresentados pela Wikipedia com as múltiplas garantias apresentadas acima, continuam hoje a não ser aceites como referências válidas em trabalhos académicos. Contudo, a IA Generativa, que cria e inventa factos, é recomendada por estes autores, ambos professores, assim como muitos outros professores, para uso na criação de trabalhos académicos!!!

Em abono da Academia, a loucura de 2022/23, com académicos a quererem listar o ChatGPT como autor de artigos científicos parece ter passado, já que existem apenas 3 registos na SCOPUS de 2023. A isso não  será alheio o facto da poderosa revista Nature ter proibido a creditação de artigos científicos ao ChagtGPT, logo no início de 2023.

Notas GoodReads:

“Creativity Code” 3/5

“Brave New Words” 1/5