Passaram dois anos desde que a OpenAI concedeu o ChatGPT ao mundo e desencadeou uma espécie de corrida ao ouro da inteligência artificial. Milhares de milhões de dólares estão a ser investidos em empresas centradas e adjacentes à IA, com a promessa de que a tecnologia vai acelerar (ou possivelmente obliterar) todos os aspectos da vida moderna.
A narrativa de Silicon Valley é que o comboio da IA já partiu da estação e que é melhor qualquer investidor inteligente entrar nele antes que estes produtos se tornem “superinteligentes” e comecem a resolver todos os problemas do mundo. (Para os verdadeiros crentes, isso não é uma hipérbole, e essas expectativas ajudaram a transformar empresas outrora de nicho, como a fabricante de chips Nvidia, num dos activos mais valiosos do planeta).
Claro que a chave para esta narrativa é a promessa de que os modelos de linguagem de grande dimensão (LLM) como o ChatGPT continuam a melhorar a um ritmo exponencial.
Alguns cépticos da IA alertaram durante anos para as “leis de escalabilidade” - a ideia de que se pode melhorar continuamente o resultado de um modelo apenas com mais dados e poder de computação. No entanto, estas não são tanto leis como suposições educadas. E a verdade é que mesmo os cientistas que constroem os LLM não compreendem totalmente o seu funcionamento.
Agora, alguns dos principais modelos linguísticos parecem estar a bater numa parede, de acordo com pelo menos três relatórios. Veja aqui:
- A agência de notícias The Information citou funcionários anónimos da OpenAI que afirmaram que alguns dos investigadores da empresa acreditam que o seu próximo modelo de IA, Orion, “não é melhor do que o seu antecessor na execução de determinadas tarefas”.
- A Bloomberg informou, citando também duas fontes não identificadas, que o Orion “ficou aquém” e “até agora não é considerado um avanço tão grande em relação aos modelos existentes da OpenAI como o GPT-4 foi em relação ao GPT-3.5”.
- A Reuters refere que “os investigadores dos principais laboratórios de IA têm-se deparado com atrasos e resultados decepcionantes na corrida para lançar um modelo de linguagem de grande dimensão que supere o modelo GPT-4 da OpenAI, que tem quase dois anos, de acordo com três fontes familiarizadas com assuntos privados”.
- Também citou Ilya Sutskever, um cofundador da OpenAI que deixou a empresa em maio. “A década de 2010 foi a era da escalabilidade, agora estamos de volta à era da maravilha e da descoberta. Toda a gente está à procura da próxima coisa”, disse Sutskever. “Agora, mais do que nunca, é importante escalar a coisa certa”.
- Até Marc Andreessen, o capitalista de risco que uma vez escreveu um ensaio intitulado “Por que a IA vai salvar o mundo”, disse recentemente em um podcast que os modelos disponíveis estão “meio que atingindo o mesmo teto de capacidades”.
O diretor executivo da OpenAI, Sam Altman, parece ter rejeitado os relatórios, publicando no X na semana passada que “não há muro”.
Quer se trate de um muro, de uma montanha, de um planalto ou do que quer que lhe queiramos chamar, até os especialistas em IA dizem que é possível que tenhamos chegado a um ponto de viragem apenas com base nos produtos que foram lançados.
“Há algum tempo que não vemos um modelo inovador”, disse-me Gil Luria, diretor-geral do grupo de investimento D.A. Davidson. “Parte disso deve-se ao facto de termos esgotado todos os dados humanos e, por isso, o simples facto de se utilizar mais computação para os mesmos dados pode não produzir melhores resultados.”
Trata-se de um problema ligeiramente técnico, mas que é importante para compreender as limitações dos modelos: Para fazer com que estas máquinas de IA soem humanas, é necessário treiná-las com dados humanos - essencialmente, utilizando cada pedaço de texto ou áudio na Internet. Quando um modelo ingere tudo isso, não há mais nada “real” para o treinar.
Para sermos claros, um patamar não é necessariamente uma sentença de morte para o negócio da IA. Mas não é certamente muito bom para a ótica, quando Wall Street já está a pensar quando (ou se) os investidores podem esperar ver estes produtos brilhantes e muito caros produzirem algumas receitas reais.
A Nvidia, a fabricante de chips avaliada em quase 3,5 biliões de dólares, e outros grandes intervenientes na IA não terão provavelmente de se preocupar com a questão da escala de imediato.
“Em termos de procura da Nvidia para o último trimestre e este trimestre, não há dúvida de que essa demanda foi maior do que eles poderiam fornecer”, disse Luria.
Mas se de facto atingimos uma parede de dimensionamento, “isso pode significar que as empresas de tecnologia de mega-capacidade investiram em excesso” e é possível que possam recuar num futuro próximo.
Esta é a visão otimista/pragmatista da IA.
Para uma perspetiva menos otimista, recorri a Gary Marcus, professor emérito da Universidade de Nova Iorque e crítico declarado da moda da IA.
“É provável que a situação económica seja sombria”, escreveu Marcus no início deste mês no seu Substack. “Os LLM não desaparecerão, mesmo que as melhorias diminuam, mas é provável que a economia nunca faça sentido... Quando todos se aperceberem disto, a bolha financeira poderá rebentar rapidamente; até a Nvidia poderá sofrer um golpe, quando as pessoas se aperceberem de que a sua avaliação se baseou numa premissa falsa.
