A Elsa foi criada para supostamente facilitar o trabalho do sistema de saúde dos EUA. A Elsa é IA, inteligência artificial, mas tem-se mostrado mais inteligência alucinada
É suposto que a inteligência artificial da FDA revolucione a aprovação de medicamentos. Mas está a inventar estudos
por Sarah Owermohle, CNN (Meg Tirrell, Dugald McConnell e Annie Grayer contribuíram para esta reportagem)
Segundo os responsáveis pela saúde da administração Trump, a inteligência artificial chegou a Washington para acelerar a comercialização de novos medicamentos que salvam vidas, simplificar o trabalho das vastas agências de saúde multimilionárias e ser uma assistente fundamental na busca por reduzir os gastos desnecessários do governo sem comprometer o seu trabalho.
"A revolução da IA chegou", declarou o secretário de Saúde e Serviços Humanos, Robert F. Kennedy Jr., em audiências no Congresso nos últimos meses.
"Já estamos a usar essa tecnologia no HHS [Departamento de Saúde e Serviços Humanos dos Estados Unidos] para gerenciar dados de saúde com total segurança e aumentar a velocidade das aprovações de medicamentos", disse Kennedy Jr. em junho ao Comité de Energia e Comércio da Câmara. O entusiasmo — pelo menos entre alguns — era palpável.
Semanas antes, a Food and Drug Administration (FDA) dos EUA, divisão do HHS que supervisiona grande parte do sistema farmacêutico e alimentar americano, revelou a Elsa, uma ferramenta de inteligência artificial destinada a acelerar drasticamente as aprovações de medicamentos e dispositivos médicos.
No entanto, nos bastidores, o projeto de IA da agência foi recebido com indiferença — ou mesmo com alarme.
Seis funcionários atuais e antigos da FDA, que falaram sob condição de anonimato, disseram à CNN que a Elsa pode ser útil para gerar notas e resumos de reuniões ou modelos de e-mails e comunicados.
Mas a Elsa também inventou estudos, conhecidos como "alucinações" da IA, e deturpou pesquisas, de acordo com três funcionários atuais da FDA e documentos vistos pela CNN. Isso torna-a pouco confiável para o trabalho mais crítico deles, sublinharam estes os funcionários.
"Qualquer coisa que não temos tempo para verificar duas vezes não é confiável. A Elsa alucina", disse um funcionário — e isso é muito diferente do que foi prometido publicamente.
"A IA deveria economizar o nosso tempo, mas garanto que perco muito tempo extra apenas devido à vigilância redobrada que preciso ter" para verificar estudos falsos ou deturpados, disse um segundo funcionário da FDA.
Atualmente, a Elsa não pode ajudar no trabalho de revisão, a longa avaliação que os cientistas da agência realizam para determinar se os medicamentos e dispositivos são seguros e eficazes, disseram dois funcionários da FDA. Isso porque ela não pode aceder a muitos documentos relevantes, como submissões da indústria, para responder a perguntas básicas - como quantas vezes uma empresa pode ter solicitado a aprovação da FDA, quais são os produtos relacionados no mercado ou outras informações específicas da empresa.
Tudo isso levanta sérias questões sobre a integridade de uma ferramenta que o comissário da FDA Marty Makary gabou-se de ser capaz de transformar o sistema de aprovação de medicamentos e dispositivos médicos nos EUA, num momento em que quase não há supervisão federal para avaliar o uso da IA na medicina.
"A agência já está a usar a Elsa para acelerar as revisões de protocolos clínicos, reduzir o tempo necessário para avaliações científicas e identificar alvos de inspeção de alta prioridade", disse a FDA em um comunicado sobre o lançamento da Elsa, em junho.
Mas, em entrevista à CNN na sede da FDA em White Oak esta semana, Makary diz que, neste momento, a maioria dos cientistas da agência está a usar a Elsa sobretudo pelas "habilidades de organização" que evidencia, como encontrar estudos e resumir reuniões.
O chefe de IA da FDA, Jeremy Walsh, admitiu que a Elsa pode alucinar com estudos inexistentes.
"A Elsa não é diferente de muitos [grandes modelos de linguagem] e IA generativa", disse à CNN. "São modelos que podem potencialmente alucinar."
Walsh também disse que as deficiências da Elsa em responder a perguntas sobre informações do setor devem mudar em breve, já que a FDA atualizará o programa nas próximas semanas para permitir que os utilizadores carreguem documentos para as suas próprias bibliotecas.
Questionado sobre os erros que a Elsa está a cometer, Makary observou que os funcionários não são obrigados a usar a IA.
"Não ouvi essas preocupações específicas, mas é opcional", disse. "Eles não precisam de usar a Elsa se não acharem que ela tem valor."
Questionado sobre como é que isso contribui para os ganhos de eficiência que ele prometeu publicamente, e confrontado também com o que funcionários da FDA disseram à CNN sobre terem de verificar duas vezes o trabalho da Elsa, responde assim: "É preciso determinar quais são as informações confiáveis nas quais podemos fundamentar decisões importantes e acho que fazemos um ótimo trabalho nisso".
Pergunte à Elsa
As primeiras versões da Elsa foram construídas a partir da estrutura de um modelo de IA anterior que a FDA começou a desenvolver durante a administração Biden, de acordo com duas fontes familiarizadas com o assunto.
O nome era inicialmente uma sigla para Efficient Language System for Analysis (Sistema de Linguagem Eficiente para Análise) e estava entre várias propostas de nomes para o sistema de IA, como "RegulAItor". Elsa acabou por vencer, embora a liderança tenha finalmente decidido contra o seu título mais longo: um documento interno recente visto pela CNN diz que agora "Elsa é apenas um nome e não uma sigla".
Walsh e a sua equipa demonstraram à CNN como é que esta ferramenta de IA deve funcionar. A plataforma tem uma interface branca simples com alguns detalhes em castanho. Dá as boas-vindas ao utilizador com um "Como posso ajudar?", que surge acima de um campo de entrada que diz "Pergunte qualquer coisa à Elsa", muito parecido com outras IA populares de uso público.
A FDA afirmou que a Elsa foi concebida para permitir que os reguladores acedam a documentos internos seguros, encurtando as revisões ao resumir rapidamente os efeitos secundários de risco e recolher informações sobre produtos relacionados.
Durante a demonstração, foi pedido à Elsa que resumisse as orientações da FDA sobre a doença hepática gordurosa e os medicamentos que a tratam. Recuperou os 10 artigos da biblioteca interna da FDA que considerou mais relevantes.
Quando foi adotada em junho, Makary gabou-se de que o lançamento da Elsa tinha ocorrido "antes do previsto e abaixo do orçamento" após "um programa piloto muito bem-sucedido com os revisores científicos da FDA2.
Walsh disse que esses esforços concretizaram-se em questão de semanas.
A liderança da agência escolheu funcionários de vários centros que supervisionam medicamentos, dispositivos, alimentos e medicamentos veterinários para uma série de reuniões em maio.
Uma vez lá deram feedback sobre o que precisavam de tal ferramenta, os desafios potenciais que viam e até mesmo algumas escolhas estéticas, como a paleta de cores da Elsa e o seu nome, de acordo com um funcionário da FDA que participou.
Aqueles que participaram nas reuniões de feedback foram apelidados "campeões" da Elsa e enviados para divulgar a plataforma nos vários cantos da agência, com pontos de discussão e sugestões sobre como demonstrar o seu uso, de acordo com dois funcionários atuais da FDA.
A formação da agência sobre a Elsa é voluntária, assim como o uso da plataforma.
Makary e Walsh disseram à CNN que mais de metade dos funcionários da FDA já registou tempo na Elsa.
Mas aqueles que falaram com a CNN disseram que a adoção tem sido fraca nas suas áreas da agência — e que poucos dos seus colegas estão a usar a Elsa. Ou estão a usá-la apenas de forma muito limitada.
Aqueles que a usaram dizem ter notado problemas graves.
Por exemplo, a Elsa não consegue representar estudos de forma confiável.
Se a Elsa fornece um resumo de um parágrafo de, digamos, 20 páginas de investigação relacionados com um novo medicamento específico, não há como saber se deturpa algo ou omite algo que um revisor humano consideraria importante, disse um funcionário da FDA.
Não há como a Elsa saber que informações de um estudo extenso podem ser mais cruciais para um especialista, acredita esse funcionário.
Quando a Elsa é informada de que está incorreta — que um estudo que cita não existe ou que alguém trabalha na FDA quando não é verdade —, ela geralmente fica "apologética", disse um funcionário. Mas em pelo menos um caso compartilhado com a CNN — quando esse funcionário pediu à Elsa para gerar algo para um projeto — ela insistiu que a área de pesquisa não era da competência da FDA (mas era).
Os funcionários que falaram com a CNN testaram o conhecimento da Elsa fazendo perguntas como quantos medicamentos de uma determinada classe são autorizados para uso em crianças ou quantos medicamentos são aprovados com um determinado rótulo. Em ambos os casos, deu respostas erradas.
Um funcionário descreveu que a Elsa contou erradamente o número de produtos com um rótulo específico. Quando informada de que estava errada, admitiu que cometeu um erro.
"Mas isso ainda não ajuda a responder à pergunta", disse o funcionário.
O algoritmo então lembra aos utilizadores que é apenas um assistente de IA e que eles precisam de verificar o trabalho.
Questionado sobre os erros, além das alucinações, Walsh disse: "Algumas dessas respostas não me surpreendem de forma alguma. Mas o importante é como lidamos com essas lacunas na capacidade" da Elsa e dos seus utilizadores.
Isso inclui formações e novas funcionalidades, como as bibliotecas de documentos pessoais que serão lançadas em breve, acrescentou.
Walsh também disse que uma funcionalidade atual da Elsa, na qual os utilizadores podem clicar nos resumos para ver que partes de um documento a Elsa citou, pode servir como uma verificação para garantir que não inventou um estudo.
No entanto, isso agora aplica-se apenas quando a Elsa está a ser usada para extrair documentos internos. Até o momento, ela não pode se ligar, por exemplo, a artigos numa revista médica.
E saber se essas fontes são, de facto, as mais importantes também depende do utilizador e de como ele faz as perguntas, disse Walsh.
Walsh também afirmou que o problema das alucinações da Elsa pode ser mitigado fazendo perguntas mais precisas.
A Elsa também está a melhorar, insiste.
"Também estamos a ver que, à medida que os modelos de IA melhoram, o feedback também melhora."
Um impulso à IA com pouca supervisão
A discussão sobre a integração da inteligência artificial no trabalho das agências de saúde dos EUA já estava em andamento há algum tempo antes de a segunda administração Trump dar início aos esforços, mas a velocidade com que a Elsa entrou em uso foi incomum.
Alguns especialistas apontariam os esforços do governo para desenvolver planos de IA em 2018, quando o Pentágono começou a avaliar o seu potencial para a segurança nacional.
Parte desse projeto era investigar a sua utilização também na área da saúde, disse Hassan Tetteh, cirurgião torácico e ex-capitão da Marinha dos EUA que trabalhou no projeto em 2020.
Houve também esforços iniciais desse grupo liderado pelo Pentágono para conversar com aliados internacionais sobre padrões e regulamentações de IA, acrescentou Tetteh.
Na Europa, os países têm trabalhado juntos para estabelecer salvaguardas de IA.
Em 2024, a União Europeia aprovou e implementou a Lei de IA, uma lei "para proteger os direitos fundamentais, a democracia e o Estado de Direito" em torno do uso arriscado da IA, incluindo na área da saúde, ao mesmo tempo em que promove modelos transformacionais de IA.
Essas normas e proteções não existem nos EUA.
Um grupo de trabalho do governo formado durante a administração Biden para analisar o estabelecimento de regulamentações sobre o uso da IA, incluindo na área da saúde, foi dissolvido no ano passado: o seu mandato expirou e não foi renovado.
A Elsa chegou enquanto o Congresso debatia como abordar as leis sobre a regulamentação da IA. Embora as comissões do Congresso tenham realizado audiências sobre os riscos da IA, como modelos tendenciosos e ameaças à cibersegurança, o Congresso não aprovou nenhuma legislação substancial para regulamentar a IA.
Em junho, um grupo bipartidário de membros da Câmara dos Representantes apresentou uma legislação focada principalmente em manter o domínio dos EUA na corrida pela IA; no final daquele mês, dois senadores apresentaram um projeto de lei voltado para impedir o uso americano de IA "adversária" de governos estrangeiros, incluindo a China.
Outras iniciativas, como um projeto de lei que exigiria testes e supervisão regulatória para sistemas de IA de alto risco (muito semelhante às normas europeias), ficaram paralisadas.
Uma versão anterior do "One Big Beautiful Bill", o abrangente projeto de lei tributária e de gastos do presidente Donald Trump, teria incluído a primeira lei abrangente do Congresso sobre IA: uma moratória de 10 anos sobre a aplicação de regulamentações estaduais sobre a tecnologia. Mas o Senado rejeitou a disposição.
Trump, que fez do desenvolvimento e dos investimentos em IA uma prioridade máxima no seu segundo mandato, anunciou um futuro brilhante para a tecnologia. Num encontro sobre energia que decorreu na Pensilvânia na semana passada, Trumo disse aos participantes: "Estamos aqui hoje porque acreditamos que o destino dos Estados Unidos é dominar todos os setores e ser o primeiro em todas as tecnologias e isso inclui ser a superpotência número um do mundo em inteligência artificial".
Sem regulamentações federais, é difícil dizer como seria essa superpotência.
"A IA faz muitas coisas mas não é mágica", diz Jonathan Chen, professor assistente de medicina na Universidade de Stanford, que estudou o uso da IA em ambientes clínicos. Seria ótimo se ela pudesse ajudar os especialistas a detetar falsificação de dados ou fornecer análises rigorosas sobre a segurança dos pacientes, mas "esses problemas são muito mais complexos" do que o que uma máquina pode fazer, aponta Chen.
"É realmente como o Velho Oeste agora. A tecnologia avança tão rápido que é difícil até mesmo compreender exatamente o que ela é."
