O ChatGPT é suficientemente inteligente para passar em exames dos cursos de Direito e Gestão de prestigiadas universidades norte-americanas - embora não com notas particularmente altas.
A nova e poderosa ferramenta de chatbot [programa desenhado para simular uma conversa com utilizadores humanos] da Inteligência Artificial (IA) passou recentemente em quatro cursos da conhecida Universidade do Minnesota e outro exame da também famosa Wharton School da Universidade da Pensilvânia, de acordo com professores destas duas instituições.
Para testar como o ChatGPT poderia gerar respostas nos exames dos quatro cursos, os professores da Faculdade de Direito da Universidade de Minnesota avaliaram os exames às cegas. Depois de responder a 95 perguntas de escolha múltipla e a 12 questões dissertativas, o bot [robô] teve um desempenho médio, ao nível de um aluno C+, obtendo uma nota baixa mas que garantia passagem nos quatro cursos.
O ChatGPT obteve uma nota melhor num exame do curso de Gestão de Empresas da Wharton, onde obteve uma nota de B a B-. Num relatório a detalhar o desempenho, Christian Terwiesch, professor de Gestão daquela universidade, disse que o ChatGPT fez "um trabalho espantoso" ao responder a questões básicas de gestão de operações e análise de processos, mas teve dificuldades com solicitações mais avançadas e cometeu "erros surpreendentes" com matemática básica.
"Estes erros podem ter uma dimensão enorme", escreveu.
Os resultados dos testes surgem quando um número crescente de escolas e professores expressam preocupações sobre o impacto do ChatGPT nos alunos e na sua capacidade de fazer batota nos trabalhos que lhes são pedidos. Alguns professores estão já a repensar estas tarefas por causa do ChatGPT, mesmo que ainda não seja claro o quão generalizada é a utilização desta ferramenta entre os estudantes e quão prejudicial pode ser para a sua aprendizagem.
Desde que foi disponibilizado em finais de novembro, o ChatGPT tem sido utilizado para gerar dissertações, histórias e letras de músicas em resposta a pedidos dos utilizadores. Elaborou também resumos de trabalhos de investigação que enganaram alguns cientistas. E alguns CEO utilizaram-no mesmo para escrever e-mails ou fazer trabalhos de contabilidade.
O ChatGPT é alimentado por grandes quantidades de dados online para gerar respostas aos pedidos dos utilizadores. Embora tenha ganhado força entre os utilizadores, também levantou algumas preocupações, incluindo sobre imprecisões e o seu potencial para perpetuar preconceitos e espalhar desinformação.
Jon Choi, um dos professores de Direito da Universidade do Minnesota, disse à CNN que o objetivo dos testes é explorar o potencial do ChatGPT para ajudar os advogados na sua prática e ajudar os alunos em exames, seja ou não permitido pelos seus professores, porque as respostas frequentemente imitam o que os advogados escrevem na vida real.
"O ChatGPT debateu-se com os componentes mais clássicos dos exames de Direito, como identificar potenciais questões legais e uma análise profunda aplicando regras jurídicas aos factos de um caso", observou Choi. "Mas o ChatGPT pode ser muito útil na produção de um primeiro esboço que um aluno poderia depois refinar."
Para Choi, a colaboração humano-IA é o caso de uso mais promissor para o ChatGPT e tecnologia semelhante.
"O meu forte palpite é que os assistentes de IA se tornarão ferramentas padrão para os advogados num futuro próximo, e as faculdades de Direito deveriam preparar os seus estudantes para essa eventualidade", antecipou. "Claro que se os professores de Direito quiserem continuar a testar a simples recordação de regras e doutrinas jurídicas terão de impor restrições como proibir a internet durante os exames."
Da mesma forma, Terwiesch da Wharton descobriu que o chatbot era "notavelmente bom" em modificar as suas respostas após sugestão humana, como refazer as respostas após apontado um erro, mostrando potencial para as pessoas trabalharem em conjunto com a IA.
No entanto, a curto prazo, permanece a questão de saber se e como os estudantes devem utilizar o ChatGPT. As escolas públicas de Nova Iorque e Seattle, por exemplo, já proibiram alunos e professores de utilizar o ChatGPT nas redes e dispositivos do distrito.
Considerando que o ChatGPT teve um desempenho acima da média nos exames, Terwiesch concorda que deveriam ser impostas restrições aos alunos enquanto estes estivessem a fazer os testes.
"As proibições são necessárias", defendeu. "Afinal, quando se dá um diploma a um médico, quer-se que ele saiba de Medicina, não como usar um bot. O mesmo se aplica à certificação de outras competências, incluindo Direito e Gestão."
Mas Terwiesch acredita que esta tecnologia tem, em última análise, lugar na sala de aula. "Se tudo o que conseguirmos for o mesmo sistema educacional de antes, desperdiçámos a oportunidade incrível que vem com o ChatGPT", argumentou.
