Parece não haver fim para as previsões de nuvens de tempestade quando os computadores finalmente decidem resolver o problema com suas próprias mãos, ou com seus próprios processadores.
“O desenvolvimento da inteligência artificial pode significar o fim da raça humana”, alertou Stephen Hawking.
“[AI] me assusta muito. É capaz de muito mais do que quase todo mundo sabe, e a taxa de melhoria é exponencial”, disse o cofundador da OpenAI, Elon Musk.
As tecnologias de IA apresentam “profundos riscos para a sociedade e a humanidade”, de acordo com uma carta assinada no início deste ano por mais de 1.000 líderes de tecnologia pedindo uma moratória na pesquisa de IA até que se entenda mais sobre os riscos potenciais.
“Precisamos ter muito cuidado”, disse Yoshua Bengio, professor e pesquisador de IA da Universidade de Montreal.
Embora não desconsiderando a promessa de um bem tremendo que a IA trará para uma ampla gama de setores da indústria, economia, educação, ciência, agricultura, medicina e pesquisa, os relatórios da mídia estão cada vez mais soando um alarme sobre as consequências não intencionais dessa tecnologia disruptiva em expansão.
Uma área de preocupação é o comportamento emergente, definido como uma série de interações imprevistas e não programadas dentro de um sistema decorrente de comportamentos programados mais simples por partes individuais.
Os pesquisadores dizem que evidências desse comportamento são vistas em modelos que aprendem idiomas por conta própria, quando sistemas treinados para jogar xadrez e Go geram estratégias originais para avançar ou quando robôs exibem variabilidade em padrões de movimento que não foram originalmente programados.
“Apesar de tentar esperar surpresas, estou surpreso com as coisas que esses modelos podem fazer”, disse o cientista da computação do Google, Ethan Dyer, respondendo a um experimento de IA no qual um computador inesperadamente deduziu sozinho o título de um filme baseado em uma string de emoticons.
Mas o próprio Dyer pode se surpreender ao saber que uma equipe de pesquisa da Universidade de Stanford está jogando água fria em relatos de comportamento emergente.
Ryan Schaeffer, Brando Miranda e Sanmi Koyejo disseram em um artigo que as evidências de comportamentos emergentes são baseadas em estatísticas que provavelmente foram mal interpretadas.
“Nossa mensagem é que habilidades emergentes anteriormente reivindicadas… podem provavelmente ser uma miragem induzida por análises de pesquisadores”, disseram eles.
Em seu artigo publicado no servidor de pré-impressão arXiv, os pesquisadores explicaram que as habilidades de grandes modelos de linguagem são medidas pela determinação da porcentagem de suas previsões corretas.
As análises estatísticas podem ser representadas de várias maneiras. Os pesquisadores afirmam que, quando os resultados são relatados em métricas não lineares ou descontínuas, eles parecem mostrar mudanças nítidas e imprevisíveis que são erroneamente interpretadas como indicadores de comportamento emergente.
No entanto, um meio alternativo de medir os dados idênticos usando métricas lineares mostra mudanças “suaves e contínuas” que, ao contrário da medida anterior, revelam um comportamento previsível – não emergente.
A equipe de Stanford acrescentou que a falha em usar amostras grandes o suficiente também contribui para conclusões errôneas.
“As reivindicações existentes de habilidades emergentes são criações das análises do pesquisador, não mudanças fundamentais no comportamento do modelo em tarefas específicas”, disse a equipe.
Eles acrescentaram que, embora a metodologia em pesquisas anteriores provavelmente tenha produzido conclusões enganosas, “nada neste artigo deve ser interpretado como afirmando que grandes modelos de linguagem não podem exibir habilidades emergentes”, sugerindo que a metodologia adequada pode revelar tais capacidades.
“O principal argumento”, disseram os pesquisadores, “é que para uma tarefa fixa e uma família de modelos fixos , o pesquisador pode escolher uma métrica para criar uma habilidade emergente ou escolher uma métrica para eliminar uma habilidade emergente”.
Ou, como afirmou um comentarista notável: “A saída do algoritmo é tão boa quanto os parâmetros que seus criadores definiram, o que significa que há espaço para possíveis vieses na própria IA”.
E quem foi esse notável comentarista? ChatGPT do Microsoft Bing.
Mais informações: Rylan Schaeffer et al, Are Emergent Abilities of Large Language Models a Mirage?, arXiv (2023). DOI: 10.48550/arxiv.2304.15004
