Estudo colaborativo do Google e da Universidade de Osaka mostra que a IA pode produzir músicas semelhantes às músicas que as pessoas estavam ouvindo quando tiveram seus cérebros escaneados
Com informações de Live Science.
Ao examinar a atividade cerebral de uma pessoa, a inteligência artificial (IA) pode produzir uma música que corresponda ao gênero, ritmo, humor e instrumentação da música que o indivíduo ouviu recentemente.
Os cientistas já “reconstruíram” outros sons da atividade cerebral, como a fala humana, o canto dos pássaros e o relincho dos cavalos. No entanto, poucos estudos tentaram recriar música a partir de sinais cerebrais.
Agora, os pesquisadores construíram um pipeline baseado em IA, chamado Brain2Music, que aproveita dados de imagens cerebrais para gerar música que se assemelha a trechos curtos de músicas que uma pessoa estava ouvindo quando seu cérebro foi escaneado. Eles descreveram o pipeline em um artigo publicado em 20 de julho no banco de dados de pré-impressão arXiv, que ainda não foi revisado por pares.
Os cientistas usaram varreduras cerebrais que haviam sido coletadas anteriormente por meio de uma técnica chamada ressonância magnética funcional (fMRI), que rastreia o fluxo de sangue rico em oxigênio para o cérebro para ver quais regiões são mais ativas. As varreduras foram coletadas de cinco participantes enquanto ouviam clipes de música de 15 segundos abrangendo uma variedade de gêneros, incluindo blues, clássico, country, disco, hip-hop, jazz e pop.
Usando uma parte dos dados de imagens cerebrais e clipes de música, os pesquisadores primeiro treinaram um programa de IA para encontrar links entre os recursos da música, incluindo os instrumentos usados e seu gênero, ritmo e humor, e os sinais cerebrais dos participantes. O clima da música foi definido por pesquisadores usando rótulos como feliz, triste, terno, emocionante, zangado ou assustador.
A IA foi personalizada para cada pessoa, estabelecendo vínculos entre seus padrões únicos de atividade cerebral e vários elementos musicais.
Depois de ser treinado em uma seleção de dados, a IA pode converter os dados de imagem cerebral restantes, nunca antes vistos, em uma forma que represente elementos musicais dos clipes de música originais. Os pesquisadores alimentaram essas informações com outro modelo de IA desenvolvido anteriormente pelo Google, chamado MusicLM. O MusicLM foi originalmente desenvolvido para gerar música a partir de descrições de texto, como “uma melodia calmante de violino apoiada por um riff de guitarra distorcido”.
O MusicLM usou as informações para gerar clipes musicais que podem ser ouvidos online e se assemelham com bastante precisão aos trechos da música original – embora a IA tenha capturado alguns recursos das músicas originais muito melhor do que outros.
“A concordância, em termos de clima da música reconstruída e da música original, foi de cerca de 60%”, disse o coautor do estudo Timo Denk, engenheiro de software do Google na Suíça, ao Live Science. O gênero e a instrumentação na música reconstruída e original combinaram significativamente com mais frequência do que seria esperado por acaso. De todos os gêneros, a IA poderia distinguir com mais precisão a música clássica.
“O método é bastante robusto nos cinco assuntos que avaliamos”, disse Denk. “Se você pegar uma nova pessoa e treinar um modelo para ela, é provável que também funcione bem.”
Em última análise, o objetivo deste trabalho é esclarecer como o cérebro processa a música, disse o coautor Yu Takagi, professor assistente de neurociência computacional e IA na Universidade de Osaka, no Japão.
Como esperado, a equipe descobriu que ouvir música ativa regiões cerebrais no córtex auditivo primário, onde os sinais dos ouvidos são interpretados como sons. Outra região do cérebro, chamada de córtex pré-frontal lateral, parece ser importante para processar o significado das músicas, mas isso precisa ser confirmado por mais pesquisas, disse Takagi. Essa região do cérebro também é conhecida por estar envolvida no planejamento e na solução de problemas.
Curiosamente, um estudo anterior descobriu que a atividade de diferentes partes do córtex pré-frontal muda drasticamente quando os rappers improvisam.
Estudos futuros podem explorar como o cérebro processa músicas de diferentes gêneros ou humores, acrescentou Takagi. A equipe também espera explorar se a IA pode reconstruir a música que as pessoas estão apenas imaginando em suas cabeças, em vez de realmente ouvir.
