Plataforma virtual permite colaboração musical em tempo real com avatares

Pesquisadores estão buscando trazer a magia de tocar música pessoalmente para o mundo virtual. 

Pela University of Birmingham Enterprise, com informações da ISPR. Contato do autor: Ruth C Ashton, rcashton@bham.ac.uk, publicado originalmente em 2 de janeiro de 2025.

A plataforma Joint Active Music Sessions (JAMS), criada na Universidade de Birmingham, usa avatares criados por músicos individuais e compartilhados com outros músicos para criar concertos virtuais, sessões de prática ou aprimorar o ensino de música.

O Dr. Massimiliano (Max) Di Luca da Universidade de Birmingham explica: “Um músico grava a si mesmo e envia o vídeo para outro músico. O software cria um avatar responsivo que toca em perfeita sincronia com o parceiro musical. Tudo o que você precisa é de um iPhone e um headset de VR para reunir músicos para apresentação, prática ou ensino.”

A plataforma JAMS tem o potencial de desenvolver uma rede social como o Spotify ou o Myspace, onde músicos podem interagir para aprender, se conectar, se apresentar, desenvolver novas músicas e criar shows virtuais que alcancem públicos maiores.

O JAMS tem o sabor distinto de uma plataforma desenvolvida com e para músicos, sejam eles bem-sucedidos ou em estágio inicial de aprendizado. Os avatares capturam os momentos não ditos que são essenciais na performance musical, permitindo que parceiros de prática ou artistas observem a ponta do arco do violinista ou façam contato visual em pontos críticos da peça. Eles também têm adaptabilidade em tempo real e são dinamicamente responsivos ao músico no headset de VR, proporcionando assim uma experiência única e personalizada.

A entrega por headset VR recria o mundo do músico e fornece um cenário imersivo com uma renderização realista de outros músicos e dicas usadas no cenário da vida real. Ele também mantém os rostos no nível dos olhos, o que aumenta a sensação de conexão.

Criticamente, não há ‘latência’ na experiência do usuário JAMS. Dr. Di Luca explica: “Latência é o atraso entre uma produção sonora e quando ela chega ao ouvinte, e os artistas podem começar a sentir os efeitos da latência em até 10 milissegundos, tirando-os do ritmo, quebrando sua concentração ou distraindo-os dos aspectos técnicos da execução.”

O JAMS é sustentado por um algoritmo criado durante o projeto Augmented Reality Music Ensemble ( ARME ), que captura ajustes de tempo dinâmicos entre os artistas. O projeto reuniu pesquisadores de seis disciplinas (psicologia, ciência da computação, engenharia, música, ciência do esporte e matemática), cuja contribuição concretizou a visão de construir um modelo computacional que reproduz, com precisão, os movimentos corporais de um músico e entrega um avatar que atende às necessidades dos co-artistas.

“Estamos buscando trazer a magia de tocar música pessoalmente para o mundo virtual. Você pode adaptar o avatar com o qual outras pessoas tocam, ou aprender a tocar melhor praticando com um maestro.”

O JAMS permite que músicos se apresentem em um grupo virtual interativo e pode ser adaptado para sincronização labial ou dublagem em mídia. Ele também pode reunir dados exclusivos de usuários para criar gêmeos digitais de músicos, oferecendo oportunidades de licenciamento para várias aplicações e exploração adicional de catálogos e direitos de publicação.

Consultas comerciais devem ser direcionadas ao site do projeto ARME em:  https://arme-project.co.uk/contact; visite-os nas redes sociais: LinkedIn.