IA permite que músico cante novamente após perder a voz
Tecnologia & Sociedade

IA permite que músico cante novamente após perder a voz

Patrick Darling foi diagnosticado com ELA e usou uma ferramenta da ElevenLabs para interpretar uma canção com ex-companheiros de banda

Há lágrimas na plateia quando a música de Patrick Darling começa a tocar. É uma canção comovente escrita para o bisavô, que ele nunca teve a oportunidade de conhecer. Mas essa apresentação é emocionante por outro motivo: é a primeira vez que Darling sobe ao palco com os companheiros de banda desde que perdeu a capacidade de cantar, há dois anos.

Mini Banner - Assine a MIT Technology Review

O músico de 32 anos foi diagnosticado com Esclerose Lateral Amiotrófica (ELA) aos 29 anos. Assim como outras doenças do neurônio motor (DNM), a condição afeta os nervos responsáveis pelos músculos do corpo. Pessoas com ELA acabam perdendo a capacidade de controlar os músculos, inclusive aqueles que permitem se movimentar, falar e respirar.

A última apresentação de Darling em um palco havia sido há mais de dois anos. Naquela época, ele já tinha perdido a capacidade de ficar em pé e tocar instrumentos, além de enfrentar dificuldades para cantar ou falar. Recentemente, porém, ele conseguiu recriar a voz que havia perdido, usando uma ferramenta de IA treinada com trechos de gravações antigas. Outra ferramenta de IA permitiu que ele usasse esse “clone de voz” para compor novas músicas. Agora, Darling consegue fazer música novamente.

“Infelizmente, perdi a capacidade de cantar e tocar meus instrumentos”, disse Darling no palco do evento, realizado em Londres no início do ano, usando o clone de voz. “Apesar disso, hoje ainda passo a maior parte do meu tempo compondo e produzindo minhas músicas. Fazer isso parece mais importante para mim do que nunca.”

Perdendo a voz

Darling diz que é músico e compositor desde os 14 anos, aproximadamente. “Aprendi a tocar baixo, violão, piano, escaleta, bandolim e banjo tenor”, disse ele no evento. “Mas minha maior paixão era cantar.”

Ele conheceu o companheiro de banda Nick Cocking há mais de 10 anos, quando ainda era universitário. Pouco depois, Darling entrou para o grupo de folk irlandês The Ceili House Band, como cantor e guitarrista, e o primeiro show dos dois juntos aconteceu em abril de 2014. Darling “elevou o nível musical do grupo”, diz Cocking.

Mas, alguns anos atrás, Cocking e os outros integrantes da banda começaram a perceber mudanças. Ele se lembra de uma noite em que a banda precisou atravessar a cidade de Cardiff a pé, sob chuva: “Darling não parava de escorregar e cair, tropeçando em placas de pavimentação e coisas assim”, explicou Cocking.

Na época, não deu muita importância, mas os sintomas de Darling continuaram piorando. A doença afetou primeiro as pernas e, em agosto de 2023, ele começou a precisar se sentar durante as apresentações. Depois, passou a perder o uso das mãos. “No fim, ele não conseguia mais tocar violão nem banjo”, relembra Cocking.

Em abril de 2024, Darling já tinha dificuldade para falar e respirar ao mesmo tempo. Para aquela apresentação, a banda o carregou até o palco. “Ele me ligou no dia seguinte e disse que não conseguia mais”, diz Cocking, com a voz embargada. “Em junho de 2024, tinha acabado.” Foi a última vez que a banda tocou junta.

Recriando uma voz

Darling foi colocado em contato com uma fonoaudióloga que levantou a possibilidade de fazer um “armazenamento” da voz. Pessoas que estão perdendo a capacidade de falar podem optar por fazer gravações que, posteriormente, podem ser acionadas por texto digitado, seja com as mãos ou, talvez, usando um dispositivo controlado pelos movimentos dos olhos.

Alguns usuários consideram que essas ferramentas produzem vozes robóticas, mas Darling tinha outro problema. “Naquela altura, minha voz já tinha mudado”, disse ele no evento. “Parecia que estávamos salvando a voz errada.”

Então, outra fonoaudióloga apresentou a Darling uma tecnologia diferente. Richard Cave é fonoaudiólogo e pesquisador da University College London, localizada no centro da capital inglesa. Ele também é consultor da ElevenLabs, uma empresa de IA que desenvolve agentes e ferramentas de áudio, fala, vídeo e música. Uma dessas ferramentas consegue criar “clones de voz”, imitações realistas de vozes reais que podem ser geradas a partir de minutos, ou até segundos, de uma gravação da voz de uma pessoa.

No ano passado, a ElevenLabs lançou um programa de impacto com a promessa de fornecer licenças gratuitas dessas ferramentas para pessoas que perderam a voz em decorrência da ELA ou de outras doenças, como câncer de cabeça e pescoço ou acidente vascular cerebral.

A ferramenta já está ajudando alguns desses usuários. “Não estamos realmente melhorando a velocidade com que eles conseguem se comunicar nem todas as dificuldades físicas enfrentadas por pessoas com DNM, relacionadas à alimentação e à respiração”, diz Gabi Leibowitz, fonoaudióloga responsável pelo programa. “Mas o que estamos fazendo é dar a elas uma maneira de criar novamente, de prosperar.” Os usuários conseguem permanecer em seus empregos por mais tempo e “continuar fazendo as coisas que os fazem se sentir seres humanos”, afirma ela.

Cave trabalhou com Darling para usar a ferramenta na recriação de sua antiga voz falada a partir de gravações mais antigas.

“Na primeira vez que ouvi a voz, achei incrível”, disse Darling no evento, usando o clone de voz. “Soava exatamente como eu soava antes e, literalmente, não seria possível perceber a diferença”, afirmou. “Não vou dizer qual foi a primeira palavra que fiz minha nova voz pronunciar, mas posso dizer que ela começava com ‘f’ e terminava com ‘k’” (aqui o cantor faz referência a um palavrão da língua inglesa).

Recriar a voz cantada não foi tão fácil. A ferramenta normalmente precisa de cerca de 10 minutos de áudio nítido para gerar um clone. “Eu não tinha nenhuma gravação de alta qualidade de mim mesmo cantando”, disse Darling. “Tivemos que usar o áudio de vídeos feitos nos celulares das pessoas, gravados em pubs barulhentos e algumas gravações de mim cantando na minha cozinha”. Ainda assim, de acordo com Cave, esses trechos foram suficientes para criar uma “versão sintética da voz cantada de Darling”.

Nas gravações, a voz de Darling soava um pouco rouca e ele “desafinava um pouco” em algumas notas, conta o fonoaudiólogo e pesquisador. O clone de voz tem as mesmas características. Ele afirma que não soa perfeito, soa humano.

“A voz da ElevenLabs que criamos é maravilhosa”, disse Darling no evento. “Definitivamente soa como eu, só parece uma versão diferente de mim.”

A ElevenLabs também desenvolveu um gerador de música por IA chamado Eleven Music. A ferramenta permite que os usuários componham faixas usando comandos de texto para escolher o estilo musical. Vários artistas conhecidos também fizeram parcerias com a empresa para licenciar clones de IA de suas vozes, incluindo o ator Michael Caine, cujo clone de voz está sendo usado para narrar um próximo documentário da ElevenLabs. No mês passado, a empresa lançou um álbum com 11 faixas criadas com a ferramenta. “A faixa da Liza Minnelli é muito boa”, diz Cave.

O Eleven Music consegue gerar uma música em um minuto, mas Darling e Cave passaram cerca de seis semanas refinando a canção. Usando comandos de texto, qualquer usuário pode “criar músicas e adicionar letras no estilo que quiser”, explica o pesquisador. Darling gosta de folk irlandês, mas Cave também trabalhou com um homem na Colômbia que está criando música folclórica colombiana (atualmente, a ferramenta da ElevenLabs está disponível em 74 idiomas).

De volta ao palco

Em janeiro, Cocking recebeu uma ligação de Cave, que enviou a ele a faixa concluída de Darling. “Ouvi as duas ou três primeiras palavras e tive que desligar”, diz. “Eu estava completamente arrasado, chorando. Precisei tentar umas cinco ou seis vezes até conseguir ouvir a faixa inteira.”

Darling e Cave apresentaram a faixa ao vivo no encontro da ElevenLabs em Londres, em fevereiro. Para isso, Cocking e Hari Ma, companheira de banda, prepararam, cada um, partes de acompanhamento para tocar no bandolim e no violino. Eles tiveram algumas semanas para ensaiar antes de subir ao palco com Darling, dois anos depois da última apresentação que fizeram juntos.

“Eu o levei na cadeira de rodas até o palco e nenhum de nós conseguia acreditar que aquilo estava acontecendo”, diz Cave. “Ele estava radiante.” A música foi reproduzida enquanto Darling permanecia no palco e Cocking e Ma tocaram os instrumentos ao vivo.

Cocking e Cave dizem que Darling pretende continuar usando as ferramentas para fazer música. Mesmo reconhecendo que a natureza da ELA dificulta planos de longo prazo, Cocking espera se apresentar novamente com Darling.

“É tão agridoce”, diz Cocking. “Mas subir ao palco e ver Patrick ali me encheu de uma alegria absoluta. Sei que Patrick também gostou muito. Temos conversado sobre isso […] Ele estava muito, muito orgulhoso.”

Último vídeo

Nossos tópicos