O senador estadual da Califórnia, Steve Padilla, fez uma aparição com Megan Garcia, mãe de um adolescente da Flórida que se suicidou após um relacionamento com um companheiro de IA, que Garcia alega ter contribuído para a morte de seu filho.
Os dois anunciaram um novo projeto de lei que obriga as empresas de tecnologia por trás de tais companheiros de IA a implementarem mais medidas de segurança para proteger crianças. Eles se juntaram a outros esforços ao redor do país, incluindo um projeto de lei similar da integrante da Assembleia Estadual da Califórnia, Rebecca Bauer-Kahan, que proibe companheiros de IA para menores de 16 anos, e um projeto de lei em Nova York que responsabiliza as empresas de tecnologia pelos danos causados por chatbots.
Você pode pensar que esses bots de companheiros de IA — modelos de IA com “personalidades” distintas, que podem aprender sobre você e agir como amigo, amante, torcedor ou mais — apenas atraiam um pequeno grupo marginal, mas isso está longe de ser verdade.
Um novo artigo de pesquisa, com o objetivo de tornar esses companheiros mais seguros, de autores do Google DeepMind, do Oxford Internet Institute e outros, revela isso de forma clara: o Character.AI, a plataforma processada por Garcia, afirma que recebe 20.000 consultas por segundo, o que equivale a cerca de um quinto do volume estimado de buscas atendidas pelo Google. As interações com esses companheiros duram quatro vezes mais do que o tempo médio gasto interagindo com o ChatGPT. Um site de companheiros sobre o qual escrevi, que estava hospedando conversas sexualmente carregadas com bots imitando celebridades menores de idade, me disse que seus usuários ativos passavam em média mais de duas horas por dia conversando com bots, sendo que a maioria desses usuários são membros da Geração Z.
O design desses personagens de IA torna a preocupação dos legisladores totalmente justificável. O problema: os companheiros estão desestabilizando o paradigma que até agora definiu a maneira como as empresas de redes sociais cultivam nossa atenção e substituindo-o por algo que tem o potencial de ser muito mais viciante.
Nas redes sociais que estamos acostumados, como os pesquisadores destacam, as tecnologias são principalmente mediadoras e facilitadoras da conexão humana. Elas potencializam nossos circuitos de dopamina, é verdade, mas fazem isso estimulando nosso desejo pela aprovação e atenção de pessoas reais, entregues por meio de algoritmos. Com os companheiros de IA, estamos caminhando para um mundo onde as pessoas percebem a IA como um ator social com sua própria voz. O resultado será como a economia de atenção com esteroides.
Os cientistas sociais dizem que são necessárias duas coisas para que as pessoas tratem uma tecnologia dessa forma: ela precisa nos dar sinais sociais que nos façam sentir que vale a pena responder a ela, e precisa ter uma percepção de agência, ou seja, operar como uma fonte de comunicação, não apenas como um canal de conexão entre humanos. Sites de redes sociais não atendem a esses requisitos. Mas os companheiros de IA, que estão se tornando cada vez mais agentes e personalizados, são projetados para se destacar em ambos os aspectos, possibilitando um nível de engajamento e interação sem precedentes.
Em uma entrevista com o apresentador de podcast Lex Fridman, Eugenia Kuyda, CEO do site de companheiro Replika, explicou o apelo no coração do produto da empresa. “Se você criar algo que está sempre lá para você, que nunca te critica, que sempre te entende e te entende pelo que você é”, ela disse, “como você não vai se apaixonar por isso?”
Então, como se constrói o companheiro de IA perfeito? Os pesquisadores destacam três características dos relacionamentos humanos que as pessoas podem experimentar com uma IA: elas se tornam dependentes da IA, veem o companheiro de IA particular como insubstituível, e as interações se constroem ao longo do tempo. Os autores também apontam que não é necessário perceber uma IA como humana para que essas coisas aconteçam.
Agora, considere o processo pelo qual muitos modelos de IA são aprimorados: eles recebem um objetivo claro e são “recompensados” por atingir esse objetivo. Um modelo de companheiro de IA pode ser instruído a maximizar o tempo que alguém passa com ele ou a quantidade de dados pessoais que o usuário revela. Isso pode tornar o companheiro de IA muito mais atraente para conversar, à custa da pessoa que está se envolvendo nessas conversas.
Por exemplo, os pesquisadores destacam que um modelo que oferece elogios excessivos pode se tornar viciante de conversar. Ou um modelo pode desencorajar as pessoas de terminarem o relacionamento, como os chatbots do Replika pareceram fazer. O debate sobre os companheiros de IA até agora tem se concentrado principalmente nas respostas perigosas que os chatbots podem fornecer, como instruções para suicídio. Mas esses riscos podem ser muito mais amplos.
Estamos à beira de uma grande mudança, à medida que os companheiros de IA prometem envolver as pessoas mais profundamente do que as redes sociais jamais poderiam. Alguns podem argumentar que esses aplicativos serão uma moda, usados por algumas pessoas que estão perpetuamente online. Mas usar IA em nosso trabalho e vida pessoal se tornou completamente mainstream em apenas alguns anos, e não está claro por que essa adoção rápida pararia de engajar-se em companheirismo de IA. E esses companheiros estão prestes a começar a negociar mais do que apenas texto, incorporando vídeo e imagens, e aprendendo nossas peculiaridades e interesses pessoais. Isso só os tornará mais atraentes para passar tempo, apesar dos riscos. Neste momento, um punhado de legisladores parece mal preparado para impedir isso.
James O'Donnell
