Logo Computerhoy.com

Deepfakes que imitan voces de famosos para crear audios con comentarios violentos, la última moda en 4chan

Deepfakes para imitar voces de famosos y crear audios con comentarios violentos, la última moda en 4chan
Foto del redactor Carolina González ValenzuelaFoto del redactor Carolina González Valenzuela

Redactora de Tecnología

Según publica ElevenLabs, empresa que ha desarrollado una herramienta para recrear voces, usuarios de 4chan han usado la versión beta para reproducir voces de famosos y emitir comentarios racistas y homofóbicos.

Las voces generadas por inteligencia artificial (IA) son uno de los fenómenos más singulares de los últimos años. Pese a que muchos han descubierto cómo darle un uso productivo, otros tantos están haciendo un uso indebido de esta tecnología: las voces deepfake.

Como ya hemos explicado en otras ocasiones, un deepfake es una imitación de un vídeo, audio o foto que parece auténtica pero que es el resultado de la manipulación de la tecnología de inteligencia artificial (IA). 

Con el avance de la tecnología de IA, crear deepfakes es cada vez más fácil. Para producir una voz deepfake, basta con grabar tu voz durante un tiempo y luego enviar la grabación resultante para su procesamiento a una empresa o aplicación que preste ese servicio.

Pues bien, en este caso, ElevenLabs, fundada por ex empleados de Google y Palantir, está denunciando el uso de su herramienta beta para usos bastante deplorables. Miembros de 4chan parecen haber utilizado la aplicación para generar voces que suenan como Joe Rogan, Ben Sharpio y Emma Watson.

"Fin de semana de locos. Gracias a todos por probar nuestra plataforma Beta. Aunque vemos que nuestra tecnología se aplica de forma abrumadora para un uso positivo, también vemos un número creciente de casos de uso indebido de clonación de voz", explicaba ElevenLabs en un reciente tuit.

Era de esperar: la inteligencia artificial usándose para hacer lo que no se debe y engañar a los usuarios

Tal y como comentan en Vice, se han subido varios clips a 4chan (el forocoches japonés) usando la herramienta para que, por poner un ejemplo, parezca que Emma Watson está leyendo un fragmento de Mein Kampf. Puedes encontrar casos tan delicados como este, aunque otros son de lo más absurdo, pasando por lo transfóbico, lo homofóbico y lo racista. 

Ahora que estos sistemas de inteligencia artificial sólo necesitan una pequeña cantidad de audio para entrenarse con el fin de crear una voz artificial viable que imite el estilo de habla y el tono de un individuo, la oportunidad de hacer daño aumenta. 

Y es que, si antes los sistemas requerían decenas o incluso cientos de horas de sonido, ahora se pueden generar voces realistas a partir de unos pocos minutos de contenido de audio. 

2001 Una odisea del espacio

El verdadero temor es que la gente se deje engañar y actúe o piense ante algo que es falso porque suena como si viniera de alguien real. Algunas personas intentan encontrar una solución técnica para protegernos. Sin embargo, una solución técnica no será 100 % infalible. 

ElevenLabs, por su lado, ha añadido que, aunque puede rastrear cualquier audio generado por inteligencia artificial hasta un usuario concreto, está estudiando más medidas de protección. Entre ellas, exigir información de pago o una "identificación de identidad completa" para realizar la clonación de voz, o verificar manualmente cada solicitud de clonación de voz.

Foto del redactor Carolina González ValenzuelaFoto del redactor Carolina González Valenzuela

Redactora de Tecnología

Redactora de Tecnología, especializada en inteligencia artificial y ciberseguridad.

Conoce cómo trabajamos en Computerhoy.