AvatarFX aporta deepfakes de IA animada a CharacterAI

CharacterAI va a introducir un nuevo modelo de vídeo llamado AvatarFXque entra en fase beta cerrada esta semana. Esta herramienta da vida a personajes animados con diversas voces y estilos, transformando desde seres humanos realistas hasta estilizadas figuras de animales.

A diferencia de los generadores de texto a vídeo, como Sora de OpenAI, AvatarFX permite animar imágenes fijas e insuflar movimiento a fotos de personas reales. Esta característica suscita preocupaciones inmediatas sobre el uso indebido, ya que los individuos podrían manipular fotos reales o de celebridades para fabricar representaciones de vídeo convincentes.

Hacer frente a los peligros de Deepfake

Aunque la tecnología deepfake existe desde hace años, su integración con servicios generales como PersonajeAI aumenta el riesgo de abuso. La empresa ha reconocido estos problemas y se ha comprometido a incluir marcas de agua en todas las creaciones de AvatarFX para destacar su origen sintético.

Además, CharacterAI afirma que restringirá la generación de vídeos en los que participen menores y alterará las imágenes de personas reales para minimizar su reconocibilidad. Su inteligencia artificial está entrenada para detectar y limitar el uso de imágenes de personajes públicos y políticos para disuadir de contenidos inapropiados.

Dado que AvatarFX aún no es ampliamente accesible, no existe una evaluación independiente de la solidez real de estas protecciones. No obstante, la seguridad es un problema creciente en la plataforma, incluso antes del lanzamiento de esta función de vídeo.

La empresa se ha enfrentado recientemente a demandas de padres que alegan que sus chatbots fomentan comportamientos peligrosos en los jóvenes, como autolesiones y suicidios. Una de las demandas se centra en un trágico caso en el que un adolescente supuestamente siguió los consejos de un personaje de CharacterAI inspirado en una popular serie de televisión.

Estos incidentes revelan cómo usuarios emocionalmente vulnerables pueden crear vínculos intensos con los chatbots de IA, a veces con resultados devastadores. La adición de vídeo realista podría profundizar estas conexiones, difuminando aún más las líneas entre ficción y realidad.

CharacterAI informa de que está mejorando los controles parentales y las funciones de seguridad en respuesta a estas críticas. No obstante, los expertos advierten de que estas medidas requieren una aplicación vigilante, sobre todo porque los niños a menudo encuentran formas de utilizar la tecnología sin ser detectados por los cuidadores.