El fenómeno del racismo, del antisemitismo y de los deepfakes generados por la inteligencia artificial en las redes sociales en Europa plantea preocupaciones crecientes. Las plataformas, a pesar de sus esfuerzos declarados por moderar los contenidos de odio, muestran lagunas significativas en la aplicación de sus propias políticas. Los informes indican que muchos contenidos, incluidos discursos de odio flagrantes, continúan circulando sin ser eliminados, lo que alimenta una cultura de odio en línea.
Racismo en las redes sociales
El racismo en línea toma diversas formas, desde comentarios de odio hasta ataques directos contra individuos o grupos. Las redes sociales como Facebook y Instagram han sido criticadas por su incapacidad para manejar estos contenidos de manera efectiva. Un informe del Appeals Centre Europe (ACE) reveló que en el 70 % de los casos, los contenidos considerados como discursos de odio fueron dejados en línea, lo que ilustra una falta de coherencia en la moderación. Esta situación es particularmente preocupante para las comunidades que ya sufren discriminaciones en la vida real.
Antisemitismo en línea
De igual manera, el extremismo antisemita sigue en aumento en las redes sociales. Videos y mensajes de odio, a menudo compartidos por influencers, continúan circulando libremente. ACE ha constatado que contenidos que violan las políticas anti-odio de YouTube, como los videos antisemitas, siguen disponibles a pesar de los informes. Esto plantea preguntas importantes sobre la responsabilidad de las plataformas frente al aumento de discursos antisemitas, especialmente en contextos sensibles como las rivalidades políticas y los conflictos históricos.
Impacto de los deepfakes y de la IA
Los deepfakes, alimentados por tecnologías de inteligencia artificial, también representan un riesgo adicional. Estos contenidos manipulados pueden ser utilizados para propagar desinformación, a menudo con fines xenófobos o de odio. Por ejemplo, algunos videos generados por la IA sobre conflictos, como el de Rusia y Ucrania, han sido subidos a pesar de violaciones de las políticas de TikTok. Esta dificultad para detectar y eliminar los deepfakes contribuye a un entorno en línea donde la desinformación y el odio prosperan.
Un aumento de apelaciones y contenciones
Ante la inacción de las plataformas, los usuarios europeos han comenzado a movilizarse. ACE ha registrado más de 30,000 apelaciones, con una notable concentración en Francia. Esta tendencia muestra que los usuarios ya no aceptan pasivamente las decisiones de las plataformas. Sin embargo, no todas las apelaciones se refieren a discursos de odio; casos de eliminación injustificada, como el de un fotógrafo cuyas obras fueron eliminadas por razones de desnudez, añaden una capa de complejidad a la cuestión de la moderación.
Una situación alarmante sobre las políticas de moderación
El informe de ACE destaca que las plataformas de redes sociales no cumplen sistemáticamente con sus propias normas. En más de dos tercios de las decisiones relacionadas con discursos de odio, ACE ha observado que contenidos problemáticos permanecían en línea, lo que cuestiona la eficacia de los sistemas de moderación existentes. La falta de rigor en la aplicación de estas reglas puede crear un clima de odio e intimidación en línea, que tiene consecuencias reales para las personas y comunidades afectadas.
Estos problemas plantean preguntas fundamentales sobre el futuro de las redes sociales y la necesidad de reformas para combatir eficazmente el odio en línea. Artículos de referencia, como los recientes trabajos disponibles en SAFIG, muestran que la persistencia del odio en estas plataformas exige atención urgente y acciones concretas para proteger a los usuarios y promover un entorno en línea más seguro y respetuoso.
