Era 2022 cuando Cai, entonces de 16 años, deslizaba rápidamente las imágenes y mensajes en la pantalla de su teléfono. Dice que uno de los primeros videos que vio en su lista de redes sociales fue uno de un tierno perro.
Cuenta que “de la nada” le fueron recomendados videos de alguien siendo atropellado por un automóvil, un monólogo de un influencer compartiendo opiniones misóginas, y otros de peleas violentas. Se preguntó ¿por qué me los enseñan a mí?
Mientras, en Dublín, Andrew Kaung trabajaba como un analista en seguridad de los usuarios en TikTok, un cargo que había ocupado desde diciembre de 2020 hasta junio de 2022.
Indica que él y un colega decidieron examinar lo que los algoritmos de la aplicación les estaban recomendando a los usuarios en Reino Unido, incluídos los de 16 años. Antes había trabajado en Meta, empresa dueña de Instagram, otro de los sitios que usa Cai.
Cuando Andrew analizó el contenido de TikTok, quedó alarmado al ver cómo la plataforma les estaba mostrando a algunos varones adolescentes videos que contenían violencia y pornografía, y que promovían ideas misóginas, según le cuenta al programa Panorama de la BBC.
Dice que, en general, a las niñas adolescentes les recomendaban contenido muy diferente basado en sus intereses.
TikTok y otras redes sociales usan herramientas de inteligencia artificial (IA) para retirar la gran mayoría de contenido dañino y alertar de otro contenido para que sea revisado por moderadores humanos. Pero las herramientas de IA no lo pueden identificar todo.
Andrew Kaung relata que durante el tiempo que trabajó en TikTok, todos los videos que no eran retirados o señalados por la IA para que fueran revisados por los moderadores humanos -o reportados por otros usuarios a los moderadores- sólo eran revisados manualmente si alcanzaban cierto umbral de visualizaciones.
En ese momento, ese umbral se colocó en 10.000 visualizaciones o más, comenta. Eso significaba que algunos usuarios jóvenes estaban siendo expuestos a videos dañinos. La mayoría de las empresas de redes sociales permiten que las personas se registren desde los 13 años.
TikTok afirma que el 99% del contenido que retira por la violación de sus reglas es descartado por la IA o por moderadores humanos antes de que alcance 10.000 visualizaciones. Añade que realiza investigaciones proactivas sobre videos que alcanzan menos de esa cantidad de visualizaciones.
Cuando trabajaba en Meta, Andrew Kaung se dio cuenta de un problema diferente. Si bien la mayoría de los videos eran retirados o señalados a los moderadores por herramientas de IA, el sitio también dependía de los usuarios para informar de algunos videos una vez ya los habían visto.
Asegura que denunció esta situación mientras estaba en ambas compañías, pero la mayoría de las veces no se hizo nada por la cantidad de trabajo que hubiera implicado o su elevado costo. Indica que después TikTok y Meta hicieron algunas mejoras, pero recalca que los usuarios jóvenes como Cai estuvieron en riesgo de ver contenido dañino durante ese tiempo.
Varios exempleados de compañías de redes sociales le han dicho a la BBC que las preocupaciones de Andrew Kaung coincidían con sus propias experiencias.
Los algoritmos de la mayoría de las empresas de redes sociales han estado recomendando contenido dañino a menores, aunque no haya sido intencionalmente, le dijo a la BBC Ofcom, el ente regulador de las comunicaciones en Reino Unido.
“Las empresas han hecho la vista gorda y han estado tratando a los menores como tratan a los adultos”, comentó Almudena Lara, directora de desarrollo de políticas de seguridad online de Ofcom.
