El algoritmo basado en IA que usa YouTube para filtrar el contenido y el lenguaje no apto para niños, podría no estar funcionado como debería. Es inevitable que los niños y niñas accedan a este tipo de plataformas, a no ser que coartemos por completo su interacción con Internet. 

Estos se está convirtiendo en actores principales y muy proactivos en YouTube, por lo que la plataforma debe luchar por evitar que ciertos contenidos lleguen a manos de estos en vídeos que precisamente se supone que han pasado los filtros para que puedan verlos.

Esto implica, entonces, la ampliación del algoritmo de IA para que los vídeos infantiles sean seguros para los niños, sin ningún tipo de lenguaje no censurado por esta.

La mayor preocupación de YouTube es el lenguaje explícito, una cuestión que demuestra que la IA también tiene cierta vulnerabilidad. Sucede que el Automatic Speech Transcription (AST) o transcripción automática del habla, en español, ha insertado sin querer palabras como perra en lugar de playa.

Y el problema es que hay muchas más palabras, algunas incluso más orientadas a los adultos que ésta. Violación es una de esas palabras, que aparece en los subtítulos con frecuencia sustituyendo a la palabra valiente, como lenguaje no censurado en la IA.

Para rastrear mejor el problema, un equipo del Instituto de Tecnología de Rochester en Nueva York, junto con otros, tomaron muestras de 7000 videos de 24 canales infantiles de primer nivel. De los videos que probaron, el 40 por ciento tenía palabras inapropiadas en los subtítulos y el uno por ciento tenía palabras muy inapropiadas.

A pesar de su sofisticación, el modelo de IA tiene problemas para reconocer las palabras exactas que pronuncian los niños con ciertos acentos y pronunciación errónea. Además, no se trata sólo de un error o fallo cualquiera. Se trata de un gran caso de toxicidad con el lenguaje sin censura.

YouTube está haciendo grandes esfuerzos para arreglar tecnológicamente el lenguaje no censurado en la IA. Pero el hecho de que preste atención a la sugerencia de los expertos de hacer retoques con modelos lingüísticos para contrarrestar el problema, demuestra que el problema de la tecnología no es sólo una cuestión de tecnología.