Gigantes Tecnológicos Unen Fuerzas Para Hacer Que Internet Sea Más Seguro Para Jóvenes

Internet puede ser un lugar salvaje, especialmente para los niños. Es por eso que Google, OpenAI, Roblox y Discord se han unido para lanzar una nueva iniciativa sin fines de lucro llamada ROOST (Robust Open Online Safety Tools). Anunciado esta semana, ROOST tiene como objetivo crear herramientas de inteligencia artificial gratuitas y de código abierto para ayudar a las empresas a detectar, revisar y denunciar material de abuso sexual infantil (CSAM) de manera más efectiva.


El proyecto es una respuesta a los desafíos cambiantes de la seguridad infantil en línea, especialmente en la era de la IA generativa. El ex CEO de Google, Eric Schmidt, socio fundador de ROOST, destacó la urgencia de la iniciativa y afirmó que existe una "necesidad crítica de acelerar la innovación en la seguridad infantil en línea". ROOST busca unificar y mejorar las herramientas de seguridad existentes, haciéndolas más accesibles para plataformas que pueden carecer de los recursos para desarrollar sus propios sistemas de moderación sólidos.

El momento de este movimiento no es casual. Se produce en medio de una mayor presión regulatoria sobre las empresas de tecnología para que hagan más para proteger a los usuarios jóvenes. Los legisladores de todo el mundo han estado tomando medidas enérgicas contra las plataformas por cuestiones de seguridad infantil, y las empresas están luchando por demostrar que pueden manejar el problema sin una intervención gubernamental estricta. Según el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), los informes de sospecha de explotación infantil aumentaron un 12% entre 2022 y 2023, una estadística que subraya la magnitud del problema.

Roblox y Discord, dos de los miembros fundadores de ROOST, se han enfrentado a una buena cantidad de críticas con respecto a la seguridad infantil. Roblox, una plataforma muy popular entre los niños, ha luchado por prevenir la explotación infantil y la exposición a contenido inapropiado. Incluso fue nombrado en una demanda de 2022, junto con Discord, por no frenar las interacciones de adultos con menores. Al unirse a ROOST, estas empresas están manifestando su compromiso de mejorar sus medidas de seguridad.

Si bien los detalles sobre la funcionalidad exacta de las herramientas de moderación impulsadas por IA de ROOST aún son vagos, la iniciativa pretende hacer que las tecnologías de detección y presentación de informes existentes sean más fáciles de usar y estén ampliamente disponibles. El vicepresidente de ingeniería, confianza y seguridad de Roblox, Naren Koneru, sugirió que las empresas podrían integrar las herramientas de moderación de IA de ROOST a través de llamadas API. Esto podría significar un filtrado de contenido más rápido y eficiente entre plataformas, aunque aún no está claro cómo interactuarán estas herramientas con soluciones existentes como PhotoDNA de Microsoft.

Además del lanzamiento de ROOST, Discord está implementando una nueva función llamada "Ignorar", que permite a los usuarios silenciar mensajes y notificaciones sin alertar al remitente. Este cambio pequeño se alinea con el objetivo más amplio de la plataforma de hacer de Internet un espacio más seguro, especialmente para los usuarios jóvenes.

ROOST ya ha obtenido más de 27 millones de dólares en financiación para sus primeros cuatro años, respaldados por organizaciones como la Fundación McGovern, la Fundación Knight y AI Collaborative. La iniciativa también reúne a expertos en seguridad infantil, inteligencia artificial, tecnología de código abierto e incluso en la lucha contra el extremismo violento para garantizar un enfoque integral de protección en línea.

Aunque todavía es demasiado pronto para decir qué impacto tendrá ROOST, es un paso en la dirección correcta para la seguridad en línea. Si se ejecuta bien, podría proporcionar herramientas muy necesarias para plataformas más pequeñas y ayudar a crear un entorno digital más seguro para los niños.

¿Deseas leer esto en inglés? Versión en inglés >>