Instagram usa IA para detener comentarios abusivos

 17-07-2019
Belem Ruiz

 

   

 

Más de 500 millones de cuentas activas cada día, 64% de los usuarios son personas de entre 18 y 34 años de edad, 80% de los instagramers viven fuera de Estados Unidos; éstas son algunas cifras que brindan un panorama sobre el alcance y el poder de Instagram en 2019. Ahora bien, aunque comúnmente asociada con el glamour y las celebridades del momento, esta red social también puede ser usada con fines de ejercer ciberviolencia. Consciente de ello, la plataforma ha comenzado a implementar Inteligencia Artificial (IA) orientada a detener los comentarios abusivos u ofensivos en Instagram.

El ciberacoso o abuso en línea es un tema complicado, desde su propia definición, pues los matices son vastos: lo que para algunos puede ser algo grave no pasa de ser una broma de mal gusto para otros, por ejemplo; además sus alcances, en los peores casos, pueden incluso conducir a las víctimas a suicidarse. El debate internacional aún no ha logrado determinar qué es digno de censura y qué no lo es: filtrar en exceso va en contra de la libertad de expresión, mientras el filtrar muy poco propicia el mal uso de las redes sociales y contribuye indirectamente a crear un ambiente tóxico u hostil en línea.

Los retos no acaban ahí, asimismo existe la complejidad propia de los diferentes idiomas, culturas y normas que convergen en Instagram. A fin de ayudar en la lucha contra comentarios abusivos u ofensivos en su plataforma, Instagram ha desarrollado una solución basada en tecnologías cognitivas. No obstante desde hace algún tiempo Facebook se apoya en IA para clasificar el gran volumen de publicaciones y comentarios que diariamente se registran en la red social, el lenguaje natural sigue siendo una importante barrera para la eficacia de los algoritmos de IA.

Dobles sentidos, sarcasmos o hasta las faltas de ortografía pueden hacer que un sistema se confunda cuando intenta comprender el significado de una publicación o un comentario. Un primer intento para superar este problema fue el empleo de miles de moderadores humanos de contenido, quienes tienen la tarea de tomar decisiones cuando los algoritmos de IA se ven sobrepasados por la naturaleza misma de los idiomas y otras limitantes todavía no solucionadas en estas tecnologías; pero se trata de un trabajo a menudo brutal y agotador.

Instagram, plataforma propiedad de Facebook, ha desarrollado una solución desde un nuevo enfoque: en lugar de depender únicamente de sus algoritmos para censurar material ofensivo, también recurrirá a la autocensura de los usuarios. ¿Cómo funciona? Cuando un instagramer esté a punto de publicar un comentario, si el programa de IA de Instagram detecta contenido que podría ser abusivo u ofensivo, se muestra al usuario que intenta publicar el comentario una ventana emergente donde se lee "¿Estás seguro de que deseas publicar esto?".

Según informó la red social, los resultados de las primeras pruebas realizadas por la compañía con esta función, esa ventana emergente parece ser efectiva: alienta a muchas personas a prescindir de la publicación de comentarios abusivos u ofensivos en Instagram. Gracias a esta solución basada en IA, no sólo se disminuye la carga de los moderadores humanos de contenido, además de apela a la autocrítica de los usuarios y, de alguna forma, se contribuye a orientarlos mejor sobre el uso adecuado de las redes sociales.

DESCARGA LA NOTA  SÍGUENOS EN GOOGLE NEWS

 

-