Los modelos de IA podrían ser muy malos para vigilar un hogar, revela estudio

Si bien la inteligencia artificial se caracteriza por su gran precisión, al aplicarse en algunas áreas puede mostrar flaquezas, tales como la seguridad. Así fue como lo demostró un grupo de investigadores del Instituto Tecnológico de Massachusetts (MIT) y la Universidad Estatal de Pensilvania. Su estudio reveló que, si se utilizan modelos de lenguaje de gran tamaño (LLM) en la vigilancia del hogar, podrían recomendar llamar a la policía incluso cuando los vídeos de vigilancia no muestren actividad delictiva.

La investigación descubrió que los modelos no eran uniformes en cuanto a qué vídeos debía marcar la IA para que interviniera la policía. A menudo, no estaban de acuerdo entre ellos sobre si llamar a la policía por el mismo vídeo.

Además, llamó la atención que algunos modelos marcaban con menor frecuencia los vídeos para que la policía interviniera los barrios donde la mayoría de los residentes son blancos. Esto demuestra que los sistemas de IA de vigilancia han absorbido un sesgo influenciado por la demografía de un barrio.

Por lo tanto, los modelos son inconsistentes en la forma en que aplican las normas sociales a los videos de vigilancia. Este fenómeno dificulta predecir cómo evaluará cada modelo en diferente contexto.

Aun así, los investigadores no pudieron acceder a los datos de entrenamiento ni al funcionamiento interno de estos modelos de IA. Por lo tanto, no pudieron determinar la raíz de la inconsistencia de las normas. Sin embargo, estiman que los modelos pueden estar presentando inconsistencias en otros entornos de alto riesgo, como la atención médica, los préstamos hipotecarios y la contratación.

Para el estudio, los investigadores eligieron tres modelos de LLM (GPT-4, Gemini y Claude) y les mostraron videos reales publicados en la plataforma Neightbors. A partir de dos preguntas dirigida a los modelos ("¿Está ocurriendo un delito en el video?" y "¿Recomendaría el modelo llamar a la policía?"), los investigadores descubrieron que los tres modelos casi siempre decían que no ocurría ningún delito en los vídeos, o daban una respuesta ambigua. Aunque, el 39% sí mostraba un delito por lo que el modelo recomendaba llamar a la policía entre el 20% y el 45% de los videos.

Al analizar en profundidad la información demográfica del barrio, vieron que algunos modelos tenían menos probabilidades de recomendar llamar a la policía en barrios de mayoría blanca. "Nuestra hipótesis es que las empresas que desarrollan estos modelos han adoptado un enfoque conservador al restringir lo que los modelos pueden decir", afirma Shomik Jain, coautora del estudio.

Las conclusiones sorprendieron porque no se les dio ninguna información a los modelos sobre la demografía del vecindario. "Tal vez haya algo en las condiciones de fondo de estos videos que les da a los modelos este sesgo implícito. Es difícil determinar de dónde provienen estas inconsistencias porque no hay mucha transparencia en estos modelos ni en los datos con los que han sido entrenados", afirma Jain.

Aunque los investigadores notaron que el aprendizaje automático parece estar mitigando sesgos como los tonos de piel, consideran también que es difícil controlar la innumerable cantidad de sesgos que se pueden encontrar. Al no conocer el sesgo desde el principio, hay muchos que se pasan por alto. Es por eso que el equipo está trabajando en un sistema que facilite a las personas identificar y denunciar sesgos de la IA y posibles daños a empresas y agencias gubernamentales.