OpenAI se recarga con un detector de texto de IA, aunque reconoce la complejidad

Con el propósito de abordar el uso inadecuado de la tecnología, OpenAI desarrolló una innovadora herramienta de detección de texto generada por la inteligencia artificial (IA). Esta herramienta que estará diseñada para identificar escritos producidos por ChatGPT, surge en un contexto donde la preocupación por la integridad académica y la autenticidad del contenido es cada vez mayor. Aunque su lanzamiento aún está en evaluación, el método propuesto promete cambios importantes en cómo se detectan y manejan los textos generados por IA.

Según informó The Wall Street Journal, si bien se está evaluando si se lanza al público, esta herramienta aborda el uso indebido de herramientas como ChatGPT. En declaraciones a TechCrunch, un portavoz de OpenAI confirmó la investigación en torno al método de marca de agua de texto y explicó que la compañía planea adoptar un enfoque meticuloso, justificando las complejidades inherentes y su posible repercusión en el ecosistema de la IA.

Asimismo, el vocero comentó acerca del método de marca de agua de texto desarrollado por OpenAI y lo clasificó como técnicamente prometedor. No obstante, señaló los peligros, como la posibilidad de que actores maliciosos evadan la detección y afecten grupos específicos, incluyendo a personas que no hablan inglés como lengua materna.

Esto contrasta con los esfuerzos previos de detectar texto generado por IA, mostrando ser en gran medida ineficaz. OpenAI, por ejemplo, cerró el detector de texto de IA en el 2023 debido a la baja precisión. Con el nuevo método de marca de agua, la compañía se enfocaría exclusivamente en detectar textos producidos por ChatGPT, introduciendo pequeños cambios en la selección de palabras para crear una marca de agua invisible detectable por una herramienta independiente.

Por otro lado, tras la publicación del artículo de Wall Street Journal, OpenAI actualizó una entrada de blog de mayo de 2024 sobre su investigación en detección de contenido generado por IA. La actualización mencionaba que las marcas de agua de texto demostraron ser precisas y efectivas contra manipulaciones localizadas, como la paráfrasis. Sin embargo, son menos robustas frente a manipulaciones más complejas, como el sistema de traducción, la reformulación con otro modelo generativo, o la inserción y eliminación de caracteres especiales entre palabras.

Debido a estas limitaciones, OpenAI reconoció que este método podría ser vulnerable a la evasión por parte de actores maliciosos. Además, la actualización también destacó la preocupación sobre las marcas de agua en el texto podrían estigmatizar el uso de la IA como herramienta de escritura útil para personas que no son hablantes nativos de inglés.