Foto: Sergio F Cara (NotiPress/Composición)
Como parte de la batalla entre la inteligencia humana y la inteligencia artificial para ver quien tiene mayor capacidad, un estudio comparó un conjunto de ideas de investigación generados con IA con las de 50 científicos trabajando de forma independiente. Al evaluar las ideas sin tener en cuenta quien las produjo, los revisores calificaron los conceptos generados por IA como más interesantes que los escritos por humanos, aunque las sugerencias de IA obtuvieron una puntuación ligeramente inferior en cuanto a viabilidad.
Si bien revela importantes contrastes entre las capacidades humanas y artificiales, el estudio tiene limitaciones. Al proponerle a los participantes concentrarse en una sola área de investigación, probablemente obstaculizaron sus capacidades para producir sus mejores conceptos. No obstante, la investigación arroja luz sobre la aptitud de los grandes modelos de lenguaje (LLM, por sus siglas en inglés) para generar ideas de investigación innovadoras. Para eso, "es necesario realizar más trabajos como este", afirma Tom Hope, científico informático del Instituto Allen de IA en Jerusalén.
El equipo reclutó a más de 100 investigadores en procesamiento del lenguaje natural, una rama de la informática que se centra en la comunicación entre la IA y los seres humanos. Se le pidió a 49 participantes que desarrollaran y escribieran ideas, basadas en uno de siete temas en un plazo de diez días. A modo de incentivo, los investigadores pagaron a los participantes 300 dólares por cada idea y un bono de mil dólares para las cinco ideas con mayor puntuación.
Por otro lado, los investigadores crearon un generador de ideas utilizando Claude 3.5, un LLM desarrollado por Anthropic en San Francisco, California. Los investigadores le solicitaron a la IA que buscara artículos relevantes para los siete temas de investigación utilizando Semantic Scholar, un motor de búsqueda de literatura impulsado por IA. Basándose en estos artículos, los investigadores pidieron a su agente de IA que generara 4 mil ideas sobre cada tema de investigación y le ordenaron que clasificara las más originales.
Los investigadores seleccionaron aleatoriamente ideas de generadas por humanos y por la IA y se la designaron a 79 revisores los cuales calificaron cada idea en función de su novedad, entusiasmo, viabilidad y eficacia esperada. Para encubrir cualquier indicio de que las ideas fueron hechas por alguno de los dos grupos, los investigadores utilizaron otro LLM para editar ambos tipos de texto y estandarizar el estilo y el tono de la redacción sin cambiar las ideas.
En efecto, los revisores encontraron más originales y emocionantes las ideas generadas por la IA. Aun así, se observó que, dentro de las 4 mil ideas generadas por la inteligencia artificial, solo 200 eran verdaderamente únicas. Los resultados indican que los LLM podrían ser capaces de producir ideas ligeramente más originales que las que aparecen en la literatura existente, pero aún queda por saber si pueden superar las ideas humanas más innovadoras ya que el grupo de investigadores admitió que las ideas presentadas no eran las mejores que se les habían ocurrido.
Aunque el estudio muestra ciertas limitaciones, como el uso de un LLM que puede haber alterado el lenguaje y la extensión de las presentaciones. Esta fue una observación hecha por Jevin West, un científico social computacional de la Universidad de Washington en Seattle, quien además indicó que dichos cambios podrían haber influido sutilmente en cómo los revisores percibieron la novedad.
Frente a los cuestionamientos, el grupo de investigadores planea comparar las ideas generadas por IA con los artículos de conferencias más importantes para comprender mejor cómo se comparan los LLM con la creatividad humana. El objetivo siempre es proyectar un futuro en el cual la IA tenga un papel más activo en el proceso de investigación.
DESCARGA LA NOTA SÍGUENOS EN GOOGLE NEWS
