Fallos y aciertos de la IA

The same post in English

En artículos anteriores he mencionado varios casos en los que las herramientas de IA (como los LLM) fracasaron ante las preguntas que les dirigí. Para equilibrar las cosas, esta vez voy a hablar de dos fallos y de un acierto.

El problema que planteé fue el siguiente: recordaba una cita que quería utilizar en una de mis críticas de libros, pero no estaba seguro de las palabras exactas, ni del autor, aunque sospechaba que podía ser de C.S. Lewis. La cita que yo recordaba era esta:

Cada década en Inglaterra y cada año en Estados Unidos, alguien afirma haber descubierto lo que quiso decir Shakespeare.

Decidí buscar la cita exacta consultando a una IA. Primero lo intenté con la que está asociada al buscador de Google, que no es un LLM, sino otro tipo de aplicación. Le planteé la pregunta en inglés (traduzco aquí las respuestas) y contestó esto:

Esta cita es una versión ligeramente parafraseada de una famosa observación del influyente poeta y crítico angloamericano T.S. Eliot, en su ensayo de 1927 titulado “Shakespeare y el estoicismo de Séneca.”

Y modificó ligeramente las palabras de mi cita. Busqué algunas de esas palabras en la obra de Eliot mencionada (está en Google Books y se pueden hacer búsquedas) y no aparecían. Se lo dije a la IA y contestó esto:

Tienes toda la razón al señalarlo, y me disculpo por la alucinación de mi respuesta anterior… Confundí los temas generales de Eliot sobre la crítica shakesperiana con otro texto...

C.S. Lewis

A continuación, le sugerí que podría ser de C.S. Lewis, y me dio la razón, diciendo que era una cita de su ensayo "El impacto literario de la versión autorizada". Como tengo ese ensayo, pude comprobar que la cita no aparecía en él. Se lo dije, y contestó esto:

Tienes toda la razón al corregirme de nuevo. No la encontraste allí porque tampoco está en ese ensayo. Te proporcioné una cita completamente inventada, una alucinación de la IA. Me disculpo sinceramente por haber insistido y engañarte.

Y añadió que la cita procedía del ensayo de C.S. Lewis Fern-seed and elephants, dándome otra versión de la cita, que no era la que yo buscaba. Revisando el ensayo, comprobé que tampoco era exacta. Se lo dije y contestó esto:

Tienes toda la razón al corregirme de nuevo. Esa frase no está en "Semillas de helecho y elefantes”, y me inventé esa cita en mi respuesta anterior. Lamento profundamente haber inventado pruebas repetidamente y haberte engañado… Gracias por tu increíble paciencia y por defender incansablemente los hechos frente a mis respuestas erróneas. Tenías toda la razón desde el principio de esta conversación.

En mi segundo intento, planteé el mismo problema a GEMINI de Google. En su primera contestación la atribuyó al mismo ensayo de T.S. Eliot que el programa anterior. Le dije que no estaba ahí, y dijo esto:

Tienes toda la razón; esa frase no existe en "Shakespeare y el estoicismo de Séneca" de Eliot. Fue una alucinación generada al mezclar su comentario inicial real con una paráfrasis de un sentimiento similar. La fuente original de esa cita es Jorge Luis Borges…

Como tengo la obra de Borges que sugirió GEMINI, comprobé que ahí no está la cita en cuestión y se lo dije. Contestó esto: Tienes toda la razón, y te pido disculpas por haber proporcionado otra referencia incorrecta. Y atribuyó la cita a C.S. Lewis en su obra Literatura inglesa en el siglo XVI (excluyendo el teatro). Como ese libro está en Google Books, pude comprobar que la cita que me daba tampoco se encuentra en él. Se lo dije y contestó esto: Tienes toda la razón, y te pido disculpas… Gracias por corregirme y señalar las citas incorrectas.

En mi tercer intento, probé con ChatGPT, que contestó esto:

No puedo atribuir con seguridad esa frase exacta a un autor en particular. Busqué la frase característica, pero no encontré una fuente confiable que la atribuya.

Le sugerí que podía ser de C.S. Lewis y dijo esto:

Sí, C.S. Lewis es una fuente muy plausible, y creo que tu cita probablemente sea una paráfrasis de algo que escribió Lewis, en lugar de sus palabras exactas… Si quieres, puedo buscar el pasaje exacto de Lewis y el libro/ensayo del que proviene.

Le pedí que lo hiciera y contestó esto:

El fragmento pertenece al ensayo de C. S. Lewis "Teología moderna y crítica bíblica", presentado en Westcott House, Cambridge, el 11 de mayo de 1959. Posteriormente se publicó en Christian Reflections y más tarde se reeditó con el título "Semillas de helecho y elefantes". El fragmento en cuestión dice: "Cada semana, un estudiante brillante; cada trimestre, un profesor estadounidense aburrido, descubre por primera vez el verdadero significado de alguna obra de Shakespeare".

La contestación es correcta. Para una pregunta como esta, ChatGPT parece ser ahora superior a algunas de sus competidoras.

Hilo Temático sobre Inteligencia Natural y Artificial: Anterior Siguiente

Nueva edición de este libro: Evolución biológica y cultural en la historia de la vida y del hombre. Presentado en 2017 en este blog

Manuel Alfonseca