 |
| Mis alucinaciones, de August Natterer |
Desde que apareció ChatGPT, a finales de 2022, he
estado avisando de que las contestaciones que dan los Modelos
grandes de lenguaje (LLM, siglas en inglés; me niego a llamar Inteligencia
Artificial a estas herramientas) no son de fiar, y deben tratarse con la mayor
cautela. A menudo esas contestaciones parecen plausibles y están escritas correctamente
desde el punto de vista lingüístico, pero son falsas. Este tipo de respuestas
ha recibido el nombre de alucinaciones.
Esto no es extraño. Es una consecuencia lógica del
algoritmo que emplean estos programas, que describí en otro
artículo de este blog, que yo simulé mediante un programa de sólo 18
instrucciones, y que consiste en ir añadiendo palabras extraídas entre las más
frecuentes que siguen a las palabras anteriores, escogidas entre miles de
millones de archivos sacados de Internet. Es evidente (basta pensar un poco)
que este algoritmo no puede asegurar que las contestaciones que dan estas
herramientas sean verdad.
He utilizado varias veces estas herramientas para resolver
problemas del siguiente tipo: conozco el argumento de una obra literaria, un
cuento o una novela, pero no recuerdo el título o el autor (o ambos), y quiero
que la herramienta me ayude a encontrarlos. Formulo la pregunta describiendo el
argumento en cuestión y añado el nombre del autor si lo conozco. Cuando la
herramienta me ofrece una respuesta, la investigo, para ver si es verdad. Hasta
ahora, en el 100% de los casos en que he planteado un problema de este tipo, la
respuesta ha sido alucinatoria. Mejor dicho, falsa.
|
| Julio Verne |
Voy a contar el último caso: Quería recordar el
título de una obra de Julio Verne que leí años atrás, en la que una expedición
intenta observar un eclipse de sol. Esta descripción se la proporcioné a
GEMINI, el LLM de Google, que me contestó que la obra en cuestión es El
rayo verde. Como yo sabía que la contestación era falsa, porque recuerdo bien el
argumento de El rayo verde y no hay ningún eclipse,
volví a hacer la pregunta cambiando la forma de expresarla, para ver si GEMINI
me contestaba otra cosa. Así fue; esta vez me dijo que la obra en cuestión era La
caza del meteoro. Como no he leído esta novela de Verne, sabía de entrada que la
respuesta podía ser falsa, pero por si Verne hubiera escrito dos novelas con
argumentos parecidos, busqué la descripción de esa novela en la Wikipedia, que
me confirmó que en ella no hay ningún eclipse de sol.
Decidí entonces investigar por mi cuenta. Como la
Wikipedia detalla los títulos de todas las obras de Verne (68 viajes
extraordinarios y unas pocas más), fui eliminando las obras cuyo argumento conocía
bien y las que no he leído, y entre las que quedaron elegí la que me pareció
más probable. Acerté a la primera. La obra en cuestión es El
país de las pieles. Pero el fracaso de GEMINI fue absoluto, como lo ha sido el de todas
estas herramientas, siempre que les he formulado una pregunta de este tipo.
Se dirá que mis experiencias de uso no son
estadísticamente significativas. Cierto. Pero resulta que OpenAI, creadora de
ChatGPT, ha realizado un estudio a fondo sobre el tema, y ha llegado a la
conclusión de que las alucinaciones son matemáticamente
inevitables, y no son fallos técnicos que podrían resolverse mejorando los programas.
Véase este
artículo reciente en COMPUTERWORLD, que completa este
otro artículo en la misma revista, algo más antiguo, que señala que, además
de alucinaciones, estas herramientas hacen trampa en diversas circunstancias y
se niegan a reconocer que mienten cuando se las pilla, cuyo título es muy
significativo: ¿Creías que las alucinaciones de la
Inteligencia Artificial generacional eran malas? Pues la cosa es aun peor.
Las noticias de este tipo, que avisan de los
peligros de usar herramientas de tipo LLM y creerse a pies juntillas sus
respuestas, se mezclan con otras noticias exageradas que anuncian a bombo y
platillo que estas herramientas abrirán pronto paso a la inteligencia
artificial generalizada, o sea, a las máquinas tan inteligentes (o más) como el
hombre. Bastantes expertos niegan que esto vaya a suceder. Algunos llegan a
decir que la investigación en LLM puede ser incluso perjudicial para ese otro
objetivo, que para muchos ni siquiera va a ser posible, al menos a plazo no muy
largo.
Entre tanto, llega la noticia de que en
Albania acaban de nombrar ministro a un LLM. Parece que la estupidez e
incompetencia de los políticos actuales no tienen límite.
Hablando de la Prueba de Turing, Evan Ackerman
escribió esto en 2014, en IEEE
Spectrum:
La prueba de Turing no demuestra que un
programa sea capaz de pensar. Más bien indica si un programa puede engañar a un
ser humano. Y los seres humanos somos realmente tontos.
Desgraciadamente, cada día que pasa le damos la razón.
Hilo Temático sobre Inteligencia Natural y Artificial: Anterior Siguiente
Manuel Alfonseca
Maravilloso, Manuel. Para dárselo a leer a profesores y alumnos. Muchas gracias!
ResponderEliminarMuy interesante! Aun así, no se puede negar que sigue habiendo avances. En la prueba que has comentado, mismamente, chatgpt me lo ha acertado a la segunda, tras pensar un poco (su primera respuesta fue incorrecta). Dejo aquí la prueba.
ResponderEliminarhttps://chatgpt.com/share/68d4f63b-e97c-800d-b731-52988eb3a862
Es muy curioso expandir el razonamiento:
El usuario dice que las opciones anteriores no son correctas y pide intentar algo mejor. Necesito revisar bien la bibliografía de Julio Verne. He pensado en "De la Tierra a la Luna" (¿eclipse lunar?), o "La excursión de un cometa" (¿posible eclipse?). También recordé "El Castillo de los Cárpatos", pero tal vez no esté relacionado.
Recuerdo "Aventuras de tres rusos y tres ingleses en el África austral", pero no deberíamos solo confiar en mi memoria, pues puede fallar. No es estrictamente necesario usar una herramienta de búsqueda para preguntas casuales, pero, dado que esto es algo específico, sería mejor confirmar con una búsqueda en línea.
Buscando obras de Julio Verne sobre eclipses solares
Tras revisar, veo que "El país de las pieles" (Le Pays des Fourrures, 1873) podría ser la novela correcta. En ella, el astrónomo Thomas Black (posiblemente con su nombre en español) se une a una expedición para observar un eclipse solar el 18 de julio de 1860. La expedición se dirige al norte, pero quedan atrapados en el hielo.
Debo incluir citas para las afirmaciones clave sobre "Le Pays des Fourrures" y "El país de las pieles". Haré referencia a fuentes como Wikipedia, lesia.obspm (Observatorio de París), y otras como Amazon. También puedo incluir Project Gutenberg o e-textos confiables si es necesario.
Proponiendo "El país de las pieles" y detalles
Basado en las fuentes confiables, "El país de las pieles" (también conocido como "The Fur Country" o "Seventy Degrees North Latitude") es la obra correcta. La historia sigue a una expedición que intenta observar un eclipse solar en 1860, con el astrónomo Thomas Black como parte del equipo.
En "El país de las pieles" (Le Pays des Fourrures), la expedición de Thomas Black intenta observar el eclipse solar de 1860. Sin embargo, debido a estar atrapados en hielo flotante, la observación falla. Algunas fuentes mencionan que Verne cometió un error al describir las condiciones de visibilidad, ya que no estaban en el camino total del eclipse.
Gracias, fripper. Hay algo que no entiendo: A partir de "Es muy curioso expandir el razonamiento", ¿se trata de un razonamiento personal, de una explicación de ChatGPT, o una descripción de cómo podría haber razonado ChatGPT? Si es lo segundo, no aparece en el enlace aportado. Si es lo último, lo dudo, porque ChatGPT no razona. Su algoritmo funciona de otra manera, como digo en el artículo.
EliminarNo, es el razonamiento que hace chatgpt. En realidad es un resumen del mismo, estoy seguro de que openai no revela su "chain-of-thought" completo, para no dar pistas a la competencia ni darles datos que podrían usar en el entrenamiento de sus modelos. Pero ese resumen sirve al menos para que el usuario sepa un poco lo que está haciendo el modelo en background. Durante ese proceso, el modelo decide qué fuentes investigar y qué acciones tomar, hasta llegar a una conclusión.
EliminarEn el enlace se puede ver el resumen: hay que pinchar en "Pensó durante 58s", y se expande la sección.
En todo caso, lo de razonar en los LLMs es un abuso de lenguaje, estoy de acuerdo. Pero ha habido mucha investigación al respecto en los últimos años. Cuando se habla de "reasoning models" lo único que se está diciendo es que el modelo, antes de responder, dedica un tiempo (tokens) a "pensar" la respuesta. Pero esos tokens son producidos igual que los demás. La diferencia es que estos modelos suelen haber pasado por un fine-tuning realizado sobre razonamientos correctos. Para ciertas tareas (como programación, matemáticas...), esta técnica mejora mucho los resultados.
Esto se puede compaginar con acceso a herramientas (como buscadores), que pueden insertarse en diferentes momentos de ese "razonamiento", que es lo que hizo chatgpt en mi ejemplo.
Si alguien tiene curiosidad, el modelo chino DeepSeek muestra la cadena de razonamiento completa. Pongo un ejemplo para que se vea qué pinta tiene:
https://chat.deepseek.com/share/webpwx94bmdgn4l3ne
Es curioso. Al ofrecer una matriz con seis parámetros, dice esto:
Eliminar"Pero calcular su determinante puede ser complicado."
Yo diría que calcular el determinante de una matriz 3x3 nunca es complicado. Y al igualar a 1 el determinante hay que resolver una ecuación con seis variables, con la única restricción de que todos los valores sean distintos de cero. Hay infinitas soluciones. Una es esta:
1 1 -1
-1 1 2
1 4 1
Me parece que el procedimiento de resolución que ha empleado es un poco rebuscado.
Sí, desde luego, es rebuscado... Y cuando "razonan" pueden perfectamente equivocarse, a veces amplificando errores, pero eso no quita para que la técnica sea una mejora.
EliminarEstoy de acuerdo en lo sustancial. Usé por primera vez ChatGPT en junio de 2023, y desde entonces apenas he tenido una veintena de interacciones (me niego a llamarlas "diálogos"). Muchas de ellas con un propósito semejante al que comenta Manuel, y también bastante infructuosas; para conseguir lo que buscaba tuve que reformular muchas veces la pregunta y, por supuesto, comprobar el resultado, que a menudo era equivocado.
ResponderEliminarLa última vez fue hace un mes. Usé ChatGPT para localizar un texto de la Divina Comedia donde habla de la Tierra vista de lejos como un lugar pequeño y miserable. Me hizo perder bastante tiempo al darme una y otra vez versiones incorrectas, fruto de traducciones no oficiales y mezcla de versiones en italiano y español. Algo me sirvió, a pesar de todo.
Sabiendo bien cómo funciona, la conclusión es clara: ChatGPT es eficaz para hacer un resumen muy correctamente escrito de lo que dice la gente sobre un tema sobre el que se haya publicado bastante en internet. Pero cualquier persona medianamente inteligente sabe que "lo que dice la gente" no es necesariamente verdad.
Dices: "lo que dice la gente" no es necesariamente verdad. Cierto. Yo dije eso mismo en una mesa redonda dirigida por Tezanos, y me contestó: "Pues a mí sí me interesa lo que dice la gente". :-)
EliminarComento un par de experiencias con LLM complementarias a las que se describen en el artículo:
ResponderEliminar- Experiencia 1. Programación: No soy amigo de usar LLM para preparar código por muchos motivos (un fallo puede ser crítico, creo que programar ayuda a mantener el cerebro ágil, me gusta, etc.). Sin embargo, hace unos meses decidí usar chatGPT como directorio de búsqueda de funciones. Uno de los lenguajes con los que trabajo habitualmente es EES (acrónimo de Engineering Equation Solver; es un lenguaje de modelado y simulación similar a Modelica que se usa mucho en Ingeniería Térmica (https://fchartsoftware.com/ees/)) y la idea básica era sencilla: hay veces que necesito funciones que se escapan del subconjunto de funciones que empleo habitualmente (una de las ventajas de este lenguaje es que incorpora librerías para equipos concretos como motores, refrigeradores, etc. pero es difícil conocerlas si no se trabaja en ese equipo en concreto) y no me las sé de memoria. Pensé que ahorraría tiempo si, en vez de recurrir a la guía oficial del lenguaje y buscar la función que necesito le preguntase a chatGPT por una función que tuviese la funcionalidad buscada en el lenguaje. Lo sorprendente de la respuesta no es que las funciones que me devolvía no existiesen, ¡lo sorprendente es que incluso habiendo existido estarían mal sintácticamente! Es cierto que EES es un lenguaje muy nicho y que con Python o C probablemente no ocurra esto, pero si el fallo se produce con una sola función no me quiero imaginar lo que hace con un programa completo. Creo que aquí el problema no es tanto que falle sino que gente que no sabe programar más allá de lo que le pide al LLM no es consciente del fallo (piénsese en los famosos puteros de C). Donde sí reconozco que es un herramienta útil es para detectar ciertos errores en código: cuando se escriben ecuaciones grandes en LaTeX y se descuadra un corchete ({}) o similar, revisar toda la expresión a mano es tedioso pero chatGPT lo suele detectar bien a la primera.
- Experiencia 2. Álgebra: Esta es más anecdótica: tras resolver un problema de Álgebra del tipo ''se tiene una matriz A con parámetros en tales entradas, encontrar el valor del parámetro para que A tenga dos autovalores y diagonalizarla para ese valor del parámetro''. Tras resolverlo por mi cuenta, miré a ver qué pasaba si se lo pedía a chatGPT y la respuesta fue curiosa: encontraba correctamente el valor del parámetro que hacía que A solo tuviese 2 autovalores, pero cuando realizaba el segundo apartado encontraba 3 autovalores para ese mismo parámetro. Evidentemente, no 'se dio cuenta' de la contradicción en la que había incurrido.
Son ejemplos anecdóticos, pero creo que el problema social que se nos avecina es que gente sin el suficiente conocimiento puede hacer cosas que antes no: no me cansó de ver publicaciones en LinkedIn sobre gente que programa todo con LLM, y no puedo evitar desear no ser usuario de lo que programen, porque tiene que haber fallos a montones. Quien sepa programar sabrá detectar los fallos, pero no todo el mundo sabe. Lo mismo ocurre en todas las áreas del saber, diría yo.
Lo que dice Arturo es la pura verdad: "Quien sepa programar sabrá detectar los fallos, pero no todo el mundo sabe. Lo mismo ocurre en todas las áreas del saber, diría yo."
EliminarA mis alumnos les pongo el siguiente ejemplo:
Si pides que te reformule un párrafo en español, podrás comprobar que lo ha hecho bien PORQUE SABES ESPAÑOL. Si le pides que haga lo mismo con un párrafo escrito en un idioma que no conoces, no podrás comprobar nada. Aplica eso mismo a cualquier área de conocimiento: programación, arquitectura, diagnóstico médico... Si no sabes programar, diseñar edificios o ejercer la medicina, la IA será tu sentencia de muerte profesional.
Hay que repetir esto una y otra vez para contrarrestar la campaña de estupidización en la que nos encontramos inmersos.
Como nombrar ministro a un LLM, como han hecho en Albania.
EliminarCorrijo la errata de "puteros" a "punteros" (ya es mala pata...)
EliminarManuel, estoy de acuerdo en prescindir de la denominación de Inteligencia Artificial y llamarles simplemente herramientas basadas en LLMs.
ResponderEliminarY también estoy de acuerdo en que estas herramientas no tienen una utilidad universal. Son útiles para comprender y producir lenguaje y funcionan muy bien cuando se trata de explicar, resumir, reescribir, traducir, generar ideas, programar o resolver dudas conceptuales en materias como lengua, ciencias, informática, negocios o creatividad. Es decir, en los casos que no se necesita recordar datos exactos, sino cuando se trata de procesar y estructurar información.
En cambio, debido a su funcionamiento interno basado en datos estadísticos, son poco fiables para reproducir datos exactos cuando no usan una verificación externa. Por eso fallan en problemas como identificar una obra literaria solo por su argumento. Estas herramientas no consultan una base de datos de títulos y autores, sino que generan respuestas plausibles a partir de patrones.
Cierto. Por eso yo siempre aconsejo que cualquier contestación de estas herramientas debe ser confirmada de alguna otra manera.
EliminarPor otra parte, hago lo mismo con lo que dice la prensa y la Wikipedia. :-)