Un Modelo de Lenguaje entrenado con Divulciencia

The same post in English

Dado que este blog tiene casi 550 artículos, y cada vez es más difícil encontrar la información que uno busca, mi amigo Manuel Márquez me aconsejó permitir a los lectores hacer preguntas a un modelo de lenguaje (LLM) entrenado con la información del blog. La idea me pareció excelente, he utilizado la herramienta NotebookLM de Google, y a partir de ahora podéis emplearlo.

Una de las funcionalidades que ofrece este producto es la generación automática de artículos de blog. Para probarlo, como experimento, le he pedido que genere uno sin especificar un tema concreto. Naturalmente, seguiré escribiendo mis artículos sin ayuda del LLM. Antes de publicarlo aquí lo he corregido a mano, porque había muchas referencias a mi nombre (las he quitado), y también algunos errores, uno de ellos curioso, como ponerle el título 5 claves sobre el universo, la “IA” y la evolución y luego dividir el texto en seis puntos. Este es el artículo resultante, que resume en dos páginas el contenido de este blog:

Alucinaciones o engaños

Mis alucinaciones, de August Natterer

The same post in English

Desde que apareció ChatGPT, a finales de 2022, he estado avisando de que las contestaciones que dan los Modelos grandes de lenguaje (LLM, siglas en inglés; me niego a llamar Inteligencia Artificial a estas herramientas) no son de fiar, y deben tratarse con la mayor cautela. A menudo esas contestaciones parecen plausibles y están escritas correctamente desde el punto de vista lingüístico, pero son falsas. Este tipo de respuestas ha recibido el nombre de alucinaciones.

Esto no es extraño. Es una consecuencia lógica del algoritmo que emplean estos programas, que describí en otro artículo de este blog, que yo simulé mediante un programa de sólo 18 instrucciones, y que consiste en ir añadiendo palabras extraídas entre las más frecuentes que siguen a las palabras anteriores, escogidas entre miles de millones de archivos sacados de Internet. Es evidente (basta pensar un poco) que este algoritmo no puede asegurar que las contestaciones que dan estas herramientas sean verdad.

He utilizado varias veces estas herramientas para resolver problemas del siguiente tipo: conozco el argumento de una obra literaria, un cuento o una novela, pero no recuerdo el título o el autor (o ambos), y quiero que la herramienta me ayude a encontrarlos. Formulo la pregunta describiendo el argumento en cuestión y añado el nombre del autor si lo conozco. Cuando la herramienta me ofrece una respuesta, la investigo, para ver si es verdad. Hasta ahora, en el 100% de los casos en que he planteado un problema de este tipo, la respuesta ha sido alucinatoria. Mejor dicho, falsa.

Julio Verne

Voy a contar el último caso: Quería recordar el título de una obra de Julio Verne que leí años atrás, en la que una expedición intenta observar un eclipse de sol. Esta descripción se la proporcioné a GEMINI, el LLM de Google, que me contestó que la obra en cuestión es El rayo verde. Como yo sabía que la contestación era falsa, porque recuerdo bien el argumento de El rayo verde y no hay ningún eclipse, volví a hacer la pregunta cambiando la forma de expresarla, para ver si GEMINI me contestaba otra cosa. Así fue; esta vez me dijo que la obra en cuestión era La caza del meteoro. Como no he leído esta novela de Verne, sabía de entrada que la respuesta podía ser falsa, pero por si Verne hubiera escrito dos novelas con argumentos parecidos, busqué la descripción de esa novela en la Wikipedia, que me confirmó que en ella no hay ningún eclipse de sol.

Decidí entonces investigar por mi cuenta. Como la Wikipedia detalla los títulos de todas las obras de Verne (68 viajes extraordinarios y unas pocas más), fui eliminando las obras cuyo argumento conocía bien y las que no he leído, y entre las que quedaron elegí la que me pareció más probable. Acerté a la primera. La obra en cuestión es El país de las pieles. Pero el fracaso de GEMINI fue absoluto, como lo ha sido el de todas estas herramientas, siempre que les he formulado una pregunta de este tipo.

Se dirá que mis experiencias de uso no son estadísticamente significativas. Cierto. Pero resulta que OpenAI, creadora de ChatGPT, ha realizado un estudio a fondo sobre el tema, y ha llegado a la conclusión de que las alucinaciones son matemáticamente inevitables, y no son fallos técnicos que podrían resolverse mejorando los programas. Véase este artículo reciente en COMPUTERWORLD, que completa este otro artículo en la misma revista, algo más antiguo, que señala que, además de alucinaciones, estas herramientas hacen trampa en diversas circunstancias y se niegan a reconocer que mienten cuando se las pilla, cuyo título es muy significativo: ¿Creías que las alucinaciones de la Inteligencia Artificial generacional eran malas? Pues la cosa es aun peor.

Las noticias de este tipo, que avisan de los peligros de usar herramientas de tipo LLM y creerse a pies juntillas sus respuestas, se mezclan con otras noticias exageradas que anuncian a bombo y platillo que estas herramientas abrirán pronto paso a la inteligencia artificial generalizada, o sea, a las máquinas tan inteligentes (o más) como el hombre. Bastantes expertos niegan que esto vaya a suceder. Algunos llegan a decir que la investigación en LLM puede ser incluso perjudicial para ese otro objetivo, que para muchos ni siquiera va a ser posible, al menos a plazo no muy largo.

Entre tanto, llega la noticia de que en Albania acaban de nombrar ministro a un LLM. Parece que la estupidez e incompetencia de los políticos actuales no tienen límite.

Hablando de la Prueba de Turing, Evan Ackerman escribió esto en 2014, en IEEE Spectrum:

La prueba de Turing no demuestra que un programa sea capaz de pensar. Más bien indica si un programa puede engañar a un ser humano. Y los seres humanos somos realmente tontos. Caemos en todo tipo de trucos que una IA bien programada puede utilizar para convencernos de que estamos hablando con una persona real que puede pensar.

Desgraciadamente, cada día que pasa le damos la razón.

Hilo Temático sobre Inteligencia Natural y Artificial: Anterior Siguiente

Manuel Alfonseca

¿Debe Barbie conversar con los niños?

The same post in English

ChatGPT y otras herramientas del mismo estilo, llamadas LLM, por las siglas en inglés de Large Language Models (Modelos Grandes de Lenguaje) van siendo usadas cada vez con más frecuencia en nuestra vida diaria. Google, por ejemplo, ha integrado su herramienta GEMINI con su buscador. Algunas veces, cuando el programa que hay detrás del buscador lo considera conveniente, la pregunta que se le ha hecho es enviada a GEMINI, y la respuesta del LLM aparece en primer lugar, eso sí, con este aviso al final, en letra pequeña:

Las respuestas de la IA pueden contener errores.

Naturalmente que pueden contener errores, puesto que esas respuestas no se generan entendiendo la pregunta, sino a partir de información obtenida previamente de Internet, y aplicando un algoritmo que se basa en la extracción de palabras que suelen aparecer en dicha información después de las palabras anteriormente generadas. Véase un artículo de este blog en el que expliqué ese algoritmo. Puesto que la información extraída de Internet puede ser verdadera o falsa, y el algoritmo puede introducir falsedades nuevas donde no las había, las respuestas obtenidas pueden ser correctas, parcialmente correctas, o completamente erróneas, por lo que el aviso de Google es válido.

El imperio de la mentira

Abraham Lincoln

The same post in English

A Abraham Lincoln se le atribuye esta frase:

Se puede engañar a algunas personas todo el tiempo. Se puede engañar a todo el mundo durante algún tiempo. Pero no se puede engañar a todo el mundo todo el tiempo.

Cuando yo era joven se decía que, si a un político se le pillaba en una mentira, tenía que dimitir, porque había engañado al pueblo. Por entonces, esto era cierto. Entre los políticos más famosos que dimitieron durante esos tiempos por haber mentido se pueden mencionar John Profumo, ministro del Reino Unido, en 1963, y a Richard Nixon, presidente de los Estados Unidos, en 1974.

Estas cosas ya no son así. Hoy los políticos que dimiten cuando se les pilla mintiendo no son la regla, sino la excepción. Muchos políticos mienten cada vez que hablan a sabiendas de que todo el mundo sabe que mienten, y no les importa lo más mínimo. Es una muestra del descrédito en que ha caído el concepto de la verdad, uno de los criterios más importantes de la historia, no sólo para la política, sino para la ciencia y todas las formas del pensamiento humano.