Una conversación con ChatGPT

The same post in English

El pasado mes de enero decidí poner a prueba la Inteligencia Artificial de moda, ChatGPT de OpenAI. Para ello realicé dos sesiones independientes (ignoro si el programa las conectó entre sí), en las que mis preguntas se dirigieron a los siguientes temas científicos:

• La primera sesión la enfoqué con una serie de preguntas sobre la teoría general de la relatividad, las teorías cosmológicas, y el modelo cosmológico estándar.
• La segunda la dediqué a la teoría especial de la relatividad, el límite de la velocidad de la luz en el vacío, y la posibilidad de viajar en el tiempo.

Después de la primera sesión, mis conclusiones son las siguientes:

1. ChatGPT devuelve la información con cuentagotas. Hay que ir sacándosela poco a poco, a base de preguntas. De hecho, las contestaciones iniciales, además de incompletas, pueden ser erróneas, y no es raro que varias contestaciones sucesivas se contradigan. Veamos un ejemplo:

En primer lugar, pregunté por las ecuaciones de Friedman. La contestación me ofreció una versión de las ecuaciones en las que no figuraba el término en Λ. Le pregunté por la constante cosmológica, se disculpó, y me presentó la versión completa de las ecuaciones, añadiendo como explicación que el efecto del término en Λ es causar una expansión acelerada. Señalé que Λ puede ser positiva o negativa, volvió a disculparse, y añadió que los datos observables parecen indicar que es positiva.

2. A veces, ChatGTP comete errores sintácticos elementales. A una pregunta sobre la cosmología de Fred Hoyle, me respondió con tres párrafos, el primero de los cuales contenía estas palabras:

While he was a proponent of a steady-state model of the universe, which proposed that new matter is continuously created to form new stars and galaxies, and the universe has no beginning and no end.

Esta oración es subordinada y por lo tanto tiene principio, pero no tiene fin. En español dice esto: Aunque él propuso el modelo cosmológico de estado estacionario, que proponía que la materia se crea continuamente para formar estrellas y galaxias nuevas, y que el universo no tiene principio ni fin.

En mi aportación siguiente le señalé simplemente que tu primer párrafo tiene sintaxis incorrecta. Se disculpó, volvió a intentarlo, y ofreció la siguiente versión:

To clarify, Fred Hoyle was a proponent of a steady-state model of the universe, which proposed that new matter is continuously created to form new stars and galaxies and that the universe has no beginning and no end.

Que ya no es subordinada y por lo tanto es correcta.

3. No es difícil forzarle a desdecirse. Por ejemplo, a mis preguntas sobre el modelo cosmológico estándar, contestó esto:

The standard cosmological model, also known as the Lambda-CDM model, has a strong record of making accurate predictions about the universe.

Después de lo cual cita, como predicciones del modelo, las medidas de la radiación cósmica de microondas, la distribución a gran escala de las galaxias, la abundancia observada de elementos ligeros (se refiere al hidrógeno y el helio), y la expansión acelerada. Mencionó también sus predicciones sobre la materia oscura. Señalé entonces que casi todas esas predicciones no lo son, pues son ajustes de datos previamente observados. Se disculpó, aceptó la corrección, y señaló que el modelo ha hecho predicciones que aún no han sido confirmadas, como las relacionadas con la materia oscura y los neutrinos.

A lo largo de esta sesión, detecté lo siguiente:

• Las contestaciones fueron algo repetitivas. Durante la conversación, el programa me contestó con algunos párrafos prácticamente idénticos.
• El programa se adaptó a mí: siempre me dio la razón, nunca me llevó la contraria, y aumentó el nivel científico y la corrección de sus respuestas a medida que yo le señalaba deficiencias.

Fred Hoyle

Mi conclusión fue que este programa sólo tiene sentido cuando la persona que lo prueba es experta en lo que pregunta. De lo contrario, es muy probable que el interrogador se lleve una idea incompleta, o incluso errónea, sobre las cuestiones científicas consultadas.

Al final de esta prueba se me ocurrió pensar que sería interesante averiguar qué pasaría si le hiciera preguntas a ChatGPT con intención de engañarle, o al menos llevarle por un camino en el que pudiera perderse, y quizá caer en contradicciones. Por eso realicé la segunda sesión. Pero de esto hablaremos en el próximo artículo.

Hilo Temático sobre Inteligencia Natural y Artificial: Anterior Siguiente

Manuel Alfonseca