Una conversación con ChatGPT

The same post in English

El pasado mes de enero decidí poner a prueba la Inteligencia Artificial de moda, ChatGPT de OpenAI. Para ello realicé dos sesiones independientes (ignoro si el programa las conectó entre sí), en las que mis preguntas se dirigieron a los siguientes temas científicos:

  • La primera sesión la enfoqué con una serie de preguntas sobre la teoría general de la relatividad, las teorías cosmológicas, y el modelo cosmológico estándar.
  • La segunda la dediqué a la teoría especial de la relatividad, el límite de la velocidad de la luz en el vacío, y la posibilidad de viajar en el tiempo.

Después de la primera sesión, mis conclusiones son las siguientes:

  1. ChatGPT devuelve la información con cuentagotas. Hay que ir sacándosela poco a poco, a base de preguntas. De hecho, las contestaciones iniciales, además de incompletas, pueden ser erróneas, y no es raro que varias contestaciones sucesivas se contradigan. Veamos un ejemplo:

En primer lugar, pregunté por las ecuaciones de Friedman. La contestación me ofreció una versión de las ecuaciones en las que no figuraba el término en Λ. Le pregunté por la constante cosmológica, se disculpó, y me presentó la versión completa de las ecuaciones, añadiendo como explicación que el efecto del término en Λ es causar una expansión acelerada. Señalé que Λ puede ser positiva o negativa, volvió a disculparse, y añadió que los datos observables parecen indicar que es positiva.

  1. A veces, ChatGTP comete errores sintácticos elementales. A una pregunta sobre la cosmología de Fred Hoyle, me respondió con tres párrafos, el primero de los cuales contenía estas palabras:

While he was a proponent of a steady-state model of the universe, which proposed that new matter is continuously created to form new stars and galaxies, and the universe has no beginning and no end.

Esta oración es subordinada y por lo tanto tiene principio, pero no tiene fin. En español dice esto: Aunque él propuso el modelo cosmológico de estado estacionario, que proponía que la materia se crea continuamente para formar estrellas y galaxias nuevas, y que el universo no tiene principio ni fin.

En mi aportación siguiente le señalé simplemente que tu primer párrafo tiene sintaxis incorrecta. Se disculpó, volvió a intentarlo, y ofreció la siguiente versión:

To clarify, Fred Hoyle was a proponent of a steady-state model of the universe, which proposed that new matter is continuously created to form new stars and galaxies and that the universe has no beginning and no end.

Que ya no es subordinada y por lo tanto es correcta.

  1. No es difícil forzarle a desdecirse. Por ejemplo, a mis preguntas sobre el modelo cosmológico estándar, contestó esto:

The standard cosmological model, also known as the Lambda-CDM model, has a strong record of making accurate predictions about the universe.

Después de lo cual cita, como predicciones del modelo, las medidas de la radiación cósmica de microondas, la distribución a gran escala de las galaxias, la abundancia observada de elementos ligeros (se refiere al hidrógeno y el helio), y la expansión acelerada. Mencionó también sus predicciones sobre la materia oscura. Señalé entonces que casi todas esas predicciones no lo son, pues son ajustes de datos previamente observados. Se disculpó, aceptó la corrección, y señaló que el modelo ha hecho predicciones que aún no han sido confirmadas, como las relacionadas con la materia oscura y los neutrinos.

A lo largo de esta sesión, detecté lo siguiente:

  • Las contestaciones fueron algo repetitivas. Durante la conversación, el programa me contestó con algunos párrafos prácticamente idénticos.
  • El programa se adaptó a mí: siempre me dio la razón, nunca me llevó la contraria, y aumentó el nivel científico y la corrección de sus respuestas a medida que yo le señalaba deficiencias.

Fred Hoyle

Mi conclusión fue que este programa sólo tiene sentido cuando la persona que lo prueba es experta en lo que pregunta. De lo contrario, es muy probable que el interrogador se lleve una idea incompleta, o incluso errónea, sobre las cuestiones científicas consultadas.

Al final de esta prueba se me ocurrió pensar que sería interesante averiguar qué pasaría si le hiciera preguntas a ChatGPT con intención de engañarle, o al menos llevarle por un camino en el que pudiera perderse, y quizá caer en contradicciones. Por eso realicé la segunda sesión. Pero de esto hablaremos en el próximo artículo.

Hilo Temático sobre Inteligencia Natural y Artificial: Anterior Siguiente

Manuel Alfonseca


10 comentarios:

  1. Jajajajaja, no puedo evitar reírme una vez más con este nuevo y también brillante artículo tuyo, Manuel.

    No he probado aún este ChatGPT, pero me fío plenamente de lo que comentas. Entonces, de momento, parece que esta IA sólo es precisa cuando el interlocutor puede irle guiando en el proceso.

    Esperando con ganas el siguiente. Un abrazo enorme.

    ResponderEliminar
  2. Una conclusión muy interesante: se adapta al examinador, asumiendo todos sus comentarios.

    ResponderEliminar
  3. Aquí va una entrevista en la que el chat no da pie con bola, de un experto en tebeos sobre Ibáñez, Mortadelo y Filemón:

    http://www.ojodepez-fanzine.net/latiacomforo/viewtopic.php?t=13010&start=0&sid=ddb503f612c855acc4ed17f91e19d479

    ResponderEliminar
  4. El 5 de enero se publicó en otro foro una conversación acerca de Benedicto XVI, os pongo el enlace y mi respuesta:

    https://www.forumlibertas.com/benedicto-xvi-como-lo-ve-la-inteligencia-artificial-chatgpt/

    ChatGPT, con una retórica bastante cuidada, no razona en absoluto, no analiza la información. Simplemente recopila y vuelca una amalgama ecléctica y muy bien construida a partir de los textos con los que ha sido alimentado. Es una especie de interfaz «amigable» con una enciclopedia (pero con el gran inconveniente de que no cita sus fuentes, y por tanto no podemos saber si son fiables).

    En este sentido, preguntar a ChatGPT es como preguntar, ¿quién dice la gente que es Benedicto XVI? Por lo tanto, el experimento sirve para evaluar la eficacia de ChatGPT, pero no sirve para conocer mejor a Benedicto XVI. No atribuyamos a ChatGPT una autoridad que no tiene. El artículo no lo hace, pero puede inducir a confusión.

    ResponderEliminar
  5. Yo probé a que me diera el cambio de dinero con restricción de valores de monedas y se colgó.

    ResponderEliminar
  6. Como siempre exagerando en las noticias el tema de la inteligencia artificial siempre igual que si ya se comporta como un humano que mania con desinformar porque una cosa es qye este muy avanzada y entienda?pero es programacion no es conciente de que entiende ni de que habla es como un loro suprrsofisticado

    ResponderEliminar
  7. Este comentario fue enviado por Antonio Bello:

    Me gustaría comentar varias cosas, si me permites:

    En primer lugar habría que tener en cuenta que Chat GPT es una versión "capada" de GPT-3, entrenada específicamente para ser "políticamente correcta" , no meterse en líos y seguramente para parecer convincente en sus respuestas. Tal vez serían posibles otras versiones, en las que el algoritmo reconociera no saber algo, o expresara dudas cuando no estuviera seguro.

    Por lo que voy leyendo del tema estos días, los "expertos" parecen dividirse entre los que ven a Chat GPT poco más que como una atracción de feria y los que piensan que es "revolucionario". Yo creo que me encuentro más bien entre los segundos, por supuesto sin considerarme experto en el tema ni mucho menos.

    Sin entrar en consideraciones teóricas más profundas, me parece ya de por sí fascinante que una máquina dé respuestas en lenguaje natural en muchos casos ya por encima del humano "medio". Podemos entrar en el tema de si el sistema realmente "entiende" o no lo que se le pregunta y responde, pero insisto en que al menos me parece una herramienta potentísima en muchos ámbitos, máxime si tenemos en cuenta que se le puede entrenar con "sets" específicos de datos. Por ejemplo se le podría entrenar específicamente para responder preguntas de Física o Medicina, y estoy seguro de que en esos casos el nivel de las respuestas se elevaría.

    Imaginemos el momento en el que en algunos temas la "inteligencia artificial" empiece a responder por encima del nivel humano aportando soluciones mejores que las conocidas o "novedosas", no olvidemos que estas IA están específicamente diseñadas para ser "generativas", es decir, para producir outputs que no son mera repetición del juego de datos con el que se las entrena.

    Puede que desde cierto punto de vista estas IA no sean más que calculadoras más potentes, en el sentido de que del mismo modo que la calculadora da sus resultados sin "conocer" el concepto de suma, o de coseno, chat GPT responde sin "entender" lo que se le pregunta, y tal vez, al menos por ahora no sea más que una calculadora potentísima que opera con palabras en vez de números. Pero..¿y si se le pudiera hacer operar con "conceptos", en vez de con palabras? ¿O tal vez los "conceptos" no sean más que conjuntos de palabras, con algún patrón en común que el humano no es capaz de "comprender" directamente pero el algoritmo sí?

    Un saludo

    ResponderEliminar
    Respuestas
    1. No, ChatGPT no entiende lo que se le pregunta. Es un algoritmo que hace exactamente lo que se le ha ordenado, y la comprensión de los textos no está incluida en el algoritmo. De hecho, no tenemos ni idea de qué habría que hacer para que un programa comprenda textos.

      Sí, estos programas no son más que calculadoras más potentes, y no es posible (por ahora, y quizá nunca) hacerles trabajar con conceptos en vez de con palabras. La idea de que sea posible hacer esto es ciencia-ficción. Que los conceptos no sean más que conjuntos de palabras no lo acepta ninguna de las teorías gnoseológicas o epistemológicas en boga, ni siquiera las más nominalistas. El concepto es un constructo mental, mientras la palabra es un símbolo. Y si los algoritmos no tienen mente, tampoco pueden tener conceptos.

      Eliminar
  8. https://www.muyinteresante.es/ciencia/59531.html que opina sobre la noticia de que ya se puede ver el inicio del universo?

    ResponderEliminar
    Respuestas
    1. Que no se puede ver el inicio del universo (:-) A esta noticia le pasa lo que suele ocurrir cuando los medios de comunicación generalistas meten mano en asuntos científicos: que no se enteran o no lo explican bien.

      Pero el tema es interesante, y me da pie para un artículo en mi blog. Eso sí, se queda para marzo.

      Eliminar