ChatGPT y otras herramientas del mismo estilo, llamadas
LLM, por las siglas en inglés de Large
Language Models (Modelos Grandes de Lenguaje) van siendo usadas cada vez con más frecuencia
en nuestra vida diaria. Google, por ejemplo, ha integrado su herramienta GEMINI
con su buscador. Algunas veces, cuando el programa que hay detrás del buscador
lo considera conveniente, la pregunta que se le ha hecho es enviada a GEMINI, y
la respuesta del LLM aparece en primer lugar, eso sí, con este aviso al final,
en letra pequeña:
Las
respuestas de la IA pueden contener errores.
Naturalmente que pueden contener errores, puesto que esas respuestas no se generan entendiendo la pregunta, sino a partir de información obtenida previamente de Internet, y aplicando un algoritmo que se basa en la extracción de palabras que suelen aparecer en dicha información después de las palabras anteriormente generadas. Véase un artículo de este blog en el que expliqué ese algoritmo. Puesto que la información extraída de Internet puede ser verdadera o falsa, y el algoritmo puede introducir falsedades nuevas donde no las había, las respuestas obtenidas pueden ser correctas, parcialmente correctas, o completamente erróneas, por lo que el aviso de Google es válido.
A pesar de todos los avisos que los expertos procuramos lanzar, algunas personas se dejan engañar por estos programas y creen a pies juntillas en todo lo que les dicen. Quizá los medios tienen parte de culpa, pues este campo de investigación suele ser presentado con una gran exageración. Las cosas han llegado hasta tal punto, que OpenAI (la empresa que lanzó al mercado ChatGPT) ha llegado a contratar psiquiatras para estudiar cómo afectan emocionalmente sus herramientas LLM a sus usuarios. Y recientemente se ha hecho pública la noticia de que ChatGPT ayudó a un joven a suicidarse, y sus padres han demandado a OpenAI.
En junio y julio de este año (2025) ha saltado a
los medios la noticia de que OpenAI y Mattel (la empresa creadora de
Barbie) han establecido una alianza para construir un modelo de
Barbie que esté conectado a las herramientas LLM de OpenAI para convertirla en
el primer juguete dotado con inteligencia artificial, al nivel en que ahora se
encuentra esta tecnología. Esta muñeca podría hacer lo siguiente:
·
Conversar con el niño. Nada más fácil: lo que diga
el niño se convierte en texto. Ese texto se envía a ChatGPT u otra herramienta
equivalente, se obtiene la respuesta, y se transforma este texto escrito en texto
pronunciado con la voz pregrabada correspondiente. La tecnología está
perfectamente preparada para hacer todas estas operaciones.
·
Guardar información sobre las
conversaciones anteriores. Basta con proporcionar a la muñeca una memoria
electrónica, que puede conservar cientos de gigabytes, y un programa que utilice
esa memoria para modificar las conversaciones posteriores. Esto está también al
alcance de nuestra tecnología.
Barbie sería así capaz de escuchar, responder,
recordar y adaptarse.
¿Qué consecuencias podría tener esto para nuestros
niños?
En un artículo publicado en IEEE
Spectrum, Marc Fernandez analiza la situación que se crearía, y plantea
cuáles podrían ser las ventajas y los inconvenientes de la misma:
·
Los partidarios afirman que los niños
aprenderán a crear historias, mejorarán sus habilidades de aprendizaje y
quienes tienen problemas para conseguir relaciones sociales encontrarán
compañía en su juguete. Mattel promete que la interacción del juguete con el
niño será segura y apropiada a su edad.
·
Los contrarios aducen que la relación del
niño con el juguete puede ser negativa e incapacitarle para tener relaciones
humanas reales. Y aquí cito a Marc Fernandez: Muchos padres temerán que el juguete diga
algo inapropiado. Pero el riesgo más sutil, y quizás más grave, es que diga
exactamente lo correcto, con un tono de serena empatía y refinada cortesía,
pero sin verdadera comprensión. Los niños, especialmente en las primeras etapas
de desarrollo, son muy sensibles al tono, el ritmo y la imitación emocional.
Los niños que jueguen con [estos] juguetes creerán que se les entiende, cuando,
en realidad, el sistema solo predice las palabras siguientes más plausibles.
El final del artículo de Marc Fernandez es
realmente demoledor:
Estamos
en una situación en la que los LLM están afectando a los adultos de maneras
profundas e inesperadas, y a veces desencadenan crisis de salud mental o refuerzan
creencias falsas o ideas peligrosas… Esta es una tecnología inexplorada, y los
adultos aún estamos aprendiendo a manejarla. ¿De verdad que debemos exponer a
los niños a ella?
Estupendo comienzo de temporada, Manuel.
ResponderEliminarJustamente hace dos días vi una conferencia de hace un año, donde la ponente (Leticia, amiga mía) presenta dos fragmentos de la película Megan (2022) donde se cuenta la historia de una muñeca semejante a lo que pretenden Mattel/OpenAI, y las consecuencias que acarrea, exactamente en la línea del artículo de Marc Fernandez que comentas.
https://www.youtube.com/watch?v=BAIMchZIqWw&t=1028s
Gracias, Gonzalo.
Eliminar"Supertoys last all summer long"... en ese cuento, y en la película de Spielberg/Kubrick que lo desarrolló, ya estaba todo. Aunque en ese caso, el objetivo inicial del "juguete" era interactuar con los padres...
ResponderEliminarGracias por el post... interesante e inquietante a partes iguales.
Roger Penrose habla de estos temas en su libro Sombras de la Mente. Dice entre otras cosas que la consciencia tiene que ver con la mecánica cuántica. ¿Qué opina de esas ideas don Manuel?
ResponderEliminarPenrose y Hameroff son los autores de la teoría ORCH-OR, que afirma que la consciencia reside en los efectos cuánticos de los microtúbulos en las células nerviosas.
EliminarAunque yo he colaborado con Hameroff en un artículo en el que simulamos dichos efectos cuánticos en los microtúbulos, no creo que de los microtúbulos surja la consciencia, aunque podría ser que ese efecto sirviera como intermediario entre la consciencia y la acción física.
Este es el artículo al que me he referido: A model of quantum-von Neumann hybrid cellular automata: Principles and simulation of quantum coherent superposition and decoherence in cytoskeletal microtubules M. Alfonseca, A. Ortega, M. de la Cruz, S.R. Hameroff, and R. Lahoz-Beltra. Quantum Information & Computation, Rinton Press, 15:1&2, pp. 22-36, Jan. 2015.
Bruno pregunta cómo sobrevive la conciencia sin cerebro.
ResponderEliminarEn mi opinión (y creo que también en la de Joseph Ratzinger) la consciencia necesita del cerebro, y por tanto la supervivencia de la consciencia está ligada con la resurrección de la carne, que posiblemente tendrá lugar en un universo diferente a este.
En el libro Escatología: La muerte y la vida eterna, Joseph Ratzinger escribe que la hipótesis de una resurrección en el momento de la muerte no se puede fundamentar ni lógica ni bíblicamente. de la vida futura podemos tener alguna idea en cuanto al hecho de que se da, por extrapolación y a partir de la vida presente; el mensaje de la fe puede echar mano de una cierta evidencia del pensamiento. Pero el qué de esta nueva vida está, por el contrario, absolutamente fuera de lo que nuestra experiencia abarca, siendo imposible conocerla a partir de nosotros. La transmisión de la fe no tiene como finalidad la satisfacción de la pura curiosidad. Siempre que esa transmisión sobrepasa el ámbito propio de la experiencia humana, no se trata de entretener sino de orientar. El más allá se desvela únicamente en la medida en que es útil para orientar en el más acá.
Eliminar"Anónimo" dice: "la hipótesis de una resurrección en el momento de la muerte no se puede fundamentar ni lógica ni bíblicamente." ¡Claro! La frase "en el momento" implica "en la misma línea del tiempo". Pero en un universo diferente a este el tiempo sería distinto, ¿no?
EliminarDecir que la IA no entiende las preguntas es como decir que una brújula no sabe dónde está el norte o que un termómetro no comprende la fiebre. ¡Claro que no lo “entienden”! Y sin embargo orientan, salvan vidas y son tremendamente útiles. Lo mismo ocurre con la IA: aunque no entiendan la pregunta, sus respuestas suelen ser tan claras y precisas como las de un experto humano. Al final, lo que importa no es si “entiende”, sino que funcione.
ResponderEliminarPor otro lado, decir que la IA “solo predice la siguiente palabra” es como decir que Shakespeare solo juntaba letras o que Einstein solo hacía cuentas. Sí, técnicamente es cierto… pero curiosamente, de ese “solo” salen obras maestras y teorías que cambiaron el mundo. Con la IA pasa lo mismo: de esa predicción estadística "emergen" respuestas tan útiles y coherentes que, en la mayoría de los casos, resultan indistinguibles de las que darían los mejores expertos humanos.
Está muy bien tu comparación de los LLM (me resisto a llamarlos IA) con la brújula o el termómetro. Todos ellos son herramientas que sirven a los seres humanos. Lo que se pone en duda en el artículo que comento es si esas herramientas serán útiles para los niños, o si serán perniciosas. Un termómetro puede ser pernicioso para un niño si lo rompe y se traga el mercurio, aunque sea muy útil para los adultos.
EliminarSi lees el artículo de miblog cuyo enlace he puesto en este artículo, donde expliqué cómo funcionan los LLM, verás que estás comparando a Shakespeare y a Einstein con un programa de ordenador de 18 instrucciones. No me parece muy oportuna la comparación. Tampoco veo la relación entre obras maestras y teorías que cambiaron el mundo con los textos que genera un LLM, que para colmo, en un porcentaje enorme de casos, son erróneos.
Dices: "de esa predicción estadística "emergen" respuestas tan útiles y coherentes que, en la mayoría de los casos, resultan indistinguibles de las que darían los mejores expertos humanos."
EliminarA veces. En relación con un estudio que estoy haciendo, entre ayer y hoy hice una pregunta a los LLM más utilizados sobre un cuento de O.Henry con un argumento que yo detallaba, del que conocía el título, pero estaba seguro de que O.Henry había utilizado el mismo argumento en otro cuento, cuyo título no recordaba.
Se lo pregunté a ChatGPT y me contestó con un título que no pertenece e O.Henry (lo comprobé porque están todos en la Wikipedia). Pregunté a ChatGPT en qué colección aparece el cuento del título que me había dado (yo sabía que no está en ninguna) y me contestó esto: "Perdone usted, el título que le he dado no es de O.Henry. El verdadero título es este otro" (me dio otro, que tampoco es de O.Henry). Volví a preguntarle en qué colección estaba y me contestó lo mismo, y esta vez me dio un título de O.Henry, pero que no tiene ese argumento.
Hice la pregunta tres o cuatro veces a Gemini y a la cuarta dio con el título correcto (el que ya conocía, no el que andaba buscando). Las otras veces me contestó con títulos que se parecían a otros cuentos de O.Henry, pero barajaban palabras (lógico, dado el algoritmo que usa) o bien títulos de O.Henry que tienen otros argumentos.
En fin, que no estoy de acuerdo con tu frase inicial que he citado al principio de este comentario.