Problemas de la Generación Automática de Lenguaje Natural

Alan Turing
The same post in English

ChatGPT y otras herramientas parecidas han cumplido con creces la prueba de Turing, pues son capaces de engañar a muchos seres humanos (no sé cuántos, pero desde luego bastantes más del 30%) haciéndoles creer que detrás de esos algoritmos tan simples hay una mente. Pero, como dijo Evan Ackerman (Senior Editor de IEEE Spectrum):

La prueba de Turing no demuestra que un programa de inteligencia artificial sea capaz de pensar. Indica si un programa de IA puede engañar a un ser humano. Y los seres humanos somos realmente tontos.

En un artículo anterior expliqué cómo funciona el algoritmo empleado por ChatGPT y herramientas similares para generar textos de aspecto humano. Es muy sencillo. Puede verse una explicación parecida (aunque más larga) en este artículo de Wolfram. Como expliqué en otro artículo, este algoritmo, junto con una enorme cantidad de datos contenida en una red neuronal gigantesca que almacena información y no tiene inteligencia, es capaz de generar textos de aspecto muy semejante a los que suele escribir un ser humano.

El artículo de Wolfram mencionado niega, como yo, que estas herramientas sean inteligentes. Sostiene que su verdadera utilidad es descubrir que los lenguajes humanos tienen particularidades que no conocíamos, que permiten que estas herramientas puedan generar textos de aspecto humano. Aquí discrepo de Wolfram. Creo que no hay que recurrir a propiedades extrañas de las lenguas; que el uso de un algoritmo tan sencillo como el que ambos hemos explicado hace inevitable que los textos producidos emulen los de origen humano. Llegaré más lejos: los textos que genera ChatGPT son realmente textos humanos astutamente combinados.

En un comentario al segundo artículo de mi blog que he mencionado, un lector señaló que ChatGPT había generado una traducción perfecta del latín al español de la fábula de Fedro La zorra y las uvas, mejor que la versión del traductor de Google. Consultado un experto, me explicó que el traductor traduce el texto que se le ofrece, mientras que ChatGPT, al generar la respuesta a la pregunta “traduce tal texto del latín al español”, recurre a las traducciones de origen humano presentes en los datos de entrenamiento que ChatGPT ha incluido en su memoria, y que probablemente incluyen parte de la Web mundial. Eso sí, el elemento de aleatoriedad en el algoritmo le permite, no ya utilizar un texto único, sino saltar de uno a otro cuando ambos se refieren a lo mismo. Así, en la traducción de la fábula, la frase "Aún no está madura; no quiero tomarla agria" podría haber salido de la página 191 de la Gramática Latina de Francisco Hidalgo. Y la frase “se consuelan con palabras” podría proceder de la página 99 de los Estudios Latinos de Elías Castro Blasco.

Sabemos que el algoritmo escoge, de entre la información utilizada para el entrenamiento de la red neuronal, una palabra que puede seguir a las que ya tiene. Si lo que lleva acumulado ha salido de un texto concreto, es probable que la palabra siguiente pertenezca también al mismo texto original. Si dicho texto conlleva derechos de autor, la contestación de la herramienta será reconocible y transgredirá dichos derechos. Esto ya ha ocurrido. De hecho, se sabe que muchos textos con derechos de autor han sido utilizados para entrenar la red neuronal de ChatGPT, y algunos autores (y el New York Times) han entablado pleitos contra OpenAI (la empresa madre de ChatGPT), acusándola de transgredir sus derechos de autor.

Ante esta situación, Business Insider informa de que OpenAI, con la ayuda de Microsoft y Google, que también disponen de herramientas de este tipo, están intentando conseguir que la responsabilidad de las transgresiones de los derechos de autor recaiga sobre el usuario final, el que hace la pregunta y publica la respuesta, y no sobre la empresa madre o sus programadores.

Si esto saliera adelante, significaría que toda persona que utilizara una de estas herramientas para generar un texto cualquiera, antes de publicarlo, debería investigar si alguna de sus partes transgrede derechos de autor. Si no lo hiciera, se expondría a verse sometido a pleito. Lo cual podría dar lugar a que sean pocos los que se atrevan a utilizar ChatGPT y sus congéneres.

Por otra parte, la aparición de ChatGPT provocó alarma en algunos estamentos, como los profesores, que veían amenazada su forma de calificar a sus alumnos, pues si les asignaban un trabajo, se exponían a que les presentaran uno preparado por ChatGPT. En enero de 2023, OpenAI puso a disposición pública una herramienta que supuestamente distinguía si un texto era de origen humano o había sido generado artificialmente. La herramienta fue retirada a los pocos días, porque en resumidas cuentas era tan confiable como tirar una moneda al aire.

Me parece que esto tiene explicación: como los textos generados por las herramientas son realmente textos humanos más o menos manipulados, es difícil que otras herramientas sean capaces de distinguir su origen. Algunas versiones más modernas se fijan más bien en el estilo. Por ejemplo, si el usuario hace una corrección a una respuesta de ChatGPT, la respuesta siguiente empieza siempre disculpándose y dando la razón al usuario. Esto, y otras propiedades estilísticas, se puede utilizar para detectar el origen de algunos textos.

Pero no son de toda confianza, porque he visto un caso en el que una de estas herramientas, a la que se le propuso un texto que empezaba por una frase típica de ChatGPT y continuaba con un párrafo de Wikipedia, concluyó que la primera parte era de origen humano, mientras el texto de Wikipedia era artificial. O sea, la conclusión fue exactamente opuesta a la realidad. He observado que los textos de Wikipedia tienden a ser considerados artificiales por estas herramientas, quizá debido a que ChatGPT hace uso de ellos en abundancia.

Hilo Temático sobre Inteligencia Natural y Artificial: Anterior Siguiente

Manuel Alfonseca

4 comentarios:

  1. Muy interesante, Manuel. Estando sustancialmente de acuerdo con todo, me gustaría comentar algunas frases. (Disculpas por la extensión del comentario.)

    >> haciéndoles creer que detrás de esos algoritmos tan simples hay una mente

    Es que, de hecho, hay una mente (o más bien, un conjunto de mentes). En cierto modo, tú llegas a esa misma conclusión más abajo.

    >> los textos que genera ChatGPT son realmente textos humanos astutamente combinados

    Así es, y ahí es donde está la mente detrás de ChatGPT: en las fuentes originales combinadas, y también en la astucia de la combinación.

    >> Business Insider informa de que OpenAI, con la ayuda de Microsoft y Google, ... están intentando conseguir que la responsabilidad de las transgresiones de los derechos de autor recaiga sobre el usuario final

    Lo cual demuestra la ínfima catadura moral de estas empresas. No te dan las referencias de las fuentes utilizadas, y cuando ellos mismos se dan cuenta de que es difícil resolver el problema de la autoría, se quitan el problema de encima, descargándolo sobre usuarios que tienen muchísimos menos recursos para resolver ese problema. Ojalá esto tenga como consecuencia que sean pocos los usuarios. Aunque, lamentablemente, no confío mucho en ello, porque solo grandes corporaciones editoriales serían capaces de pleitear para que se respeten sus derechos de autoría. Por lo tanto, la inmensa mayoría de los destinatarios de los textos generados no podrán hacer nada, y así la inmensa mayoría de los usuarios no se verán penalizados tampoco. Ojalá me equivocase, de verdad.

    >> En enero de 2023, OpenAI puso a disposición pública una herramienta que supuestamente distinguía si un texto era de origen humano o había sido generado artificialmente.

    Yo tuve una experiencia en este sentido. En junio sometí a una de estas herramientas detectoras un texto en inglés que era la traducción automática de un texto en español que yo mismo había escrito. La traducción estaba revisada y corregida por mí, por supuesto, pero tengo que decir que el traductor hizo una labor excelente y me ahorró un montón de trabajo (hice muy pocas correcciones). Pues bien, la herramienta detectora dictaminó que el texto no había sido generado por AI cuando, en cierto modo, sí había sido así. Especialmente si nos fijamos en el análisis estilístico, es indudable que el traductor automático estaba ajustándose a ciertos estándares que no son exactamente los míos.

    Por otra parte, es también algo paradójico pretender construir una herramienta que pase el Test de Turing (con examinadores humanos) pero que no lo pase (con examinadores algorítmicos). Escribí sobre esto hace tiempo en El Test de Turing revisitado.

    >> He observado que los textos de Wikipedia tienden a ser considerados artificiales por estas herramientas, quizá debido a que ChatGPT hace uso de ellos en abundancia.

    O, tal vez, porque los textos de Wikipedia son fruto de muchas manos, y en ese sentido están despersonalizados, de modo semejante -en su resultado- a un texto generado por AI.

    ResponderEliminar
    Respuestas
    1. Sí, por supuesto, detrás de las respuestas de ChatGPT están las mentes humanas que han compuesto [parte de] la contestación. Pero cuando escribí
      >> haciéndoles creer que detrás de esos algoritmos tan simples hay una mente
      me refería a "una mente artificial no humana". Con esta corrección, me atengo a lo que digo en el artículo.

      No son sólo grandes corporaciones editoriales (como el New York Times) las que han demandado a OpenAI, sino también asociaciones de autores como Authors Guild, que incluye autores tan conocidos como George R.R. Martin y John Grisham.

      Efectivamente, las herramientas de detección de la generación automática dejan mucho que desear. Tu ejemplo puede añadirse a otros muchos.

      Eliminar
    2. Gonzalo escribió: "Lo cual demuestra la ínfima catadura moral de estas empresas."
      Estas empresas también tienen argumentos válidos. Por ejemplo, se sabe que algunos usuarios de ChatGPT le han proporcionado la primera página de un libro que tiene derechos de autor y han pedido: "continúa este libro". Como el libro está entre los datos con que se ha entrenado a ChatGPT, la respuesta ha sido sacar el libro entero. O sea, ha proporcionado un libro pirata. En casos como esos, la culpa es, evidentemente, del usuario final, que sabe lo que está haciendo. Pero si se decide que la culpa es siempre del usuario final, muchos podrían verse afectados si hacen preguntas inocentes que ChatGPT responde con textos que tienen derechos y el usuario los publica como suyos sin saber lo que pasa con ellos.

      Eliminar
  2. Bueno, el LLM no es más que corrector de texto, como lo que vemos at teclear en un móvil. Solo que el texto previo que se estima, el contexto, está de unos 2000 tokens (dos páginas) y lo que predice (la respuesta) es de orden de 500 tokens.

    Estoy desarrollando método para confundirlo. Creo que estaría útil para exámenes para estudiantes . Que no caigan en la tentación de hacerlo no por mérito propio. No creo que es muy difícil. Simplemente el contexto hay que hacerlo poco predictivo, poco LL y ambiguo.

    De todos modos creo que la mayoría de la gente en su vida cotidiana no produce más que un chat. Esta afirmación se basa a análisis de artículos de periodistas. Creo que el principal problema no es si LLM es mente o no. El principal problema es como está adoctrinado y como a doctrina, el sesgo. Por que en efecto no es más que un sacerdote de bajo nivel. Charca budista con plegarias. Le dices "he pecado" , y dice "tres avemarías" . Simple, pero adoctrina. Quien no se lo cree que pregunte sobre inteligencia humana, como se mide y diferencias entre grupos.

    ResponderEliminar