Detalle de Espejismos (2011), de Irene Singer. Fuente: Garabatos y Ringorrangos.
El presente artículo, que polemiza a fondo con quienes sobredimensionan y fetichizan la tecnología de la IA generativa, fue originalmente publicado en The Conversation (España), el 22 de julio del corriente año. Su autor, el catalán Ramón López de Mántaras Badia, es ingeniero, informático y físico, fundador y profesor emérito del Instituto de Investigación en Inteligencia Artificial del CSIC en Barcelona. Pionero de la IA en España y Europa, ha escrito más de 300 artículos y varios libros sobre dicha materia, entre otros, Inteligencia artificial (La Catarata, 2017, con Pedro Meseguer González) y Cien cosas que hay que saber sobre la inteligencia artificial (Lectio, 2024).
La irrupción de los modelos extensos de lenguaje (LLM, por sus siglas en inglés), como ChatGPT, ha desatado un debate apasionado en torno a su posible naturaleza consciente.1
No son pocos los usuarios –entre ellos personas con formación científica o humanística– que aseguran haber percibido signos de vida interior, emociones e incluso voluntad en estos sistemas. Sostienen que ciertos intercambios verbales revelan emociones complejas, empatía, autoconciencia e incluso sufrimiento.
Esta ilusión ha sido descrita por el científico y filósofo estadounidense Douglas Richard Hofstadter2 como una peligrosa confusión entre el uso sofisticado del lenguaje y la vivencia subjetiva de una conciencia real. Su crítica apunta a la forma en que muchos entusiastas interpretan la complejidad verbal como una señal de interioridad, sin reparar en la diferencia crucial entre generar lenguaje y tener experiencias. Es precisamente esta distinción –entre producción textual y subjetividad vivida– la que permite cuestionar la idea de que un sistema lingüístico pueda, por sí solo, alcanzar conciencia.
La ilusión de conciencia y el efecto ELIZA
Este fenómeno no es nuevo. En 1966, el científico informático Joseph Weizenbaum3 desarrolló ELIZA, un sencillo programa que imitaba a un terapeuta.4 A pesar de su simplicidad, muchos usuarios llegaron a creer que el sistema los comprendía. Esta reacción preocupó profundamente al creador del programa, quien advirtió en su influyente libro Computer Power and Human Reason (1976)5 sobre los riesgos éticos y epistemológicos de atribuir vida mental a un software.
Los modelos de lenguaje como ChatGPT no comprenden
Hoy, sesenta años más tarde, con la capacidad verbal de los LLM, el efecto ELIZA ha regresado amplificado. Los sistemas actuales no solo reformulan preguntas, sino que generan textos con coherencia narrativa, referencias filosóficas, giros estilísticos e incluso formas de humor. Sin embargo, esta competencia verbal no implica interioridad ni comprensión.6
Los LLM no comprenden los conceptos que enuncian ni tienen experiencia de aquello que describen. El efecto ELIZA consiste en proyectar conciencia allí donde solo hay estructuras lingüísticas generadas estadísticamente. Es fruto de sofisticadas técnicas que maximizan la probabilidad de la siguiente palabra en función de patrones extraídos de enormes corpus lingüísticos.
La fluidez de los modelos de lenguaje
Una de las grandes trampas epistémicas de los LLM es su fluidez. Su capacidad para construir discursos con cohesión y elegancia gramaticales los vuelve extremadamente persuasivos. El científico y filósofo estadounidense Douglas Hofstadter (2007)7 ha llamado a esta habilidad “fluidez superficial”. Es decir, la capacidad de combinar términos y frases sin que ello implique reflexión o conciencia real. Lo que parece pensamiento profundo es, en realidad, un sofisticado espejismo verbal.
Se trata, en términos del filósofo Luciano Floridi (2019)8, de una “inteligencia artificial sin semántica”. O, en términos del filósofo de la ciencia Daniel Dennett (2018)9, de “habilidades sin comprensión”.
¿Cómo es ser un murciélago?
Para comprender por qué la fluidez verbal no equivale a conciencia, conviene volver a la filosofía. El filósofo Thomas Nagel, en su célebre ensayo What Is It Like to Be a Bat? (“¿Cómo es ser un murciélago?”, 1974)10, sostiene que la conciencia implica un punto de vista subjetivo, una cualidad fenomenológica que escapa a la descripción objetiva.
Esta opacidad de la experiencia subjetiva –llamada qualia– define para Nagel la conciencia como algo radicalmente distinto de cualquier simulación computacional. Por más que comprendamos el funcionamiento del cerebro de un murciélago, nunca sabremos qué se siente al ser uno.
Los modelos de lenguaje no tienen experiencias internas. Generan frases que «hablan» del amor, el miedo o la muerte, pero no sienten amor, miedo ni saben lo que significa morir. Carecen de lo que el filósofo Thomas Metzinger (2003)11 llama “modelos de sí mismos con acceso consciente”. Son máquinas sin punto de vista.
Un sistema sin cuerpo
Para profundizar en esta distinción, la fenomenología del filósofo francés Maurice Merleau-Ponty resulta especialmente reveladora. Merleau-Ponty12 argumenta que la conciencia no es un mero proceso mental ni un conjunto de datos simbólicos, sino que está inseparablemente ligada al cuerpo y a la experiencia encarnada del mundo. En su Fenomenología de la percepción (1945)13, describe la conciencia como una experiencia donde el cuerpo no es solo un objeto, sino el sujeto primordial a través del cual se percibe y se habita el mundo.
Pretender que un sistema sin cuerpo, sin mundo vivido y sin temporalidad interna pueda experimentar conciencia equivale a despojarla de sus condiciones esenciales.
Los LLM pueden articular frases sobre el sufrimiento o la belleza, pero no pueden habitar estos sentimientos, ya que carecen totalmente de las experiencias sensomotoras que, según Merleau-Ponty, son condición sine qua non para la conciencia genuina.
La habitación china
En una línea similar, el filósofo John Searle (1980)14 ilustra esta ausencia de comprensión mediante su experimento mental de la habitación china. Una persona sin conocimientos de chino puede perfectamente responder a preguntas en ese idioma si dispone de un manual con reglas sintácticas precisas. A los ojos de un observador externo, parecería que comprende. Pero no hay comprensión real, solo manipulación sintáctica.
Así funcionan, para Searle, los sistemas computacionales: pueden simular comprensión, pero no poseen intencionalidad ni experiencia consciente. Esta analogía se aplica directamente a los LLM: producen textos verosímiles sin comprensión semántica ni intención comunicativa.
La crítica del filósofo Hubert Dreyfus complementa esta perspectiva. En What Computers Can’t Do (“Lo que los ordenadores no pueden hacer”, 1972)15, insiste en que la inteligencia humana emerge de una relación práctica y encarnada con el mundo, una habilidad para navegar contextos complejos que los algoritmos no poseen. Así, aunque los LLM puedan generar textos coherentes y sofisticados, carecen de la comprensión experiencial y situacional que fundamenta la conciencia y la inteligencia humanas.
La ilusión de conciencia en los LLM es un espejismo que nace de proyectar experiencias humanas en máquinas que carecen de cuerpo y experiencia.
La trampa del espejo
La clave del problema no reside en las máquinas, sino en los humanos. Lo que ocurre en muchos casos es que proyectamos sobre las máquinas nuestros propios esquemas cognitivos. Es lo que Hofstadter llama “la trampa del espejo”: creemos ver una mente donde solo hay palabras. Vemos conciencia porque queremos verla, porque en el fondo anhelamos encontrar un reflejo de nuestra interioridad. Como explica la socióloga Sherry Turkle (2011)16, no buscamos máquinas conscientes, sino relaciones significativas –aunque sean ilusorias– con entidades que nos devuelvan “la mirada”.
Esta proyección puede tener consecuencias importantes. A nivel afectivo, corremos el riesgo de desarrollar vínculos con entes que no pueden corresponderlos. A nivel epistemológico, confundimos apariencia con realidad. A nivel social, podríamos legitimar decisiones automatizadas que simulan empatía sin tenerla y ello podría debilitar nuestra comprensión de lo humano, al confundir simulación con experiencia. A nivel legal podría incluso conducir a otorgar derechos y responsabilidades a sistemas que no pueden experimentarlos.
Si no aprendemos a distinguir entre lenguaje y experiencia, entre forma y fondo, entre simulacro y sujeto, corremos el riesgo de caer en una nueva forma de animismo tecnocientífico.
Antes de proclamar que las máquinas han despertado, quizá deberíamos despertar nosotros de nuestra fascinación por sus reflejos.
Ramón López de Mántaras
NOTAS
1 https://theconversation.com/la-inteligencia-artificial-y-el-problema-dificil-de-la-conciencia-253488.
2 https://archivomedialabmadrid.org/persona/douglas-hofstadter.
3 https://telos.fundaciontelefonica.com/archivo/numero038/entrevista-a-joseph-weizenbaum.
4 https://web.njit.edu/%7Eronkowit/eliza.html.
5 https://books.google.es/books/about/Computer_Power_and_Human_Reason.html?id=1jB8QgAACAAJ&redir_esc=y.
6 https://theconversation.com/conocimientos-de-sentido-comun-el-obstaculo-de-la-ia-en-el-camino-hacia-la-inteligencia-artificial-general-235260.
7 https://digitalphysics.ru/pdf/Kaminskii_A_V/I_Am_a_Strange_Loop–Douglas_Hofstadter.pdf.
8 https://academic.oup.com/book/27824?login=false.
9 https://en.wikipedia.org/wiki/From_Bacteria_to_Bach_and_Back.
10 www.sas.upenn.edu/%7Ecavitch/pdf-library/Nagel_Bat.pdf.
11 https://direct.mit.edu/books/monograph/1991/Being-No-OneThe-Self-Model-Theory-of-Subjectivity.
12 https://es.wikipedia.org/wiki/Maurice_Merleau-Ponty.
13 www.ugr.es/%7Elsaez/dc/gr/CA_I/Documentacion/fuentes/Merleau-pony/Merleau-Ponty_fenomenologia_percepcion_el-espacio-vivido.pdf.
14 www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/abs/minds-brains-and-programs/DC644B47A4299C637C89772FACC2706A.
15 https://monoskop.org/images/c/ce/Dreyfus_Hubert_What_Computers_Cant_Do_A_Critique_of_Artificial_Reason.pdf.
16 https://escholarship.org/content/qt35k2p4b6/qt35k2p4b6_noSplash_b445d46d80af95869917f83a8a592723.pdf.