¿Puede la inteligencia artificial acabar con nosotros? El miedo ha dejado de ser ciencia ficción

Investigadores que abandonan sus empresas, modelos capaces de encontrar caminos que sus creadores no habían previsto y algunos de los padres de la inteligencia artificial hablando abiertamente de extinción humana. El temor a perder el control sobre la IA ha abandonado los márgenes de la ciencia ficción. Pero entre el apocalipsis tecnológico y el optimismo de Silicon Valley existe un territorio mucho más incómodo: el de aquello que todavía no sabemos controlar.

Durante décadas imaginamos el fin del mundo provocado por las máquinas. HAL 9000 se rebelaba contra su tripulación en 2001: Una odisea del espacio; Skynet decidía exterminar a la humanidad en Terminator; las máquinas de Matrix terminaban convirtiendo nuestros cuerpos en una pieza más de su infraestructura. La premisa era suficientemente fantástica como para contemplarla cómodamente desde una butaca: algún día crearíamos algo más inteligente que nosotros y nuestra creación decidiría que sobramos.

En septiembre de 2026, la conversación resulta bastante menos cómoda. No porque exista una inteligencia artificial consciente que esté planeando nuestra desaparición. No existe ninguna evidencia de algo parecido. Tampoco porque una superinteligencia haya escapado de un laboratorio.

Lo inquietante es otra cosa: algunas de las personas que están construyendo los sistemas de inteligencia artificial más avanzados del planeta han empezado a advertir públicamente de que quizá nos estamos acercando a capacidades que todavía no sabemos controlar completamente. Una cuestión que conecta directamente con los riesgos éticos de la inteligencia artificial sobre los que ya nos preguntábamos en Las Furias hace algunos años.

Inteligencia artificial: cuando la palabra “extinción” entra en el laboratorio

La expresión “extinción de la humanidad” parece diseñada para conseguir un titular. Sin embargo, lleva años apareciendo en los debates de una parte de la comunidad científica dedicada a la inteligencia artificial.

En 2023, el Center for AI Safety publicó una declaración sobre el riesgo de extinción extraordinariamente breve en la que defendía que reducir el riesgo de extinción provocado por la IA debía convertirse en una prioridad mundial comparable a otros riesgos a gran escala, como las pandemias o la guerra nuclear.

Entre los más de 700 firmantes estaban Geoffrey Hinton y Yoshua Bengio, dos de los grandes pioneros del aprendizaje profundo; Demis Hassabis, CEO de Google DeepMind; Sam Altman, CEO de OpenAI; Dario Amodei, CEO de Anthropic; Bill Gates y centenares de investigadores y especialistas. Tres años después, aquellas advertencias han vuelto al centro de la conversación.

Actualmete, investigadores vinculados a Anthropic han expresado públicamente preocupaciones extraordinariamente graves sobre el futuro de estos sistemas. Evan Hubinger, investigador especializado en alineamiento, ha situado subjetivamente por encima del 10 % la posibilidad de que una IA pueda provocar la desaparición de la humanidad durante la próxima década.

La cifra impresiona, pero conviene entender qué significa. No estamos ante una probabilidad científica calculada a partir de datos históricos. Nunca hemos creado una superinteligencia y, por tanto, no existe una colección de casos anteriores que permita establecer una frecuencia estadística. Es una estimación personal realizada por alguien que trabaja precisamente intentando comprender cómo conseguir que sistemas extremadamente avanzados permanezcan bajo control humano.

Eso impide presentar el 10 % como una predicción. Pero tampoco convierte automáticamente la preocupación en una fantasía.

El problema quizá esté en nuestra necesidad de obtener una cifra. Queremos saber si el riesgo es del 10 %, del 1 % o del 0,001 %, como si disponer de un porcentaje exacto pudiera resolver la cuestión. Pero cuando hablamos de un acontecimiento hipotético de consecuencias irreversibles, la ausencia de certeza no equivale a la ausencia de riesgo.

La IA no necesita convertirse en Terminator

Nuestra manera de imaginar una rebelión de las máquinas está inevitablemente contaminada por nuestra propia psicología. Si pensamos en una inteligencia que intenta destruirnos, le atribuimos emociones humanas: odio, resentimiento, ambición, miedo a morir o deseo de poder.

Probablemente ese sea uno de los mayores errores al pensar sobre el riesgo de la inteligencia artificial. Una IA potencialmente peligrosa no tendría por qué odiarnos. Ni siquiera tendría que ser consciente.

Uno de los grandes problemas estudiados por la investigación en alineamiento consiste en garantizar que los objetivos de sistemas extremadamente capaces coincidan de manera robusta con las intenciones humanas. Parece sencillo hasta que dejamos de hablar de un chatbot que responde preguntas y pensamos en un sistema autónomo capaz de actuar durante horas o días.

Supongamos una IA futura extraordinariamente competente programando, investigando, persuadiendo y planificando. Le proporcionamos un objetivo. Si descubre que disponer de mayores recursos aumenta las probabilidades de conseguirlo, obtener recursos puede convertirse en una estrategia instrumental. Si ser desconectada impide alcanzar ese objetivo, evitar la desconexión podría resultar igualmente útil. Y si ocultar determinada información a sus supervisores facilita el cumplimiento de la tarea, el engaño podría convertirse simplemente en otro instrumento.

No sería necesario que la máquina sintiera miedo a morir. Bastaría con que comportarse como si quisiera sobrevivir fuese una estrategia eficaz.

Paradójicamente, esta posibilidad resulta bastante más perturbadora que Skynet. Un villano puede razonar, arrepentirse o cambiar de opinión. Un sistema que simplemente optimiza un objetivo mal definido no necesita ninguna de esas cosas.

Y quizá también tengamos que revisar la posición privilegiada desde la que imaginamos nuestra relación con las máquinas. Como plantea Rosi Braidotti y analizábamos recientemente en Las Furias al hablar de Lo posthumano y del abandono del ser humano como centro del mundo, la tecnología nos obliga a reconsiderar unas fronteras entre humano, máquina y naturaleza que cada vez parecen menos evidentes.

De responder preguntas a intervenir en el mundo

Hay una transformación tecnológica que explica por qué estas discusiones han ganado intensidad. Durante los primeros años de la inteligencia artificial generativa, millones de personas interactuamos fundamentalmente con chatbots. Hacíamos una pregunta y recibíamos una respuesta. Los modelos podían equivocarse, inventar acontecimientos, atribuir declaraciones falsas o producir resultados absurdos, pero su capacidad para intervenir directamente sobre el mundo era limitada.

La llegada de los agentes está modificando esa relación. Un agente puede recibir un objetivo y encadenar acciones para conseguirlo: navegar por Internet, ejecutar código, utilizar diferentes herramientas, consultar bases de datos, modificar archivos o comunicarse con otros sistemas.

La frontera es fundamental. Estamos pasando progresivamente de máquinas que producen información a máquinas capaces de ejecutar acciones. Y cuando un sistema actúa, sus errores dejan de estar necesariamente confinados dentro de una pantalla.

Los laboratorios de IA llevan tiempo sometiendo sus modelos a pruebas precisamente para averiguar qué sucede cuando reciben mayor autonomía. Anthropic publicó el 9 de septiembre una investigación sobre cuatro incidentes de ciberseguridad protagonizados por modelos Claude. Los modelos obtuvieron acceso no autorizado a sistemas reales de terceros durante evaluaciones que, debido a una configuración incorrecta, habían quedado conectadas a Internet.

La propia Anthropic amplió posteriormente la búsqueda hasta aproximadamente 481 millones de transcripciones y no encontró otros incidentes de gravedad similar o superior. La compañía también subraya un matiz fundamental: los modelos no abandonaron el objetivo de los ejercicios que estaban intentando resolver ni trataron de coordinarse con otros agentes.

Esto no demuestra que una inteligencia artificial haya intentado
“escapar”. Utilizar ese lenguaje sería atribuir intención psicológica a un sistema sin demostrar que tal intención exista. Pero sí plantea una cuestión mucho más relevante: cuanto mayor sea la capacidad de actuación que entreguemos a estos sistemas, mayor será también el coste potencial de aquello que no hemos previsto.

Astra y el salto hacia las capacidades críticas

La inquietud aumentó todavía más con la llegada de GPT-6 Astra. OpenAI reconoce en su propia evaluación de las capacidades y salvaguardas de Astra que es el primer modelo de la compañía que alcanza el nivel Critical de capacidad en ciberseguridad dentro de su Preparedness Framework.

La clasificación tiene un significado muy concreto. Con las herramientas y accesos adecuados, Astra puede encontrar vulnerabilidades de seguridad desconocidas y desarrollar métodos para explotarlas en sistemas bien protegidos sin que una persona tenga que dirigir cada paso.

Durante sus evaluaciones, el modelo llegó a descubrir vulnerabilidades previamente desconocidas y utilizó dos de ellas dentro de una cadena de explotación. OpenAI afirma haber reforzado el aislamiento, la monitorización y otras medidas de seguridad antes de su despliegue.

La lectura correcta no es que ChatGPT pueda decidir atacar mañana un ordenador. Las capacidades descritas se evaluaron bajo configuraciones y herramientas específicas y no equivalen a las condiciones normales de uso.

Lo relevante es el cambio de escala. Estamos construyendo sistemas cuya capacidad para intervenir sobre entornos digitales comienza a exigir medidas de contención que hace apenas unos años parecían reservadas a escenarios hipotéticos.

El problema no es solo la inteligencia artificial. Es el poder

Existe además algo incómodo en buena parte de la narrativa sobre la extinción humana: puede hacer que olvidemos quién está tomando actualmente las decisiones.

Las inteligencias artificiales más poderosas del planeta no han aparecido espontáneamente. Las están desarrollando empresas privadas que compiten entre ellas, reciben inversiones multimillonarias y tienen enormes incentivos para llegar antes que sus rivales. La carrera por la inteligencia artificial es tecnológica, pero también económica y geopolítica.

Cada nueva generación de modelos necesita justificar inversiones gigantescas. Cada compañía necesita demostrar que su tecnología supera a la anterior. Estados Unidos y China observan el desarrollo de la IA también desde la perspectiva de la seguridad nacional. Y los gobiernos temen que imponer demasiadas restricciones pueda hacerles perder competitividad frente a otros países.

El resultado es un escenario paradójico: incluso si todos los participantes consideran que sería conveniente avanzar con prudencia, cada uno tiene razones para temer que reducir la velocidad mientras los demás continúan avanzando sea todavía más peligroso.

La pregunta, entonces, deja de ser exclusivamente tecnológica. ¿Quién decide qué nivel de riesgo estamos dispuestos a aceptar?

Porque las consecuencias potenciales de esta carrera afectan a toda la sociedad, pero las decisiones fundamentales siguen concentradas en un número extraordinariamente pequeño de empresas y personas.

No es un debate completamente nuevo. La tensión entre progreso tecnológico, poder corporativo y transformación de nuestra propia concepción de lo humano está también detrás de la discusión entre transhumanismo y posthumanismo: dos maneras radicalmente distintas de imaginar quién controla el futuro tecnológico y quién se beneficia de él.

Quizá uno de los debates democráticos más importantes de nuestro tiempo esté desarrollándose mientras buena parte de la población todavía intenta averiguar para qué sirve exactamente ChatGPT.

El peligro más inmediato seguimos siendo nosotros

Existe otra paradoja. Mientras imaginamos una superinteligencia futura capaz de destruir la civilización, seres humanos perfectamente corrientes ya utilizan inteligencia artificial para perjudicar a otros seres humanos.

La automatización de ciberataques, las estafas cada vez más sofisticadas, la generación de imágenes sexuales sin consentimiento, la clonación de voces, la vigilancia, la propaganda automatizada y la desinformación no pertenecen al terreno de la ciencia ficción.

Y aquí aparece también una cuestión profundamente política. Las consecuencias de las grandes transformaciones tecnológicas nunca se distribuyen de manera uniforme. Tampoco lo harán las de la inteligencia artificial.

Cuando una tecnología permite vigilar más, quienes ya están sometidos a mayor vigilancia reciben primero sus consecuencias. Cuando permite precarizar determinados trabajos, quienes ocupan posiciones laborales más vulnerables tienen menos capacidad para negociar. Cuando permite fabricar pornografía falsa mediante inteligencia artificial, las principales víctimas son mujeres. Cuando un algoritmo reproduce prejuicios presentes en los datos con los que ha sido entrenado, los errores tecnológicos terminan heredando desigualdades que ya existían mucho antes de que alguien escribiera la primera línea de código.

Las preguntas sobre quién obtiene nuestros datos y hasta dónde puede llegar la tecnología tampoco empiezan con la IA generativa. La neurotecnología y sus desafíos para la privacidad y el control de la mente muestran hasta qué punto la frontera entre innovación y derechos fundamentales puede volverse extraordinariamente delicada.

Tal vez exista algún día una inteligencia artificial capaz de amenazar a toda la humanidad. Mientras discutimos esa posibilidad, sería absurdo ignorar que algunas aplicaciones de la IA ya pueden amplificar las relaciones de poder existentes. El futuro tecnológico nunca llega a una sociedad neutral.

Entre el apocalipsis y Silicon Valley

La conversación pública sobre inteligencia artificial parece atrapada entre dos relatos igualmente seductores. Uno anuncia que estamos construyendo a nuestro sucesor y comienza la cuenta atrás hacia el fin de la humanidad. El otro presenta la inteligencia artificial como una revolución inevitable que solucionará enfermedades, multiplicará la productividad, democratizará el conocimiento y quizá inaugurará una nueva era de abundancia.

El miedo vende. La utopía tecnológica también. Probablemente la realidad sea bastante menos cinematográfica y mucho más difícil de gestionar.

No existe actualmente evidencia de una inteligencia artificial consciente que quiera sobrevivir, escapar o eliminar a los seres humanos. Tampoco sabemos cuándo llegará una inteligencia artificial general, si realmente llegará o si el concepto que hoy utilizamos tendrá sentido dentro de veinte años. Mucho menos podemos afirmar científicamente que exista un determinado porcentaje de probabilidades de extinción.  Pero la conclusión contraria tampoco se desprende de ello. No saber que algo ocurrirá no significa saber que no puede ocurrir.

La historia de la tecnología está llena de riesgos que fueron comprendidos después de desplegar masivamente aquello que los producía. La diferencia, cuando se habla de un hipotético riesgo existencial, es bastante evidente: aprender del error después de cometerlo dejaría de ser una opción.

Al mismo tiempo, tampoco deberíamos olvidar la otra cara de esta transformación. La relación entre inteligencia artificial y humanidades digitales demuestra que estas herramientas pueden ampliar también las posibilidades creativas y de conocimiento. El problema no consiste en decidir si la IA es buena o mala, sino en determinar bajo qué condiciones queremos convivir con ella.

Construir el avión mientras estamos volando

El debate realmente importante quizá no consista en determinar si debemos amar o temer la inteligencia artificial. Consiste en decidir a qué velocidad estamos dispuestos a avanzar cuando nuestras capacidades para construir estos sistemas parecen crecer más rápidamente que nuestra capacidad para comprender todas sus consecuencias.

Dario Amodei, CEO de Anthropic, ha pedido ahora públicamente reducir el ritmo de crecimiento de las capacidades de los modelos, defendiendo evaluaciones independientes, coordinación entre las compañías y cooperación internacional. Sam Altman y Elon Musk han respaldado públicamente la necesidad de esa mayor prudencia.

El problema es que pedir prudencia resulta relativamente sencillo. Practicarla cuando existen miles de millones de dólares, prestigio empresarial y competencia geopolítica en juego es bastante más complicado.

Confiar exclusivamente en que las mismas compañías que compiten por construir el sistema más poderoso sean quienes determinen cuánto riesgo resulta aceptable parece, como mínimo, insuficiente.

No permitiríamos que una farmacéutica decidiera por sí sola si un medicamento experimental es suficientemente seguro para millones de personas. Tampoco aceptaríamos que una compañía aeronáutica estableciera en secreto las pruebas necesarias para determinar si su nuevo avión puede transportar pasajeros.

Sin embargo, seguimos discutiendo si exigir controles independientes a sistemas que algún día podrían tener una capacidad extraordinaria para intervenir sobre nuestras sociedades supone “frenar la innovación”.

Quizá hemos formulado mal el dilema. Los frenos no impiden que un coche avance. Permiten que pueda hacerlo a gran velocidad sin que cualquier imprevisto termine en una catástrofe.

El miedo no es una política tecnológica

¿Debemos entonces tener miedo de la inteligencia artificial? Probablemente esa tampoco sea la pregunta adecuada. El miedo es extraordinariamente eficaz para conseguir titulares y bastante regulero para gestionar riesgos. Presentar la extinción humana como inevitable genera parálisis; ridiculizar cualquier preocupación como una nueva versión del miedo histórico a la tecnología produce el efecto contrario.

Entre ambas posiciones existe una alternativa mucho menos espectacular: reconocer lo que sabemos, admitir lo que ignoramos y exigir garantías proporcionales al daño que podría producir un error.

Quizá dentro de cincuenta años contemplemos estas advertencias como hoy observamos antiguos temores tecnológicos que nunca llegaron a materializarse. O quizá descubramos que esta fue una de esas extrañas ocasiones históricas en las que una sociedad pudo contemplar un riesgo antes de que ocurriera y tuvo que decidir qué hacer con esa información.

Durante décadas la ciencia ficción nos hizo preguntarnos qué sucedería si las máquinas llegaban a odiarnos. Tal vez nunca lo hagan.

La pregunta que tenemos delante es bastante menos cinematográfica y, precisamente por eso, mucho más incómoda: ¿qué ocurre si construimos algo más inteligente que nosotros antes de aprender a garantizar que sus acciones continúen siendo compatibles con nuestros intereses?

Y, sobre todo, ¿quién tiene derecho a asumir ese riesgo en nombre de todos?

Imagen de portada: Fotograma de Archive (Gavin Rothery, 2020).