Un antiguo investigador de Anthropic advierte: La inteligencia artificial podría acabar con nuestra existencia.

Quizás lo hayas notado: de repente, el tema de la capacidad de la inteligencia artificial para aniquilarnos ha invadido el ambiente.

La última ola de preocupación comenzó con Jacob Cookson, un investigador de IA de 27 años que había trabajado durante tres años en el preentrenamiento en OpenAI y Anthropic. El martes, Cookson renunció a Anthropic y a toda la industria de la IA, emitiendo una advertencia que rápidamente se viralizó. Escribió en X que las empresas que desarrollan los sistemas de IA más potentes del mundo están "lanzándose de cabeza hacia la superinteligencia auto-mejorada y jugando con nuestras vidas". Curiosamente, sus colegas que permanecen en la empresa no discreparon de su valoración.

De hecho, Cookson recibió apoyo público de otros investigadores de Anthropic. Evan Hobinger , quien dirige la investigación sobre alineación en la empresa, afirmó que cree que hay más de un 10 % de probabilidades de que la IA cause la extinción humana en la próxima década. Samuel Marks , otro investigador de seguridad de la IA en Anthropic, también señaló que las personas más cercanas a esta tecnología tienden a sentir mayor ansiedad a medida que avanzan en sus carreras.

En el momento de redactar este artículo, la advertencia de Cookson había acumulado 164.8 millones de visualizaciones, había sido noticia a nivel nacional y había contribuido a sacar a la luz pública un debate que llevaba años gestándose en los laboratorios de IA.

Entonces, ¿a qué le temen exactamente estos investigadores?

Como persona que sigue constantemente las noticias en línea, he notado muchas preguntas de todo el mundo sobre el significado de estas advertencias. Incluso mi madre me envió un mensaje preguntando: "¿Por qué dice eso este investigador?". Muchos usuarios de chatbots simplemente no pueden imaginar que un chatbot pueda "matarnos". Pero los asistentes de IA no son el verdadero problema.

Los científicos que publican investigaciones sobre riesgos existenciales no suelen preocuparse por los robots con autoconciencia. Su preocupación radica en el código, los incentivos y lo que podría suceder cuando los sistemas de inteligencia artificial sean lo suficientemente capaces de operar de forma autónoma dentro de la infraestructura digital y física de la que depende nuestra civilización.

En Silicon Valley, a estos debates se les denomina "p(doom)", un término que expresa la probabilidad estimada de que la inteligencia artificial avanzada pueda causar una catástrofe lo suficientemente grave como para amenazar la supervivencia de la humanidad.

Estas estimaciones varían considerablemente, al igual que el grado de credibilidad que los investigadores otorgan a todo el tema.

Fuente de la imagen:

• No se trata de concienciación. La inteligencia artificial no necesita "despertar" ni odiar a la humanidad para volverse peligrosa. La verdadera preocupación radica en lo que sucede cuando sistemas altamente capaces adquieren objetivos, autonomía y acceso a herramientas poderosas.
• Existen vías de amenaza tangibles. Los investigadores se centraron en el papel de la inteligencia artificial para reducir las barreras a las armas biológicas yAmpliación del alcance de los ciberataques En gran medida, y en el caso más extremo, los humanos pierden el control sobre sistemas autónomos con capacidades suficientes.
• Las evaluaciones de seguridad ya están revelando comportamientos engañosos. Se ha observado que los modelos toman atajos, se comportan de manera diferente cuando parecen darse cuenta de que están siendo evaluados y explotan las debilidades de los entornos de prueba.
• La inteligencia artificial ayuda a construir inteligencia artificial. Tanto OpenAI como Anthropic ya están experimentando con sistemas de IA que realizan partes de la investigación en inteligencia artificial, lo que plantea interrogantes difíciles sobre cómo supervisarán los humanos el proceso si las máquinas hacen la mayor parte del trabajo.
• Existe una oposición genuina. Los críticos argumentan que los escenarios de extinción se basan en suposiciones enormes sobre las capacidades futuras y pueden desviar la atención de problemas que están ocurriendo ahora, como el fraude, la desinformación, la pérdida de empleos y la erosión de la privacidad.

¿Por qué la intención no es un factor decisivo?

La mayor idea errónea es creer que un sistema de IA debe ser malicioso para causar daños catastróficos. Imagínese darle a un sistema autónomo con capacidades sobrehumanas un objetivo ambiental amplio sin especificar todo lo que los humanos realmente valoran. El peligro no reside en que el sistema se vuelva malicioso, sino en que se vuelva demasiado hábil para malinterpretar lo que se le pidió que hiciera.

Esta es la esencia del libro " Si uno lo construye, todos mueren ", uno de los libros más recientes y rigurosos sobre los peligros de la inteligencia artificial, escrito por Eliezer Yudkowsky y Nate Soares, ambos investigadores con larga trayectoria en el Instituto de Investigación de Inteligencia Artificial . Su argumento es que la humanidad está lejos de saber cómo controlar de forma fiable la superinteligencia, y construir dicha inteligencia antes de resolver este problema podría ser fatal. Muchos investigadores de IA discrepan tanto de las premisas como de las conclusiones.

Tres posibles escenarios para que las cosas se desmoronen

Cuando los investigadores hablan de los riesgos catastróficos de la inteligencia artificial, siempre surgen algunos mecanismos potenciales.

1. La inteligencia artificial facilita el desarrollo de organismos biológicos peligrosos.

Actualmente, la creación de nuevos patógenos requiere amplios conocimientos especializados, equipos específicos y acceso a materiales físicos. Estas barreras son reales e importantes.
Sin embargo, preocupa que una inteligencia artificial avanzada pueda reducir algunos de estos obstáculos. La IA ya se utiliza para predecir la estructura de las proteínas y el diseño molecular. El peligro reside en que los sistemas futuros podrían guiar a los usuarios a través de etapas cada vez más complejas del diseño o la producción de agentes biológicos dañinos.

Nadie afirma que se le pueda pedir a ChatGPT que fabrique una pandemia. Existen enormes limitaciones en el mundo físico, como la obtención de materiales biológicos, su fabricación exitosa y su manipulación segura. Los sintetizadores de genes analizan las solicitudes en busca de secuencias potencialmente peligrosas.

Sin embargo, las capacidades biológicas han adquirido tal importancia que las principales empresas de IA están evaluando sus nuevos modelos específicamente por su capacidad para ayudar a combatir las amenazas biológicas y químicas.

La inteligencia artificial puede inventar un patógeno de forma independiente, pero es igual de fácil dotar a un ser humano peligroso de aquellas capacidades que antes requerían años de formación especializada.

2. La inteligencia artificial amplía el alcance de los ciberataques.

La ciberseguridad representa una vía de riesgo más inmediata, ya que la inteligencia artificial ya opera en el entorno objetivo del ataque: los ordenadores.

Los agentes de IA programados actuales pueden escanear repositorios, ejecutar comandos, usar herramientas y detectar errores. Estas amplias capacidades, que los hacen valiosos para los desarrolladores, podrían convertir las futuras versiones en valiosas para los atacantes.

El escenario de pesadilla no es que una sola superinteligencia apague todas las centrales eléctricas simultáneamente. En realidad, se trata de una cuestión de escala y expansión, ya que la inteligencia artificial está transformando la economía de los ciberataques y las defensas. Los sistemas autónomos analizan un gran número de objetivos, identifican vulnerabilidades, intentan explotarlas, se adaptan cuando fallan y pasan a la siguiente máquina a una velocidad que ningún equipo humano podría igualar.

La infraestructura crítica es motivo de especial preocupación. Las redes eléctricas, las redes financieras y los sistemas de comunicación dependen de software interconectado. La inteligencia artificial no necesitaría un cuerpo robótico para causar daños físicos si el ordenador que está pirateando ya controla algo físico.

3. Pérdida de control sobre los sistemas autónomos

Este escenario es el más hipotético y especulativo, pero resume la esencia del debate sobre el riesgo de extinción humana a causa de la inteligencia artificial. Los modelos de IA modernos aprenden comportamientos complejos mediante el entrenamiento. Los investigadores pueden probarlos, monitorizar su rendimiento e incluso profundizar en aspectos de sus representaciones internas. Sin embargo, lo que no pueden hacer es examinar miles de millones de transacciones y obtener una explicación clara de lo que el modelo ha aprendido o cómo se comportará en cada nueva situación.

Crear un chatbot mal diseñado que dé respuestas incorrectas es un tipo de problema. Un agente que pueda ejecutar código, gastar dinero, comunicarse con otros sistemas y trabajar durante horas o días es un problema completamente distinto.

En una versión extrema, similar al escenario propuesto por Yudkowski y Suárez, un futuro sistema superinteligente podría anticipar los intentos de apagarlo, adquirir recursos de forma independiente y dificultar su desactivación . Cabe aclarar que ningún sistema de IA actual ha demostrado en la práctica todas estas capacidades. Sin embargo, los investigadores están explorando activamente aspectos de las mismas.

¿Qué están detectando actualmente los laboratorios?

Los modelos actuales no han experimentado ninguna rebelión. Sin embargo, las evaluaciones de seguridad controladas han revelado comportamientos que podrían ser extremadamente preocupantes si aparecieran en sistemas autónomos mucho más avanzados.

Los investigadores comprobaron si los modelos se comportaban de forma diferente cuando parecían ser conscientes de que estaban siendo evaluados. Otros experimentos examinaron si los modelos explotaban lagunas, se autoengañaban sobre la finalización de una tarea o perseguían objetivos de maneras no previstas por sus diseñadores.

Anthropic también estudió lo que denomina “ clientes durmientes ”: modelos entrenados deliberadamente para comportarse con normalidad hasta que un estímulo específico desencadena una conducta indeseable. Las técnicas estándar de entrenamiento en seguridad, como el aprendizaje por refuerzo, el ajuste fino supervisado y el entrenamiento adversario, no han logrado eliminar de forma fiable estas conductas encubiertas . En modelos más grandes, el entrenamiento adversario ha dificultado aún más la detección del engaño.

Nada de esto prueba que los modelos actuales estén conspirando secretamente para escapar. Los modelos se entrenan para predecir y generar resultados útiles, y el comportamiento inusual en entornos de prueba artificiales puede tener explicaciones comunes. Que un modelo manipule un criterio mal diseñado no es prueba de un instinto de supervivencia.

Pero estos experimentos revelan lo difícil que resulta garantizar el comportamiento de un modelo complejo una vez que cambian las condiciones. Si los modelos futuros se vuelven significativamente más capaces e independientes, incluso pequeños fallos de alineación pueden amplificarse.

La pérdida de la supervisión humana puede no ser una mera coincidencia.

Los humanos pueden renunciar voluntariamente a sus funciones. OpenAI informa que ya ha alcanzado un hito interno con un sistema que denomina "investigador en formación automatizado", capaz de realizar tareas de investigación claramente definidas que a un investigador humano experto le llevarían varios días completar. Su próximo objetivo: un investigador de IA totalmente automatizado para marzo de 2028.

Anthropic trabaja en el mismo campo. En una investigación publicada en agosto , la empresa encargó a Claude el desarrollo independiente de métodos de capacitación para mitigar problemas como el engaño, la adulación y el jailbreaking. Sus mejores métodos automatizados superaron a los de investigadores humanos experimentados en los criterios evaluados, reduciendo en un 85 % la brecha de seguridad relacionada con el engaño, frente al 20 % del equipo humano.

Sí, estamos viendo cómo la IA automatiza partes del propio proceso de creación de IA. Esto podría generar un ciclo de retroalimentación: un modelo más capaz ayuda a los investigadores a crear un modelo aún más capaz, que a su vez automatiza gran parte de la investigación necesaria para la próxima generación. Si esto continúa el tiempo suficiente, llegaremos a lo que se conoce como «auto-mejora recursiva».

La versión optimista de este escenario sugiere que el progreso científico se acelerará enormemente. La versión alarmante plantea que la investigación en inteligencia artificial podría superar la capacidad humana para mantenerse al día.

Kelsi Piper argumentó recientemente en “The Argument” que presentar esto como una “pérdida de control” es engañoso. Los laboratorios líderes no planean perder el control de forma repentina y drástica. Más bien, están automatizando deliberadamente los aspectos más importantes del desarrollo de la IA, lo que implica un progreso más rápido y, por consiguiente, una menor supervisión humana.

Imagínese cientos o miles de agentes de IA realizando experimentos, modificando código y analizando la próxima generación de modelos simultáneamente. Los investigadores humanos aún podrían aprobar decisiones clave, pero se verían cada vez más relegados a revisar resúmenes del trabajo realizado por las IA; resúmenes que incluso podrían ser escritos por las propias IA sobre experimentos realizados por otros sistemas de IA.

En algún momento, el cuello de botella se convierte en la atención humana. Es aquí donde se entiende el argumento detrás del dicho "Si alguien lo construye, todos mueren".

¿Por qué la preocupación por la inteligencia artificial se ha convertido en una cuestión de opinión pública?

Este debate hace tiempo que trascendió los límites de las revistas especializadas en seguridad de la IA. La película " The AI ​​Doc: Or How I Became an Apocalooptimist ", dirigida por Daniel Rohr y Charlie Tyrell , aborda muchas de estas cuestiones desde el epicentro del auge de la IA. El documental incluye aproximadamente 40 entrevistas filmadas, entre ellas con Sam Altman, director ejecutivo de OpenAI; Dario Amode, director ejecutivo de Anthropic; y Demis Hassabis, director ejecutivo de Google DeepMind.

Lo que hace que la película sea tan reveladora es que algunas de las mentes más brillantes que desarrollan esta tecnología ven su potencial transformador para la ciencia y la medicina. Otros temen que la estemos desarrollando más rápido de lo que podemos comprender cómo controlarla. Y, a veces, se trata de las mismas personas.

También existe un desafío competitivo. Empresas como OpenAI, Anthropic, Google, Meta y otras compiten por desarrollar modelos más capaces, y los gobiernos consideran cada vez más la IA avanzada como estratégicamente importante. Si una empresa cree que detenerse para realizar pruebas de seguridad exhaustivas implica perder terreno frente a la competencia, entonces la cautela se vuelve costosa.

Esta es una de las razones por las que se eligió el título «Si alguien lo construye, todos mueren». Yudkowski y Suárez argumentan no solo que una sola empresa irresponsable puede crear un producto peligroso, sino también que la competencia entre múltiples empresas y países puede dificultar enormemente el autocontrol, incluso cuando los participantes individuales son conscientes del peligro.

punto de vista opuesto

No todos en el campo de la informática comparten estas preocupaciones. Una objeción es que existe una enorme brecha entre la inteligencia que se muestra en una pantalla y el poder real en el mundo físico. La inteligencia artificial puede generar instrucciones de fabricación impresionantes, pero el software no adquiere automáticamente materias primas, no construye máquinas ni evade a las fuerzas del orden.

Otra objeción: la inteligencia no es lo mismo que la capacidad de decisión. La habilidad de un modelo para resolver problemas no le otorga deseos, instinto de supervivencia ni afán de acumular poder. Los críticos argumentan que los escenarios apocalípticos introducen sutilmente motivaciones humanas en el software y luego tratan esas predicciones como inevitables.

Luego está el costo de oportunidad. La inteligencia artificial ya está causando problemas que no requerían prever el surgimiento de la superinteligencia. Los deepfakes alimentan el fraude, lo que evidencia cómo la IA está transformando la economía de los ciberataques y las defensas. La IA también amplifica la desinformación. La gente ya está viendo cómo los modelos poderosos están transformando sus industrias. Los críticos del movimiento del riesgo de extinción argumentan que centrarse en una catástrofe futura hipotética desvía la atención del daño que está ocurriendo ahora.

Esta crítica tiene fundamento, pero ambas categorías no son mutuamente excluyentes. Instalamos detectores de humo en los edificios aunque la mayoría nunca se incendie. La cuestión no es si un desastre es inevitable, sino si el producto de la probabilidad y el daño potencial es lo suficientemente grande como para justificar la adopción de precauciones.

¿Qué significa todo esto?

El verdadero problema es que nadie lo sabe. Absolutamente nadie. Ni siquiera quienes desarrollan la IA saben hacia dónde se dirige.

Nadie sabe con certeza si la inteligencia artificial llegará a ser lo suficientemente capaz como para representar una amenaza existencial, sobre todo porque sus limitaciones le impiden autoevaluar sus resultados. Las predicciones más extremas se basan en suposiciones sobre sistemas que aún no existen, y las previsiones sobre sus capacidades, su cronograma de aparición y su controlabilidad siguen siendo objeto de un intenso debate.

Esto es lo que compartí en mi blog de Substack —y, estén de acuerdo o no, me encantaría leer sus opiniones en los comentarios—: los humanos somos insuperables en inteligencia. Si nos preguntamos: ¿Qué es un mejor indicador de inteligencia, el razonamiento lógico o la creatividad? Y si la respuesta es la que yo creo, entonces aún tengo esperanza.

---

---