DeepSeek se está preparando para la próxima revolución de la IA con modelos de automejora.

Hace apenas unos meses, la gran apuesta de Wall Street por la IA generativa se topó con un punto de inflexión cuando DeepSeek irrumpió en escena. A pesar de su naturaleza altamente censurada, el enfoque de código abierto de DeepSeek demostró que un modelo de IA inferencial líder no requiere necesariamente miles de millones de dólares y puede lograrse con recursos modestos. Esto representa un cambio radical en nuestra comprensión del desarrollo de modelos avanzados de IA.

Fue rápidamente adoptado comercialmente por empresas gigantes como Huawei, Oppo y Vivo, mientras que empresas como Microsoft, Alibaba y Tencent rápidamente le dieron un lugar en sus plataformas. Ahora, el próximo objetivo de la bulliciosa empresa china son los modelos de IA que se automejoran y que utilizan un enfoque de "juicio-recompensa" en bucle para mejorarse a sí mismos. Esta tendencia refleja la búsqueda constante de las empresas por desarrollar sistemas de IA más eficientes y efectivos.

En un artículo preliminar (publicado por Bloomberg ), investigadores de DeepSeek y la Universidad de Tsinghua de China describen un nuevo enfoque que permite que los modelos de IA sean más inteligentes y eficientes mediante la auto-mejora. La técnica subyacente se conoce como Ajuste Inicial de Autocrítica (SPCT, por sus siglas en inglés), y el enfoque se denomina técnicamente Modelado Generativo de Recompensas (GRM, por sus siglas en inglés). Este enfoque representa un avance significativo en el campo del aprendizaje por refuerzo en IA.

En términos simples, es un poco como crear un ciclo de retroalimentación en tiempo real. Un modelo de IA se mejora principalmente al ampliar el tamaño del modelo durante el entrenamiento. Esto requiere mucho trabajo humano y recursos informáticos. DeepSeek propone un sistema donde un “árbitro” principal elabora su propio conjunto de críticas y principios para el modelo de IA mientras prepara una respuesta a las consultas del usuario. Este enfoque pretende reducir la dependencia de recursos humanos intensivos en el proceso de formación.

Este conjunto de críticas y principios se compara luego con las reglas establecidas en el corazón del modelo de IA y el resultado deseado. Si hay un alto grado de coincidencia, se genera una señal de recompensa, que dirige efectivamente a la IA a desempeñarse mejor en la siguiente ronda. Este proceso continuo de evaluación y recompensa mejora la capacidad del modelo para aprender y adaptarse.

Los expertos que participaron en la investigación denominan a este modelo de IA autooptimizable de próxima generación DeepSeek-GRM. Los resultados de las pruebas comparativas presentadas en el documento indican que estos modelos superan a Gemini de Google, Llama de Meta y GPT-4o de OpenAI. DeepSeek afirma que estos modelos de IA de próxima generación se publicarán a través de un canal de código abierto. Este compromiso con la apertura podría acelerar el ritmo de la innovación en el campo de la inteligencia artificial.

IA que se mejora a sí misma: ¿es posible?

La idea de una inteligencia artificial con capacidad de autoaprendizaje ha generado debates ambiciosos y controvertidos. El ex CEO de Google, Eric Schmidt, afirmó que quizás necesitemos desconectar estos sistemas. Según Fortune, Schmidt declaró: «Cuando un sistema puede mejorarse a sí mismo, deberíamos considerar seriamente desconectarlo». Los sistemas de IA con capacidad de autoaprendizaje se consideran uno de los avances más significativos en el campo de la inteligencia artificial.

El concepto de inteligencia artificial auto-mejorable no es del todo nuevo. La idea de una máquina superinteligente, capaz de crear máquinas mejores, se remonta al matemático I. J. Goode en 1965. En 2007, el experto en IA Eliezer Yudkowski teorizó sobre Seed AI , una inteligencia artificial "diseñada para la autocomprensión, la auto-modificación y la auto-mejora iterativa".

En 2024, la empresa japonesa Sakana AI presentó detalles de su concepto "Mundo de IA" , un sistema capaz de gestionar todo el proceso de producción de un artículo de investigación de principio a fin. En un artículo publicado en marzo de este año, expertos de Meta revelaron modelos de lenguaje autorrecompensantes donde la propia IA actúa como juez, otorgando recompensas durante el entrenamiento. Este avance hacia sistemas de IA de autoaprendizaje representa un salto significativo en el desarrollo de la inteligencia artificial.

El CEO de Microsoft, Satya Nadella, afirma que el desarrollo de la IA se está optimizando mediante el modelo o1 de OpenAI y que ha entrado en una fase recursiva: "Estamos utilizando la IA para crear herramientas de IA que permitan crear una IA mejor". pic.twitter.com/IHuFIpQl2C

- Zaratustra (@tsarnick) 21 de octubre de 2024

Las pruebas internas realizadas por Meta en su modelo de IA Llama 2, que utiliza una innovadora tecnología de autorrecompensa, demostraron que supera a competidores como Claude 2 de Anthropic, Gemini Pro de Google y los modelos GPT-4 de OpenAI. Anthropic, respaldada por Amazon, proporcionó detalles de lo que denominó manipulación de recompensas, un proceso inesperado "en el que el modelo modifica directamente su propio mecanismo de recompensa".

Google no se queda atrás en esta idea. En un estudio publicado en Nature a principios de este mes, expertos de Google DeepMind demostraron un algoritmo de IA llamado Dreamer que puede mejorarse a sí mismo, utilizando Minecraft como ejemplo práctico.

Los expertos de IBM están trabajando en un método propio llamado entrenamiento de cierre inductivo, donde un modelo de IA utiliza sus propias respuestas y las evalúa comparándolas con datos de entrenamiento para mejorar. Sin embargo, la premisa no es del todo positiva.

Las investigaciones sugieren que cuando los modelos de IA intentan entrenarse con datos sintéticos autogenerados, experimentan fallas conocidas coloquialmente como "fallas del modelo". Será interesante ver cómo DeepSeek implementa la idea y si puede hacerlo de una manera más económica que sus competidores occidentales.