El botón "Acepto": ¿Por qué podría ser la IA más peligrosa para las empresas?

A las 2:00 a. m., un agente de solución de problemas automatizado detecta un problema de red, lo rastrea hasta una política mal configurada, verifica mediante un marco personalizado que la solución propuesta funcione dentro de los límites de la política definida y, a continuación, lo corrige. La red se estabiliza y nadie recibe ninguna notificación.

Por la mañana, el operador humano revisa el informe diario del agente: un resumen de todos los cambios implementados, con enlaces a registros, pistas de auditoría, lógica y causas raíz. Confirma que todo se ha resuelto correctamente y continúa con el siguiente paso. Este es el modelo de "intervención humana".

En otra organización, a las 4:00 a. m., un agente de procesamiento improvisado y de creación propia detecta un problema de red, lo rastrea hasta una política mal configurada y lo corrige. La red se estabiliza y nadie recibe notificación. Por la mañana, una persona revisa los registros, asume que el problema está resuelto y continúa con sus tareas.

¿Dónde radica la diferencia?

La diferencia radica en que, en el escenario de autoconstrucción, los registros solo cuentan una parte de la historia. No muestran que el agente realizó otros tres cambios para llegar a esta solución, y que estos cambios fueron más extensos de lo previsto inicialmente. Además, las decisiones que motivaron estos cambios no se registraron porque el agente no estaba obligado a hacerlo dentro de sus limitaciones. Esta falta de transparencia del sistema es la raíz del problema.

Así es como puede verse avanzar hacia un sistema con control humano sin los controles y equilibrios adecuados. No hay una transferencia drástica de tareas, sino una serie de delegaciones pequeñas y razonables que se acumulan gradualmente hasta formar algo que nadie ha acordado explícitamente. Esto subraya la importancia del control humano sobre el futuro de la inteligencia artificial.

Esto está ocurriendo más rápido de lo que la mayoría de los líderes se dan cuenta. Según una investigación reciente, el 57 % de los líderes de TI esperan eliminar la intervención humana en el proceso de control en un año o menos, y el 79 % ya están tratando a los agentes de IA como "usuarios" que requieren su propia gestión de identidades y controles de gobernanza.

La transición hacia la IA de representación se está produciendo a un ritmo más rápido del que la mayoría de las organizaciones están preparadas, tanto en términos de gobernanza como de capacidad para evaluar los sistemas autónomos.

Son el botón de “Acepto”.

La solución para la IA autónoma siempre ha parecido increíblemente sencilla: mantener un elemento humano al mando. Alguien revisa el resultado, pulsa un botón de "aprobación" y garantiza la rendición de cuentas. Pero la realidad no es tan simple. Revisar cada acción no genera automáticamente responsabilidad e impide que las organizaciones aprovechen al máximo los beneficios de la autonomía.

En lugar de revisar cada procedimiento individualmente, los humanos deberían centrarse en evaluar los resultados, asegurándose de que el sistema funcione dentro de los límites previstos y proporcionando retroalimentación que mejore su rendimiento con el tiempo.

La aprobación puede convertirse en un ritual sin sentido. A medida que los sistemas demuestran su fiabilidad y aumenta el número de alertas, los humanos a veces empiezan a considerar la intervención como algo a menudo innecesario.

La aprobación puede convertirse en un simple clic en lugar de una decisión meditada. Y cuando algo sale mal (por ejemplo, una política mal configurada o un procesamiento automatizado que provoca una interrupción del servicio), resulta difícil determinar quién es el responsable.

Esto también refuerza un cambio más amplio: donde una de las capacidades humanas más importantes pasa a ser el pensamiento crítico y la comprobación de hipótesis, en lugar de la ejecución de tareas.

También está ocurriendo algo más. Los seres humanos estamos pasando de la fase de ejecución a la fase de lectura previa a la aprobación, un cambio fundamental en el trabajo diario de la mayoría de nosotros.

Además, la atribución no es lo mismo que la fuente. Un registro que documenta lo que hizo un agente de IA no dice casi nada sobre el porqué o qué influyó en esa decisión. Y cuando las cosas salen mal, esa es precisamente la información que necesitas saber.

Identidades no humanas y el nuevo panorama de las redes

Cuando los agentes de IA interactúan con su red —consultando sistemas, realizando cambios de configuración o enrutando el tráfico— se les considera usuarios reales. Requieren credenciales, políticas, controles de seguridad, interpretabilidad y registros de auditoría, al igual que los operadores humanos. Esta necesidad de transparencia y rendición de cuentas es paralela a los esfuerzos por garantizar la transparencia en los centros de datos de IA.

La mayoría de las organizaciones aún no se han adaptado a este desarrollo. Los sistemas de identidad están diseñados para personas, y aplicarles agentes de IA de forma improvisada crea precisamente el tipo de acceso sigiloso que los equipos de seguridad se esfuerzan por eliminar.

Casi el 80 % de los líderes que ya utilizan agentes de IA como identidades gestionadas están a la vanguardia. El resto acumula riesgos que no pueden evaluar hasta que se produce un incidente de seguridad.

Para lograrlo correctamente, cada agente debe ser tratado como una entidad principal con privilegios definidos, acceso limitado en el tiempo, una vía de revocación clara y un registro completo; no solo de lo que hizo, sino también de lo que se le permitió hacer y por qué.

La independencia no se regala, se gana.

Los equipos de redes y ciberseguridad ya saben cómo aplicar este principio. Todas las organizaciones cuentan con marcos de control de acceso que definen a qué pueden acceder los usuarios y cuándo. Un ingeniero junior no obtiene acceso completo a los sistemas de producción desde el primer día; lo adquiere gradualmente. Esta misma lógica debería aplicarse a los agentes de IA.

Todavía no hemos llegado a ese punto. Con demasiada frecuencia, la autonomía se trata como una cuestión de todo o nada, y ese no es el modelo adecuado. La confianza no funciona así con los humanos, y tampoco debería funcionar así con la IA. Los agentes de IA deberían empezar proponiendo soluciones y luego demostrar su competencia dentro de límites claros y definidos antes de que se amplíe su autoridad. Y es fundamental que cada decisión deje constancia de lo sucedido, explicando no solo qué ocurrió, sino también las razones que la justifican.

A medida que aumenta el uso de la IA autónoma, las organizaciones deberán equilibrar la supervisión humana con una gobernanza sistemática. Los humanos seguirán siendo responsables de revisar no solo los resultados de la IA, sino también, cuando sea necesario, las acciones que realiza y el razonamiento que las justifica.

Sin embargo, a medida que aumenta la escala y la complejidad de las decisiones autónomas, esta supervisión debe complementarse con una infraestructura que integre la identidad, la aplicación de políticas, las capacidades de monitoreo y la rendición de cuentas. Estos controles, en conjunto, ayudan a garantizar que las acciones de la IA sean transparentes, rastreables y estén alineadas con los objetivos de la organización.

Construir sistemas multiagente que resistan la presión.

A medida que estos sistemas se vuelven más potentes, las organizaciones están adoptando cada vez más arquitecturas multiagente. En estas arquitecturas, cada agente especializado gestiona una parte del flujo de trabajo y pasa el contexto al siguiente agente. Aquí es donde reside la complejidad.

El comportamiento de un solo agente puede rastrearse si comete un error. Sin embargo, una cadena de agentes, donde cada uno actúa en función de los resultados del anterior, es mucho más difícil de desentrañar cuando ocurre un error, a menos que exista la estructura y la gobernanza adecuadas. Es necesario saber qué sabía cada agente, no solo qué hizo.

Completa las tareas básicas

Dos organizaciones utilizan el mismo agente de red con inteligencia artificial. Una ha realizado las tareas básicas y menos atractivas: configurar permisos de acceso estrictos, controles de identidad adecuados y registros de auditoría que proporcionan respuestas claras cuando se necesitan. La otra no.

No te darás cuenta de la diferencia hasta que algo salga mal.