Superar la brecha de rendición de cuentas: un requisito previo para capacitar a las empresas con agentes de IA.

Cuando las empresas y los gobiernos delegan tareas operativas a agentes de IA , el debate suele comenzar con sus capacidades. ¿Puede la IA realizar tareas que hacen los humanos, como liquidar cuentas, negociar con proveedores, firmar documentos o presentar declaraciones públicas? ¿Y puede hacerlo con la suficiente rapidez y a un coste razonable como para justificar su implementación?

Estas preguntas son importantes, pero el desempeño es solo una parte del panorama. Una vez que un agente actúa de forma independiente, surgen otras preguntas: ¿Quién lo autorizó?, ¿a quién representa?, ¿dónde terminan sus poderes? y, quizás lo más importante, ¿quién es responsable cuando las cosas salen mal?

Esta es la brecha de responsabilidad en la IA de representación , y ningún modelo más sofisticado podrá superarla. La IA de representación puede ser muy capaz, pero aun así puede comportarse de maneras indeseables o incluso ilegales.

La única forma de superar esta brecha es mediante un sistema con controles claros sobre los poderes y un registro de auditoría que vincule cada acción realizada por el agente con la persona que lo autorizó, y que pueda distinguir principalmente entre un ser humano y una máquina.

Un error normal de tamaño excepcional

Cuando se piensa en los peligros de la inteligencia artificial, a menudo se imagina una máquina liberada del control humano que persigue sus propios objetivos. Pero un riesgo más inmediato y menos dramático es que un sistema pueda cometer errores repetidamente en una tarea rutinaria, sin que exista una línea clara de responsabilidad.

Una persona podría enviar una factura al cliente equivocado. Pero un agente conectado a una base de datos completa de clientes podría enviar la misma factura a miles. Podría modificar un campo incorrectamente y luego repetir ese cambio en todo el mercado, no por mala intención, sino porque malinterpretó ciertas instrucciones y tenía la autoridad para actuar en consecuencia.

La rapidez con la que un agente se vuelve valioso puede ahorrar a las empresas cientos de horas, pero también puede convertir un pequeño error, que se puede solucionar, en un grave problema operativo.

Cuando un agente redacta un correo electrónico para que alguien lo revise, esta ambigüedad puede no ser de gran importancia porque la persona sigue siendo el vínculo entre el programa y el mundo exterior.

Pero cuando pueden enviar un mensaje, presentar una declaración o transferir fondos, la situación cambia radicalmente. Imagínese pedirle a un asistente que reserve un solo vuelo y, en lugar de darle una tarjeta de la empresa con un límite de gasto razonable, le entrega su pasaporte, tarjeta bancaria y llaves de la oficina. Puede que confíe plenamente en el asistente, pero la autoridad que se le otorga no es la adecuada para la tarea.

Trazar los límites y resolver el problema

Los agentes de IA no pueden tener nacionalidad ni personalidad jurídica, pero pueden vincularse a personas físicas de forma legalmente válida. Por ejemplo, un identificador de confianza permite rastrear la actividad de un agente hasta la persona responsable de su publicación. Si a esto se le otorgan poderes y autorizaciones claros que hacen visibles y auditables los términos de su autoridad, los agentes de IA podrán realizar diversas operaciones y transacciones de forma más controlada y transparente.

Estos controles pueden ser muy específicos. Un agente podría tener permiso para ver información financiera sin modificarla, preparar un pago sin aprobación o realizar pedidos a proveedores específicos sin exceder un monto fijo. Sus privilegios podrían durar una sola transacción, un solo día hábil o la duración de un contrato específico, tras lo cual caducan automáticamente sin necesidad de que nadie les recuerde desactivarlos.

Revocar este acceso debería ser igual de sencillo. Si una empresa finaliza su relación con un agente, cambia de proveedor o descubre un error, debería poder revocar su acceso de inmediato sin tener que modificar las credenciales de la persona responsable.

La autorización legal del agente en las distintas áreas de estos controles tiene una vida útil más larga que cualquier modelo de IA individual, que se actualizará, reemplazará y fusionará con el tiempo, a menudo sin que el cliente vea más que un nuevo número de versión.

Implementar la idea sobre el terreno

Estonia ha decidido abordar estos problemas ahora. En junio, el gobierno comenzó a desarrollar un sistema de registro estatal para agentes de IA, que estará disponible tanto para los ciudadanos estonios como para la comunidad empresarial global del país. El objetivo es explorar cómo Estonia, un estado totalmente digital donde todos los servicios públicos están disponibles en línea, puede abrirse a la creciente ola de empresas impulsadas por IA.

Según la propuesta actual, cada persona recibiría un identificador digital registrado que podría vincularse a uno o más agentes que actuaran en su nombre. Las acciones realizadas por el agente de IA se considerarían acciones de máquina, y la persona física, como titular de la identidad, sería responsable, como se evidencia en casos como errores derivados de una dependencia excesiva de la IA. El agente de IA solo podría operar dentro de los límites de sus permisos asignados.

Para lograr transparencia, los proveedores de servicios privados también necesitan saber si el proceso fue realizado por una persona o por una máquina que actuaba en su nombre. Esto les permite aplicar eficazmente los controles, restricciones y modelos de riesgo adecuados.

Diseñado para la delegación

Este enfoque se basa en más de dos décadas de experiencia en gobierno digital. En Estonia, un sistema de números de identificación personal e identidades digitales ya permite a los individuos actuar en nombre de otros, con poderes claramente definidos.

Un contable puede presentar las declaraciones de impuestos de un cliente, un adulto puede gestionar la salud de sus padres ancianos a través de un portal de salud, y varias personas pueden usar una cuenta bancaria de la empresa con permisos y restricciones individuales. En principio, este mismo marco podría respaldar las capacidades de los agentes de IA.

Esto brindaría a los usuarios mayor confianza en que existen medidas de seguridad para proteger a la parte responsable de posibles errores que pudiera cometer un agente de IA. Además, contribuiría a reducir la brecha de responsabilidad a medida que aumenten las actividades de estos agentes.

Antes de que se puedan otorgar poderes ejecutivos a los agentes de IA, necesitan un marco técnico y legalmente vinculante que registre a quién representan, qué pueden hacer y quién es responsable de sus acciones.