Antropía: Se prohíbe a los investigadores utilizar a Claude para posibles investigaciones sobre armas biológicas.

Las principales empresas de IA llevan tiempo advirtiendo de que sus modelos podrían facilitar el desarrollo de armas biológicas. En este contexto, Anthropic reveló que ya había tenido que suspender los servicios a un grupo de investigadores tras las graves preocupaciones suscitadas por sus acciones. Los informes indican que nuevos organismos reguladores están supervisando el mal uso de la IA , lo que subraya la importancia de estas advertencias.

Según un informe publicado por The New York Times , Anthropic ha bloqueado a varios usuarios este año tras detectar actividades que parecían altamente sospechosas e indicativas de investigación sobre armas biológicas.

Para aclarar: Anthropic no tiene confirmación concluyente de que estos investigadores estuvieran intentando desarrollar patógenos mortales.

La biología avanzada es inherentemente de doble uso; la investigación que podría conducir a una vacuna que salve vidas también podría utilizarse con fines peligrosos. Pero Anthropic detectó este comportamiento sospechoso. Según los informes, los investigadores eludieron las restricciones geográficas para acceder a la nube y tomaron medidas para ocultar el propósito de su trabajo. Este patrón fue suficiente para que Anthropic decidiera cancelar el servicio.

¿Cómo lograron burlar las medidas de seguridad de Claude?

Los investigadores no "hackearon" literalmente a Claude. Más bien, según Anthropic, encontraron maneras de ocultar tanto su punto de acceso al modelo como lo que finalmente pretendían lograr.

En un caso, un investigador supuestamente accedió a Cloud desde una región no compatible a través de una infraestructura virtual con sede en EE. UU., utilizando una cuenta generada automáticamente. Anthropic también descubrió que las solicitudes a Cloud se enrutaban a través de una plataforma que prestaba servicio a numerosos investigadores de ciencias biológicas, incluidos virólogos afiliados a instituciones civiles y militares.

Los investigadores también intentaron ocultar el propósito de su trabajo para evitar que se activaran las medidas de protección en la nube . Esto es particularmente difícil de detectar en biología, ya que una solicitud individual puede parecer perfectamente legítima incluso cuando contribuye a un proyecto más amplio y potencialmente peligroso.

Según se informa, un caso involucró a un científico que solicitó la ayuda de Claude para redactar una propuesta de subvención para la investigación sobre la modificación genética del virus chikungunya, con el fin de estudiar características como la transmisibilidad y la evasión inmunitaria. Este caso ilustra cómo Claude puede utilizarse para tareas complejas como la redacción de propuestas de investigación . Este tipo de investigación puede tener fines científicos legítimos, razón por la cual Anthropic declaró que no podía determinar si las intenciones finales de los investigadores eran benignas o maliciosas.

Sin embargo, Anthropic decidió que la combinación de investigaciones delicadas e intentos de ocultar la actividad era suficiente para cerrar las cuentas.

¿Por qué la biología es la prueba definitiva para la inteligencia artificial?

La inteligencia artificial no puede mezclar sustancias químicas en una placa de Petri ni crear armas biológicas utilizando equipos de laboratorio físicos. Pero puede ser un poderoso acelerador.

Para alguien con experiencia en trabajo de laboratorio, un modelo de IA competente puede desglosar investigaciones complejas, analizar datos, explorar y resolver problemas, y superar las deficiencias técnicas especializadas. Puede proporcionar a los humanos todo lo necesario para realizar tareas desafiantes de forma más fácil y rápida.

Esto sitúa a las empresas de IA en una vasta zona gris. Tanto un jurista como alguien que desarrolla un arma biológica podrían plantearse muchas de las mismas preguntas. El mal uso no siempre se manifiesta en una única reclamación clara. Cualquiera puede dividir un proyecto de gran envergadura en docenas de tareas aparentemente inocuas, lo que dificulta enormemente que los sistemas de seguridad comprendan el panorama general, especialmente dadas las crecientes preocupaciones sobre el mal uso de la IA.

Luego está el problema de los falsos positivos. Si estas medidas de seguridad son demasiado estrictas, se corre el riesgo de frenar la investigación científica legítima. Si son demasiado laxas, podrían pasar desapercibidas actividades potencialmente peligrosas.

Todo depende de la intención humana.

Es importante aclarar lo que no sucedió aquí, especialmente tras la renuncia de Jacob Coxon a Anthropic ayer , cuando la preocupación por la IA alcanzó su punto álgido. Nos preocupa que los modelos se descontrolen o que los agentes autónomos actúen por su cuenta, pero Claude no se descontroló, y ningún agente de IA autónomo comenzó a planear un arma biológica por su cuenta. Los humanos tenían el control.

Esto hace que el peligro sea mucho más inmediato. La preocupación no radica en que una IA superinteligente decida repentinamente dañar a la humanidad, sino en que modelos poderosos están otorgando a las personas habilidades que de otro modo no poseerían.

Para los usuarios comunes que utilizan Cloud para redactar correos electrónicos, resumir documentos o escribir código, nada cambia. Pero para la industria, las reglas del juego han cambiado, lo que ha llevado a muchos a reconsiderar su uso de Cloud.

Entonces, ¿qué pueden hacer realmente las empresas de IA?

No existe una solución perfecta para este dilema. Bloquear las preguntas obvias solo funciona cuando el usuario tiene claro lo que intenta hacer. Si un usuario divide un proyecto potencialmente peligroso en docenas de solicitudes aparentemente inofensivas, las empresas de IA necesitan medidas de seguridad que puedan comprender el panorama general en lugar de juzgar cada solicitud de forma aislada.

Esto podría implicar la búsqueda de intentos repetidos de eludir las limitaciones de seguridad del modelo, el monitoreo de patrones sospechosos en las interacciones y la imposición de controles más estrictos a las capacidades científicas más potentes. Las empresas también podrían probar los nuevos modelos antes de su lanzamiento para determinar su capacidad de ayudar a una persona con menos experiencia a realizar trabajos biológicos potencialmente peligrosos.

Pero cada medida de seguridad adicional conlleva una contrapartida. Los mismos sistemas que intentan detectar a alguien que desarrolla un arma biológica podrían alertar sobre un investigador que trabaja en un proyecto. Por eso, la divulgación de Anthropic es tan importante. El siguiente paso para la seguridad de la IA consiste en determinar cuándo un patrón de comportamiento que, en principio, parece legítimo, se vuelve lo suficientemente peligroso como para que una empresa deba intervenir.