Modelo Google Gemini explotado con fines maliciosos: la posibilidad de hackear y controlar sistemas de casas inteligentes

Antes, las filtraciones de datos eran noticia de primera plana, pero se han vuelto tan comunes que ya no sorprenden a la mayoría. Este tipo de noticias solo cobran relevancia cuando involucran a una gran empresa y afectan a millones de personas, como ocurrió con la filtración de T-Mobile que impactó a 64 millones de clientes . Debido a las múltiples formas en que tus datos pueden verse comprometidos, casi todos los servicios y productos digitales cuentan con medidas de seguridad para prevenirlo.

Por supuesto, estos productos no son perfectos, y siempre existen maneras de realizar ataques maliciosos si el atacante es lo suficientemente astuto. Con la aparición de los Modelos de Lenguaje a Gran Escala (LLM, por sus siglas en inglés), como Gemini de Google, siempre existe la posibilidad de que estas herramientas de IA se utilicen con fines maliciosos. Si bien aún no se ha informado de ningún caso grave, Wired destacó un proyecto de investigación que utiliza Gemini para acceder a tu vida de formas inimaginables. Esta investigación demuestra cómo Gemini podría explotarse para controlar diversos aspectos de tu vida digital, incluyendo potencialmente los dispositivos inteligentes de tu hogar, lo que genera preocupación sobre la seguridad y la privacidad en la era de la inteligencia artificial.

Este tipo de ataque puede volverse más peligroso.

Ben Nasi, Stav Cohen y Or Yair, de la Universidad de Tel Aviv, presentaron su proyecto " La invitación es todo lo que necesitas ", que utiliza Gemini para acceder y controlar un hogar inteligente. Lo interesante es que el ataque no se origina dentro del propio hogar, sino que se basa en otro producto de Google, independiente del anterior, para iniciar el proceso.

En pocas palabras, se activa un procedimiento no deseado cuando el usuario interactúa con Gemini mediante una solicitud específica. Lo ingenioso es que permanece oculto e invisible para el usuario. El equipo de investigación explica en detalle cómo funciona , revelando que el "promptware" utiliza un modelo de lenguaje extenso (LLM, por sus siglas en inglés) para llevar a cabo actividades maliciosas.

Mediante el envenenamiento del contexto a corto plazo y el envenenamiento de la memoria a largo plazo, los investigadores descubrieron que podían hacer que Gemini realizara acciones no incluidas originalmente en la solicitud. Esto podía eliminar eventos de varias aplicaciones de Google, iniciar una llamada de Zoom, proporcionar la ubicación de un usuario, controlar dispositivos domésticos inteligentes y más. Este tipo de ataque, conocido como "inyección indirecta de solicitud", explota vulnerabilidades en la interacción de los modelos de lenguaje de gran tamaño con datos externos.

El equipo de investigación también demuestra cómo funciona todo mediante impresionantes videos tutoriales. Es una forma sencilla y efectiva de causar estragos en la vida de alguien sin que se dé cuenta. La gente se centra más en los métodos tradicionales de hacking, lo que significa que algo como esto podría ser extremadamente inesperado.

Afortunadamente, el equipo de investigación reportó estos problemas a Google en febrero y se reunió con ellos para solucionarlos. Google afirma haber implementado defensas multicapa, que incluyen: confirmaciones de usuario mejoradas para acciones sensibles; gestión robusta de URL con políticas de saneamiento y nivel de confianza; y detección avanzada de inyección de reclamaciones mediante clasificadores de contenido.

El proyecto destaca las técnicas teóricas de inyección indirecta de reclamaciones que afectan a los asistentes basados ​​en grandes modelos lingüísticos, las cuales podrían volverse más comunes en un futuro próximo a medida que las herramientas de IA se vuelvan más sofisticadas. Esto también está en sus primeras etapas y requerirá una mejor supervisión para evitar que cause daños más graves en el futuro. A medida que dependemos cada vez más de la IA en nuestra vida diaria, comprender y mitigar estos riesgos potenciales se vuelve crucial.

Si te interesan las vulnerabilidades de seguridad, puedes enviar tus hallazgos a Google a través de su programa Bug Hunters. Hay diversas maneras de contribuir, ya que la inteligencia artificial es solo una pequeña parte de lo que se monitoriza actualmente. Si se trata de algo más serio, Google también ofrece una recompensa por tu trabajo, lo que hace que el esfuerzo valga aún más la pena.