Modelo Google Gemini explotado con fines maliciosos: la posibilidad de hackear y controlar sistemas de casas inteligentes

En el pasado, las noticias sobre hackeos eran noticia, pero se han vuelto tan comunes que ya no sorprenden a la mayoría de la gente. Solo cuando le sucede a una gran empresa y afecta a millones de personas, cobra fuerza, como sucedió en El caso de hackeo a T-Mobile afecta a 64 millones de clientesDebido a que hay muchas maneras en las que sus datos pueden verse comprometidos, casi todos los tipos de productos o servicios digitales cuentan con protecciones implementadas para evitarlo.

Por supuesto, estos productos no son perfectos, y siempre hay maneras de llevar a cabo ataques maliciosos si un atacante es lo suficientemente astuto. Con la aparición de grandes modelos de lenguaje (LLM) como Gemini de Google, siempre existe la posibilidad de que estas herramientas de IA se utilicen con fines maliciosos. Si bien aún no hemos visto ningún informe importante, sí lo hemos visto. Wired destacó un proyecto de investigación Gemini se está utilizando para acceder a tu vida de maneras que jamás imaginaste. Esta investigación demuestra cómo Gemini podría explotarse para controlar diversos aspectos de tu vida digital, posiblemente incluyendo los dispositivos inteligentes de tu hogar, lo que genera inquietud sobre la seguridad y la privacidad en la era de la inteligencia artificial.

Este tipo de ataque puede volverse más peligroso.

Ben Nassi, Stav Cohen y Or Yair de la Universidad de Tel Aviv presentaron su proyecto, “La invitación es todo lo que necesitas"Que utiliza Gemini para acceder y controlar una casa inteligente. Lo interesante es que el ataque no comienza desde dentro de la casa, sino que se basa en otro producto de Google no relacionado para iniciar el proceso.

En pocas palabras, se activa una acción no deseada cuando un usuario usa Gemini con una solicitud específica. Lo ingenioso de todo esto es que está oculta y el usuario no puede verla. Explica: El equipo de investigación detalla cómo funciona esto., donde el “promptware” utiliza un modelo de lenguaje grande (LLM) para realizar actividades maliciosas.

Mediante el envenenamiento del contexto a corto plazo y el envenenamiento de la memoria a largo plazo, los investigadores descubrieron que podían hacer que Gemini realizara acciones no incluidas originalmente en la solicitud. Esto podía eliminar eventos de varias aplicaciones de Google, iniciar una llamada de Zoom, proporcionar la ubicación de un usuario, controlar dispositivos domésticos inteligentes y más. Este tipo de ataque, conocido como "inyección indirecta de solicitud", explota vulnerabilidades en la interacción de los modelos de lenguaje de gran tamaño con datos externos.

El equipo de investigación también demuestra cómo funciona todo mediante impresionantes videos tutoriales. Es una forma sencilla y efectiva de causar estragos en la vida de alguien sin que se dé cuenta. La gente se centra más en los métodos tradicionales de hacking, lo que significa que algo como esto podría ser extremadamente inesperado.

Afortunadamente, el equipo de investigación reportó estos problemas a Google en febrero y se reunió con ellos para solucionarlos. Google afirma haber implementado defensas multicapa, que incluyen: confirmaciones de usuario mejoradas para acciones sensibles; gestión robusta de URL con políticas de saneamiento y nivel de confianza; y detección avanzada de inyección de reclamaciones mediante clasificadores de contenido.

El proyecto destaca las técnicas teóricas de inyección indirecta de reclamaciones que afectan a los asistentes basados ​​en grandes modelos lingüísticos, las cuales podrían volverse más comunes en un futuro próximo a medida que las herramientas de IA se vuelvan más sofisticadas. Esto también está en sus primeras etapas y requerirá una mejor supervisión para evitar que cause daños más graves en el futuro. A medida que dependemos cada vez más de la IA en nuestra vida diaria, comprender y mitigar estos riesgos potenciales se vuelve crucial.

Si eres alguien interesado en las vulnerabilidades de seguridad, siempre puedes Envía lo que encuentres a Google A través de su programa Bug Hunters, existen diversas maneras de contribuir, ya que la IA es solo una pequeña parte de lo que se monitorea actualmente. Si se trata de algo más serio, Google también ofrece una recompensa por tu trabajo, lo que hace que el esfuerzo valga aún más la pena.