Aplicación de inteligencia artificial HuggingSnap: mira el mundo a través de la cámara de tu teléfono

Resumen:

• Hugging Face ha lanzado HuggingSnap, una aplicación para iOS que puede analizar y describir lo que ve la cámara de tu iPhone.
• La aplicación funciona sin conexión y nunca envía datos a la nube.
• HuggingSnap no es perfecto, pero muestra lo que se puede hacer en el dispositivo.

Darle a la IA la capacidad de “ver” se está volviendo cada vez más común con la aparición de herramientas como ChatGPT, Microsoft Copilot y Google Gemini que mejoran las capacidades de la IA. Hugging Face ha lanzado su propia aplicación para iOS llamada HuggingSnap, que te permite ver el mundo a través de la cámara de tu iPhone y describir lo que ves sin una conexión a Internet. La aplicación funciona sin conexión, lo que la hace ideal para usar en áreas con mala conectividad a Internet.

Imagínate como si tuvieras un guía turístico personal que supiera permanecer en silencio. HuggingSnap funciona completamente sin conexión utilizando el modelo de visión interno de Hugging Face, smolVLM2, para permitir el reconocimiento instantáneo de objetos, descripciones de escenas, lectura de texto y observaciones generales sobre su entorno sin enviar ninguno de sus datos al vacío de Internet.

Esta capacidad de trabajar sin conexión hace que HuggingSnap sea especialmente útil en situaciones donde la conectividad es intermitente. Si está haciendo senderismo en un entorno salvaje, viajando al exterior sin una conexión a Internet confiable o simplemente en el pasillo de un supermercado donde la señal celular desaparece misteriosamente, tener esta capacidad en su teléfono es una verdadera bendición. Además, la aplicación afirma ser ultraeficiente, lo que significa que no agotará la batería como lo hacen los modelos de IA basados ​​en la nube.

HuggingSnap mira mi mundo

Decidí probar la aplicación HuggingSnap. Primero, lo apunté a la pantalla de mi computadora portátil mientras el navegador estaba abierto en mi biografía de TechRadar. Al principio, la aplicación hizo un buen trabajo al transcribir el texto y explicar lo que veía. Sin embargo, se sorprendió cuando vio los titulares y otros detalles sobre mi currículum. HuggingSnap pensó que las referencias a nuevos chips de computadora en un titular eran una indicación de lo que hacía funcionar mi computadora portátil, y pareció pensar que algunos de los nombres en los titulares se referían a otras personas que usaban mi computadora portátil.

Luego apunté la cámara hacia el patio de juegos de mi hijo, que estaba lleno de juguetes que aún no había ordenado. Una vez más, la IA hizo un gran trabajo al describir el área de juego y los juegos dentro de ella en general. Identificó correctamente los colores e incluso las texturas al identificar juguetes de peluche frente a bloques. Pero también se equivocó en algunos detalles. Por ejemplo, describió a un oso como un perro y pareció pensar que un anillo de apilamiento era una pelota. En general, considero que HuggingSnap es bueno para describir una escena a un amigo, pero no lo suficientemente bueno para un informe policial.

Mira hacia el futuro

El enfoque de HuggingSnap en el dispositivo es lo que lo distingue de las capacidades integradas del iPhone. Si bien el dispositivo puede identificar especies de plantas, copiar texto de fotos y decirte si esa araña en tu pared es del tipo que debería hacerte mover, siempre está enviando información a la nube.

HuggingSnap es único en un mundo donde la mayoría de las aplicaciones intentan rastrear casi todo sobre ti. Sin embargo, Apple está invirtiendo fuertemente en tecnologías de inteligencia artificial para los futuros iPhone. Pero por ahora, si quieres privacidad con visibilidad de IA, HuggingSnap podría ser perfecto para ti.