Perplexity: Una IA de ordenador local que solicita permiso antes que la nube.

La mayoría de los asistentes de IA requieren que envíes tus preguntas, archivos y otros datos a servidores de terceros. Pero el nuevo ordenador portátil de Perplexity le da un giro a este concepto, ejecutando todo el sistema de IA en tus propios dispositivos.

El martes se anunció el Portable Computer, que lleva la plataforma de computación inteligente de Perplexity a Nvidia DGX Spark y otros dispositivos Linux con tarjetas gráficas Nvidia compatibles.

La empresa señala que cada tarea se inicia en su dispositivo. Si el modelo local llega a un paso que requiere un razonamiento más avanzado, Portable Computer solicita autorización antes de enviar ese paso a un modelo avanzado en la nube. La respuesta se envía de vuelta al flujo de trabajo local, mientras que los archivos y otra información confidencial pueden permanecer en el dispositivo.

Esto puede resultar atractivo para cualquiera que desee un agente de IA fácil de usar sin tener que ceder automáticamente todo lo que gestiona a un proveedor de servicios en la nube.

Sin embargo, existe una desventaja bastante costosa.

Más que un simple chatbot instalado localmente

Ya puedes descargar y ejecutar plantillas de código abierto en tu ordenador. Pero la parte complicada es convertir una de estas plantillas en un agente de IA capaz de trabajar con archivos, usar herramientas y completar una tarea de varios pasos.

Esto generalmente implica encontrar y configurar un motor de inferencia, así como conectar el arnés del agente, un entorno aislado (sandbox) y los conectores necesarios para acceder a aplicaciones externas. También es responsable de garantizar que todos estos componentes funcionen correctamente de forma conjunta.

Portable Computer combina estos componentes en un único sistema. Incluye el modelo local, el motor de inferencia, herramientas de proxy, conectores de aplicaciones y un entorno aislado (sandbox) donde puede ejecutar código y utilizar herramientas.

La inteligencia artificial puede trabajar con archivos almacenados en tu ordenador, leer PDF, ejecutar comandos de shell, recibir dictados y buscar en la web. Los usuarios también pueden integrar servicios como Google Drive, Gmail, Slack y GitHub.

Según Perplexity, el código y las herramientas se utilizan en un entorno aislado local. Esto proporciona cierta separación entre el agente de IA y el resto del sistema, aunque me gustaría obtener más detalles sobre a qué puede acceder exactamente y cómo se controlan esos permisos.

Él sabe cuándo pedir ayuda.

El enrutamiento híbrido es quizás la parte más interesante de un ordenador portátil.

Un modelo local más pequeño podría ser suficiente para localizar un archivo, extraer información de un PDF o realizar una serie de pasos sencillos. Sin embargo, es menos probable que iguale las capacidades de inferencia de modelos más grandes de OpenAI , Anthropic o Google.

La solución de Perplexity consiste en dejar la tarea en el entorno local hasta que el modelo encuentre algo que no pueda manejar de forma fiable. Entonces, el ordenador portátil puede preguntar si puede enviar ese paso a un modelo basado en la nube.

Los usuarios no necesitan definir una configuración de privacidad ni crear sus propias reglas de enrutamiento. El sistema toma la decisión sobre la marcha, pero el usuario aún debe aprobar la transferencia. Un sistema de IA que supuestamente es local se vuelve mucho menos privado si regresa silenciosamente a la nube cuando la tarea se complica. Para obtener más información sobre cómo proteger su información personal, puede consultar nuestra comparación de las políticas de privacidad de ChatGPT, Gemini, Cloud y Perplexity.

Perplexity también señala que el trabajo realizado localmente no consumirá los saldos de las facturas. Solo la parte enviada a la nube se contabilizará para el uso de la nube.

En su lanzamiento, los usuarios podrán elegir entre el modelo Qwen con 27 mil millones de parámetros o una versión propietaria de Perplexity, entrenada posteriormente y denominada PPLX 27B. Se espera que posteriormente se incorpore el modelo Nemotron 3.5 Lightning de Nvidia. Los usuarios también podrán utilizar su propio modelo y servidor de inferencia.

El obstáculo reside en el equipo.

Es posible que Portable Computer funcione en su ordenador, pero no en cualquier ordenador.

El software se lanza primero en Linux y requiere hardware Nvidia con al menos 24 GB de VRAM. Es compatible con la tarjeta gráfica Nvidia DGX Spark de tamaño de escritorio, así como con ordenadores compatibles que ejecutan DGX OS o Ubuntu en hardware ARM o x64.

Está previsto que la compatibilidad con Windows llegue en septiembre. Perplexity aún no ha anunciado la compatibilidad con macOS.

Los ordenadores portátiles estarán disponibles para los suscriptores de Perplexity Pro, Max, Enterprise Pro y Enterprise Max. Aun con una suscripción compatible, la mayoría de la gente no tendrá el hardware necesario debajo de su escritorio.

Esto hace que este lanzamiento inicial sea más relevante para los entusiastas de la IA, los desarrolladores y las empresas que ya poseen sistemas Nvidia de alto rendimiento, en comparación con alguien que deba decidir entre ChatGPT y Perplexity en una computadora portátil común.

Sin embargo, la idea subyacente podría llegar a un público mucho más amplio. Los asistentes de IA están accediendo a cantidades cada vez mayores de información personal, incluyendo correos electrónicos, documentos de trabajo y archivos almacenados en nuestros dispositivos. Ejecutar Plus localmente ofrece a los usuarios otra forma de controlar qué información sale de sus dispositivos y cuándo.

El ordenador portátil aún no está listo para reemplazar un chatbot basado en la nube para la mayoría de la gente. Sin embargo, ofrece una idea de cómo podría ser un asistente de IA más personalizado una vez que el hardware necesario para ejecutarlo sea asequible.