Cómo instalar y usar Ollama para ejecutar modelos de lenguaje grandes (LLM) en su computadora con Windows 11

La interacción más común que la mayoría de nosotros tenemos con la IA en este momento es a través de herramientas basadas en la nube como ChatGPT O CopilotEstas herramientas requieren una conexión a Internet para su uso, pero la ventaja es que se pueden usar en casi cualquier dispositivo.

Pero no todos quieren confiar en la nube para sus aplicaciones de IA, especialmente los desarrolladores. Por lo tanto, es recomendable que su modelo de lenguaje grande (LLM) se ejecute localmente en su equipo. Aquí es donde entra Ollama.

Ollama es una herramienta de inferencia que permite ejecutar una amplia gama de grandes modelos de lenguaje (LLM) de forma nativa en el ordenador. No es la única forma de hacerlo, pero es una de las más sencillas y directas. Ollama permite aprovechar el poder de la IA sin necesidad de una conexión constante a internet, lo que proporciona un control total sobre los datos y la privacidad.

Una vez que esté listo, hay mucho que puede hacer con Ollama y los grandes modelos de lenguaje (LLM) que utiliza, pero el primer paso es la configuración. Le guiaremos paso a paso por este proceso para que pueda sacar el máximo provecho de esta potente herramienta.

Requisitos del sistema de Ollama

Ejecutar Ollama no consume muchos recursos del sistema y es compatible con una amplia gama de dispositivos. Es compatible con Windows 11, macOS y Linux. Incluso puedes usarlo desde tus distribuciones de Linux dentro de Windows 11 mediante WSL.

Sin embargo, ejecutar modelos de lenguaje grandes (LLM) requiere un hardware más potente. Cuanto mayor sea el modelo, mayor será la potencia de procesamiento necesaria. Estos modelos requieren una unidad de procesamiento gráfico (GPU) para funcionar. Actualmente, no están optimizados para la unidad de procesamiento neuronal (NPU) de las nuevas PC Copilot+.

Afortunadamente, existen modelos pequeños que se pueden usar en hardware modesto. Por ejemplo, el modelo Gemma 3 de Google tiene un modelo de mil millones de parámetros que requiere solo 1 GB de memoria de acceso aleatorio visual (VRAM) para ejecutarlo por completo. Esta cantidad aumenta a más de 2.3 GB de VRAM si se amplía al modelo de 9 mil millones de parámetros.

Es similar a Llama 3.2 de Meta, donde el modelo de mil millones de parámetros requiere una GPU con solo 1 GB de VRAM para funcionar correctamente. Esta cantidad aumenta a 4 GB para el modelo de tres mil millones de parámetros.

En resumen, si tienes una computadora relativamente moderna con al menos 8 GB de RAM y una GPU dedicada, deberías poder obtener algún beneficio al usar Ollama.

Guía de instalación de Ollama en Windows 11

Instalar Ollama en Windows 11 es un proceso muy sencillo, que se resume en descargar Instalar el programa desde el sitio web oficial O de repositorio GitHub, luego instálalo en tu dispositivo.

Estos son los pasos simples.

Tras la instalación y el inicio, no aparecerá nada en el escritorio. El programa se ejecuta completamente en segundo plano, pero podrá ver su icono en la barra de tareas.

Para verificar que el programa funciona correctamente, puedes ir a la dirección localhost: 11434 en su navegador web.

Instale y ejecute su primer modelo de lenguaje grande (LLM) en Ollama

Para ejecutar su primer modelo de lenguaje grande (LLM) con Ollama, necesitará principalmente usar la interfaz de línea de comandos (CLI). Abra PowerShell en Windows o use WSL si tiene Ollama instalado.

Aunque existen interfaces gráficas de usuario (GUI) para Ollama, aquí nos centraremos en el uso de la línea de comandos. Resultará útil si se siente cómodo con la CLI.

Las dos cosas principales que necesitas saber son:

Ollama corre

ponlo

Si le pide a Ollama que ejecute un modelo LLM que no esté instalado, lo descargará automáticamente primero y luego lo ejecutará. Puede encontrar fácilmente los nombres correctos de los modelos de idiomas grandes que desea instalar en Sitio web de Ollama.

Por ejemplo, para instalar y ejecutar el modelo LLM de Google Gemma 3 de mil millones de parámetros, ingrese el siguiente comando:

ollama corre Gemma:1b

Tenga en cuenta que agregar :1b Después del nombre, especifique que desea el modelo con mil millones de parámetros. Si desea el modelo con cuatro mil millones de parámetros, cámbielo a **:1b**.

Al ejecutar formularios en su terminal se abrirá una experiencia de chatbot familiar, que le permitirá escribir sus indicaciones y recibir respuestas, todo ejecutándose localmente en su dispositivo.

Para salir del formulario y regresar a PowerShell, simplemente escriba **/bye** y el proceso finalizará.

Este artículo cubre los aspectos básicos de la configuración de Ollama en tu computadora para usar el conjunto de LLM disponibles. La experiencia básica es muy sencilla y fácil de usar, y prácticamente no requiere conocimientos técnicos. ¡Si yo puedo, tú también!