Mi experiencia con Copilot Vision: Una sensación extraña, pero algo útil: aquí está mi opinión

Los usuarios de EE. UU. ya pueden usar Copilot Vision en Windows 11 (y 10), un asistente de IA que te ayuda con casi todo lo que haces en tu PC. ¿Quieres saber si realmente funciona? Pues lo probé y, en esta guía, te explicaré en detalle qué ofrece esta función, cómo obtenerla y compartiré mi experiencia personal.

En la aplicación Copilot, la función es: "Visión" Una función que te permite compartir tu pantalla con un chatbot, permitiéndole ver e interpretar lo que hay en ella. Actúa como un segundo par de ojos, ofreciendo ayuda, respuestas e información en tiempo real según el contenido que se muestra en tus aplicaciones o navegador.

Esta función también es opcional, por lo que debe habilitarla manualmente en Copilot versión 1.25061.104.0 y posteriores. Si utiliza un navegador Microsoft EdgeTambién puede acceder a la función a través de la integración de Copilot.

Es importante tener en cuenta que la IA puede mostrar casi cualquier contenido siempre que no sea material protegido por DRM o algún otro tipo de contenido restringido.

Esta función está disponible para cualquier persona que no tenga una suscripción. Copiloto Pro En Windows 10 y 11. También puedes acceder a Copilot Vision en iOS y Android, pero necesitarás una suscripción para usarlo en estos dispositivos móviles.

En esta guía, describiré los pasos necesarios para comenzar a utilizar esta función y compartiré mi experiencia.

Cómo obtener y activar Copilot Vision en Windows 11

Copilot Vision está disponible actualmente en Estados Unidos, a partir de la versión 1.25061.104.0 de la aplicación Copilot. Por lo tanto, el primer paso es abrir la aplicación de Microsoft Store, ir a la sección "Descargas y actualizaciones" y hacer clic en el botón "Obtener actualizaciones" para asegurarse de tener instalada la última versión de la aplicación en su ordenador. Este paso es necesario para garantizar la compatibilidad de su dispositivo con las nuevas funciones y mejorar el rendimiento general de Copilot.

Puedes descargar la aplicación en Microsoft Store si la desinstalaste previamente. Busca Copilot en la Store e instálala para disfrutar de todas sus funciones.

Microsoft explica que Vision es una función opcional, lo cual es técnicamente cierto, ya que necesitas darle permiso para compartir tu pantalla. Sin embargo, está disponible por defecto, ya que no hay opción para desactivarla por completo en la página de configuración. Esto significa que, una vez que actualices la aplicación, Vision estará lista para usar, pero requiere tu consentimiento explícito antes de acceder al contenido de la pantalla.

En la página de configuración de Copilot, solo encontrarás una opción para activar y desactivar "Resaltados", pero esta función solo controla la capacidad de la IA para indicar visualmente las acciones en pantalla. No controla su disponibilidad en la app. En otras palabras, incluso si desactivas "Resaltados", la función Visión seguirá disponible, pero no resaltará elementos visuales en la pantalla.

Si no te sientes cómodo con la idea de usar Copilot, lo mejor es desinstalarlo desde Ajustes > Aplicaciones > Aplicaciones instaladas y pulsar la opción "Desinstalar" para acceder a "Copilot". Esto eliminará la aplicación por completo de tu dispositivo, garantizando que no acceda a tus datos ni a los recursos del sistema.

Mi experiencia con Copilot Vision en Windows 11: un primer vistazo

Mi primera interacción con Copilot Vision en Windows 11 me resultó un poco extraña, ya que representó un cambio de paradigma que nunca antes había experimentado. En lugar de tener que formular texto detallado o comandos de voz para determinar el contexto, el asistente inteligente de Copilot parecía comprenderlo automáticamente, lo que le permitía brindar asistencia inmediata y eficaz. Esta capacidad de comprender el contexto sin necesidad de instrucciones específicas representa un cambio significativo en la forma en que interactuamos con las computadoras.

Aunque la precisión de Copilot Vision aún está en desarrollo, ofrece un primer vistazo al futuro de la informática. Representa un paso prometedor hacia una experiencia informática más fluida e integrada, donde el ordenador se convierte en un aliado inteligente que comprende y anticipa nuestras necesidades, en lugar de ser simplemente una herramienta a la que ejecutamos comandos específicos. Esta tecnología tiene el potencial de cambiar radicalmente nuestra forma de trabajar, crear y aprender.

Introducción a Copilot Vision

Tras confirmar que Copilot Vision estaba disponible en mi ordenador, comencé a probarlo. Abrí algunas aplicaciones y luego inicié el... Copilot Desde el menú Inicio. A continuación, haga clic en el botón "Visión" (Gafas), luego selecciona la aplicación que quieres compartir con Copilot y habilita la opción "Compartir".

Pregunta de prueba sobre la aplicación

Mientras usaba el Bloc de notas, le pedí a Copilot que me mostrara cómo cambiar la fuente predeterminada de la aplicación, pero me dio una respuesta incorrecta.

Copilot sugirió buscar en la lista. "Ver" (Ver), pero esta opción no estaba disponible en esta ubicación. Esto se debe, según el diseño actual del Bloc de notas, a que la configuración de cambio de fuente se encuentra en la página Configuración, a la que se puede acceder desde el menú. "Editar" (Editar) o haciendo clic en el botón "Engranaje" (engranaje) ubicado en la esquina superior derecha de la aplicación.

Finalmente, Copilot llegó a la respuesta correcta mediante un proceso de eliminación gradual. Curiosamente, el chatbot indicó que había cometido un error al mezclar diferentes versiones del Bloc de notas. Sin embargo, no recuerdo que ninguna versión del Bloc de notas tuviera opciones de configuración de fuentes en el menú. "Ver" (Mostrar) en absoluto. Esto sugiere que Copilot podría haberse basado en información obsoleta o inexacta.

Configuración de preguntas de prueba

Como parte del proceso de prueba, inicié la aplicación Configuración en Windows 11 y luego le pedí a Copilot que actualizara mi PC con las últimas actualizaciones del sistema.

En este caso, fue posible copiloto de microsoft Con Vision, identificó correctamente que estaba dentro de la aplicación Ajustes. Me dirigió exactamente a la sección "Actualizacion de Windows" Y resaltó el botón “Buscar actualizaciones”.

A continuación, le presenté una solicitud menos común (pero igualmente relevante). Le pregunté cómo evitar que mi ordenador descargara actualizaciones a otros dispositivos durante el proceso de actualización. Si bien no era una solicitud especialmente compleja, puso a prueba la capacidad del asistente para interpretar las intenciones más sutiles del usuario.

En el primer intento, Vision malinterpretó la consulta y mostró las instrucciones generales de actualización del dispositivo. En el segundo intento, tras refinar mi redacción, reconoció la pregunta correctamente.

Sin embargo, sus instrucciones no coincidían con lo que veía en pantalla. Por ejemplo, indicaba que había desactivado correctamente la función para compartir actualizaciones, aunque no había realizado ninguna acción. Esto sugiere que el asistente hacía suposiciones basadas en el comportamiento esperado en lugar de analizar el estado real del sistema. Esto pone de relieve la necesidad de mejorar la capacidad de Microsoft Copilot para comprender con mayor precisión el contexto del usuario y proporcionar respuestas más precisas y fiables, especialmente en lo que respecta a la configuración y las opciones de actualización de Windows 11.

Prueba de reconocimiento de elementos: Etapa 3

En la siguiente prueba, quería comprobar la capacidad de Copilot para reconocer elementos visuales en la pantalla. Para ello, abrí una imagen específica y le pedí a Copilot que identificara con precisión el elemento que contenía.

En este caso, a Copilot se le mostró la imagen de una chaqueta roja. El chatbot pudo identificar y describir con precisión el producto, e incluso proporcionar información adicional relevante si se le solicitaba. Esto demuestra la capacidad de Copilot Vision para analizar imágenes y proporcionar información detallada sobre su contenido.

Sin embargo, aunque el chatbot reconoció que la chaqueta estaba a la venta en Amazon, incluso con la imagen abierta en una pestaña aparte, no pudo determinar que no estaba navegando en la página del producto. Por lo tanto, no pudo proporcionarme información sobre la página del producto en Amazon. Esto sugiere limitaciones en la capacidad de Copilot para relacionar la información visual con el contexto de navegación actual del usuario.

Prueba de extracción de texto

Otra función que ofrece Copilot Vision es la extracción de texto de imágenes. Anteriormente, los sistemas operativos no podían detectar ni extraer texto de las imágenes, pero ahora existen múltiples métodos para realizar esta tarea de forma eficiente.

Por ejemplo, ahora tienes herramientas de extracción de texto especializadas, como la función Extractor de texto disponible a través de PowerToys, la herramienta Recortes, así como Haga clic para hacerAhora también puedes confiar en Copilot Vision para este proceso.

Para probar esta función, abrí la aplicación Ajustes en la página Modo Juego y le pregunté a Copilot si podía extraer el texto existente. El bot inteligente leyó correctamente todo el texto de la página en voz alta.

El único inconveniente que encontré fue la imposibilidad de copiar el texto extraído al portapapeles o seleccionarlo directamente, como es posible con Click to Do. Sin embargo, el bot copió todo en la app Copilot como parte del historial de conversaciones.

Prueba de redacción de textos: capacidades de la IA en el análisis y optimización de contenido

Técnicamente, puedes hacer cualquier pregunta sobre cualquier elemento en pantalla. Por ejemplo, si estás trabajando en un archivo específico, puedes indicarle a la IA que analice un gráfico o cualquier otro tipo de dato mostrado.

Esta tecnología también permite solicitar la descripción de una escena o imagen en particular, identificar un punto de referencia o una ubicación geográfica, o cualquier otra cosa que se pueda imaginar. Las posibilidades son infinitas.

Si estás trabajando en un texto escrito, puedes pedirle a la IA que lo lea y sugiera ideas para mejorarlo. Esta función es especialmente útil para autores, blogueros y estudiantes que buscan mejorar la calidad de su escritura.

En mi última prueba, cargué un texto simple en el Bloc de notas y le pedí al chatbot que lo alargara. Sugirió con éxito una versión alternativa mejorada del texto original.

Si bien la capacidad del asistente inteligente para comprender el texto mostrado en la pantalla y sugerir una versión alternativa era impresionante, no era muy preciso para comprender las siguientes acciones requeridas.

Aunque sabía que no era posible copiar y reemplazar el texto con la sugerencia directamente, pregunté si era posible copiar y pegar la versión de reemplazo del texto, pero me señaló una sección en el archivo para insertar en su lugar.

La solución es abrir y cerrar Copilot Vision y, desde la interfaz de Copilot, seleccionar y copiar texto de tu historial de chat. Esto te permite aprovechar las sugerencias de IA de forma fácil y eficaz.

La línea de fondo

Desde la perspectiva de alguien que ha estado escribiendo guías durante muchos años, encuentro esta tecnología realmente impresionante para comprender el contenido de la pantalla y brindar la asistencia necesaria.

Sin embargo, hay que reconocer que comete muchos errores y puede no ser muy útil si no se tienen conocimientos básicos del procedimiento que se desea realizar. En otras palabras, es fundamental tener conocimientos previos del tema para sacarle el máximo provecho.

Además, parece actuar con total consciencia, pero en realidad es simplemente una inteligencia artificial que replica contenido ya disponible en línea. Esto disminuye su valor como herramienta innovadora.

A veces, usar Copilot Vision es como hablar con el soporte técnico por teléfono. Aunque el chatbot puede ver la pantalla, te guía como lo haría un agente de soporte técnico y, a menudo, no entiende si has completado la tarea. Esta falta de comprensión del contexto supone un desafío importante.

Además, en la mayoría de los casos, debes ser extremadamente específico en tus instrucciones, a menudo incluso especificando la acción exacta que quieres realizar. Esto contradice fundamentalmente el propósito de una IA que se supone que comprende de forma natural la intención del usuario. Es importante recordar que esta función está diseñada principalmente para usuarios sin conocimientos técnicos, ya que es poco probable que quienes la tengan la utilicen.

En general, si bien Vision es prometedor como asistente personal, su mayor percepción del contexto y precisión aún necesitan mejoras. Da la sensación de estar "adivinando" según las órdenes, en lugar de monitorear y responder activamente al estado actual del contenido en pantalla. Esto lo hace menos fiable en situaciones complejas.

Finalmente, es importante señalar que no menciono las preguntas específicas que utilicé para esta guía porque son irrelevantes. La idea de un chatbot es mantener una conversación normal como si se estuviera hablando con otra persona. El enfoque debe estar en la fluidez de la interacción.

Además, esta función no puede actuar en tu nombre. Solo puede analizar el contenido de tu pantalla. Para actuar, la IA debe ser un agente, pero actualmente solo las PC con Copilot+ tienen esta capacidad, con una función limitada en la aplicación Ajustes.

Por último, aunque la función es gratuita, tiene limitaciones. Por ejemplo, aunque tengo una suscripción a Microsoft 365, después de unas cuantas interacciones, la aplicación me pide que actualice a Copilot Pro.

Por lo tanto, si estás solucionando un problema y estás en medio del proceso, es posible que te pidan que pagues para que el asistente de IA complete la solución. Esta estrategia puede molestar a los usuarios que dependen de la asistencia gratuita.