- Gemini introduce capacidades de visión en tiempo real mediante el Proyecto Astra para analizar interfaces.
- La función permite interactuar con aplicaciones y webs en vivo, superando las capturas estáticas.
- Actualmente está disponible de forma experimental para usuarios de Gemini Advanced y Google One.
Seguro que te has encontrado alguna vez peleándote con la configuración de un aparato nuevo o perdiéndote en los menús de una app rebuscada. La verdad es que, hasta hace nada, tener un asistente de IA era genial para redactar correos, pero cuando llegaba el momento de resolver algo visual en el dispositivo, nos tocaba hacer capturas de pantalla y esperar que la máquina entendiera el contexto, lo cual era un poco engorroso.
Pues bien, Google ha dado un salto cualitativo con el despliegue de funciones experimentales que permiten que Gemini vea tu pantalla en tiempo real. Ya no hablamos de analizar una foto fija que tú le mandes, sino de una capacidad de visión activa que permite al asistente comprender exactamente qué estás mirando en ese preciso instante, ya sea en el navegador Chrome o en cualquier otra aplicación de tu smartphone.
El Proyecto Astra y la capacidad de visión en vivo
Todo este despliegue tiene su origen en lo que Google denomina Proyecto Astra. Esta tecnología permite que Gemini se integre totalmente como un asistente proactivo, pudiendo acceder a la pantalla del móvil para ofrecer ayuda contextual. En lugar de darte consejos genéricos que podrías encontrar en cualquier manual, la IA analiza los elementos visuales que tienes delante y te guía paso a paso sobre qué botón pulsar o dónde buscar una opción concreta.
Para activar estas funciones, los usuarios han empezado a notar la aparición de botones específicos como «Compartir pantalla con Live» y la opción de «Preguntar sobre esta pantalla». Esto supone un cambio de paradigma, ya que la IA pasa de ser un receptor de imágenes estáticas a un observador activo que puede interactuar con el flujo de navegación del usuario en vivo.
Experiencias reales: De configurar relojes a editar fotos
Para que te hagas una idea de lo útil que es esto, imagina que acabas de comprarte un smartwatch y la aplicación de configuración es un laberinto de etiquetas métricas extrañas. En vez de perderte en foros de internet, puedes abrir Gemini, compartir la pantalla y recibir instrucciones precisas basadas en la interfaz real que estás viendo. Es, básicamente, como tener a un experto al lado diciéndote: «haz clic ahí mismo».
Otro caso muy práctico es la edición de imágenes. Al usar herramientas como Google Fotos, Gemini es capaz de detectar la intención del usuario, como querer suavizar la piel de un rostro o ajustar los colores de una toma, y señalar exactamente qué herramienta de la interfaz de usuario debe emplearse para lograr ese resultado. Esta consciencia de la pantalla es lo que coloca a Gemini un paso por delante de otros modelos en tareas de soporte técnico visual.
Disponibilidad y acceso a las funciones experimentales
Ahora bien, no todo el mundo puede usar esto todavía. Al ser una fase de pruebas, parece que el acceso está restringido principalmente a quienes tengan una suscripción a Gemini Advanced o Google One, especialmente en regiones como Estados Unidos. Curiosamente, se ha detectado que algunos usuarios con dispositivos Xiaomi han podido acceder a estas opciones, a pesar de que habitualmente Google prioriza sus propios Pixel o los Galaxy de Samsung.
Si quieres comprobar si ya tienes suerte y puedes probarlo, te recomendamos echar un vistazo a las opciones de desarrollador de tu dispositivo o revisar los ajustes de tu perfil de Gemini Advanced. Además, se ha notado una mejora en la interacción verbal: ahora el asistente se queda esperando una respuesta o comando si detecta que el usuario no ha terminado de hablar, evitando esos cortes molestos donde antes simplemente decía que no había entendido nada.
Comparativa con otros asistentes y compatibilidad
No es que Google sea la única empresa moviéndose en esta dirección. Microsoft ya lanzó Copilot Vision a finales del año pasado, aunque su funcionamiento está limitado principalmente al navegador Edge. En el caso de Gemini, la apuesta es más abierta, integrándose en Android con cualquier contenido de pantalla y, en el caso de iOS, integrándose específicamente dentro de la aplicación de Chrome.
Mientras que otras IAs como ChatGPT o Claude siguen siendo las reinas en razonamiento profundo o redacción compleja, Gemini ha encontrado su nicho en la asistencia visual contextual. No se trata de sustituir el pensamiento crítico, sino de eliminar la fricción al interactuar con software complicado mediante una visión artificial que entiende la disposición de los elementos en el dispositivo.
En definitiva, la capacidad de Gemini para observar y analizar lo que ocurre en el smartphone en tiempo real transforma la manera de interactuar con la tecnología, permitiendo que la ayuda contextual y el Proyecto Astra simplifiquen tareas cotidianas, siempre que se cuente con las versiones Advanced o Google One y se resida en las zonas donde ya se han activado estas funciones experimentales.
