Copilot Vision : l’intelligence artificielle de Microsoft voit désormais votre écran

Microsoft franchit une nouvelle étape majeure dans l’intégration de l’intelligence artificielle à son système d’exploitation avec Copilot Vision, une fonctionnalité expérimentale qui permet désormais à l’IA de voir ce qui se passe à l’écran de l’utilisateur sous Windows 11. Loin d’un gadget, cette innovation ouvre la voie à une nouvelle interaction homme-machine, à la fois proactive, contextuelle et potentiellement révolutionnaire.

Jusqu’à présent, l’IA de Microsoft se limitait à répondre à des requêtes textuelles ou vocales. Elle n’intervenait que sur la base d’informations explicitement fournies par l’utilisateur. Désormais, si vous le décidez, Copilot peut analyser visuellement ce qui est affiché à l’écran – que ce soit une fenêtre spécifique ou l’ensemble du bureau – pour mieux comprendre ce que vous êtes en train de faire et offrir une assistance ciblée.

L’activation de cette fonctionnalité se fait manuellement : une icône en forme de lunettes apparaît dans la barre latérale de Copilot. Une fois activée, l’IA peut interpréter le contenu affiché à l’écran – sans enregistrer d’images – afin de proposer des suggestions intelligentes. Elle peut par exemple reconnaître un CV dans Word, détecter des erreurs visuelles dans une présentation PowerPoint ou commenter en temps réel une vidéo en cours de montage.

Cette avancée technologique se veut rassurante sur le plan de la vie privée. Contrairement à Recall, la fonction controversée de mémoire numérique, Copilot Vision n’enregistre rien de manière permanente, selon Microsoft. L’analyse se fait localement ou de façon temporaire sur le cloud, et l’utilisateur est toujours informé de ce que l’IA “voit” grâce à des repères visuels appelés “Highlights”.

Autre point notable : Copilot Vision peut aussi être activé en cours de conversation vocale, afin d’enrichir le contexte d’échange. Il suffit d’un simple clic sur l’icône dédiée pour permettre à l’IA d’interpréter visuellement l’environnement numérique de l’utilisateur.

Actuellement disponible uniquement aux États-Unis pour les membres du programme Windows Insider, cette fonction requiert, pour une utilisation avancée hors navigateur Edge, un abonnement à Copilot Pro, facturé 22 € TTC par mois et par utilisateur. Aucune date de lancement pour l’Europe n’a encore été annoncée, mais l’expérimentation s’annonce prometteuse pour les professionnels, les créatifs et les utilisateurs avancés.

La dernière version de l’application Copilot (1.25071.125 ou ultérieure) est en cours de déploiement via le Microsoft Store, et préfigure une transformation radicale de notre rapport à l’interface informatique. Copilot Vision pourrait bien être l’éclaireur d’un avenir où nos machines n’auront plus seulement besoin de nous écouter… mais aussi de nous observer.

Source : Microsoft

👉🏾 Pour ne rien rater des nouveautés tech les plus percutantes, suivez TekTek sur tous nos réseaux :

Twitter/X : @iam_tektek

Threads : @iam_tektek

Instagram : @iam_tektek

Chaîne WhatsApp : TekTek sur WhatsApp