Nous avons décodé les diapositives chinoises de Qwen : les "Agent Smart Glasses" d'Alibaba de l'intérieur

Qwen d'Alibaba a dévoilé ses lunettes connectées de nouvelle génération à la Conférence mondiale sur l'intelligence artificielle à Shanghai, qui s'est ouverte le 17 juillet 2026. Le discours n'est plus celui des "lunettes IA", mais des lunettes agent : un appareil qui appelle des "Skills" et des "Agents" tiers à la demande, alimenté par Qwen, le modèle multimodal phare d'Alibaba. La fiche technique du matériel est agressive - audio full-duplex, suivi oculaire de haute précision, un chemin de caméra "always-on" qui fonctionne à 5 milliwatts, affichage spatial 3DoF, plus des capteurs PPG et de température pour les signes vitaux en continu.

Voici la partie que personne n'a faite. Les diapositives techniques présentées par Qwen sont entièrement en chinois, remplies de schémas fonctionnels, d'étiquettes de mode et de bulles d'interface utilisateur simulées. La couverture médiatique anglophone jusqu'à présent n'a fait que répéter le résumé de presse. Nous avons effectué une reconnaissance d'image sur chaque diapositive et transcrit les étiquettes une par une. Ce qui en ressort est bien plus spécifique que l'annonce : vous pouvez lire la hiérarchie de réveil, le pipeline audio, la "privacy gate" et même les fausses notifications que Qwen a choisi d'afficher à l'intérieur de la lentille.

Ce que cela implique : un module de suivi oculaire de moins de 1,7 millimètre cube consommant moins de 100 mW est le genre de chiffre qui décide si une fonctionnalité est intégrée dans des lunettes ou reste dans un casque. Les Ray-Ban Display de Meta n'ont aucun suivi oculaire, c'est précisément pourquoi elles ont besoin de la Neural Band à votre poignet pour déplacer un curseur. Mentra, le camp open-source, n'expédie pas non plus de capteur de regard et s'appuie sur la voix et le toucher du téléphone. Google et Samsung ont la version plus difficile de ce problème : Android XR suppose déjà un regard plus une entrée manuelle sur Project Moohan, un casque avec une puissance et un volume à revendre, mais les lunettes de marque Galaxy fabriquées avec Gentle Monster et Warby Parker n'ont ni l'un ni l'autre. Si Qwen a vraiment le regard à cette taille et cette puissance, Alibaba obtient un pointeur qui ne coûte rien en poids pendant que ses rivaux continuent de payer pour un bracelet ou un téléphone.

Commençons par la pile vocale. Le titre de la diapositive se lit 免唤醒连续对话的语音全双工架构, "architecture vocale full-duplex pour conversation continue sans mot-clé de réveil", avec un sous-titre promettant 精准抗干扰、动态判停、实时意图接管 : rejet précis des interférences, détection dynamique de fin de parole et prise en charge en temps réel de l'intention. La moitié gauche est étiquetée 流式 AudioLLM 预训练 (pré-entraînement AudioLLM en streaming), où un encodeur audio alimente un adaptateur dans le LLM Qwen parallèlement aux "tokens" de texte. La moitié droite, 全双工后训练 (post-entraînement full-duplex), est la partie intéressante.

Ce panneau de post-entraînement expose un classifieur à quatre états que le communiqué de presse ne mentionne jamais. En lisant la légende : <0> signifie 噪声或者静音, bruit ou silence. <1> signifie 有语音但无实际语义, parole présente mais sans réelle sémantique. <2> signifie 有语义但不完备，语音可打断信号, sémantiquement significative mais incomplète, un signal interruptible. <3> signifie 语音语义完备，判停信号, parole sémantiquement complète, le signal d'arrêt. L'inférence simulée montre les "tokens" 那 北京 明天 的 天气 呢 étiquetés <1>, <1>, <2>, <2>, <2>, <3>, avec une annotation indiquant que deux balises <2> consécutives déclenchent 打断 (interruption) et qu'un <3> suivi de <0> déclenche 判停 (fin de tour). C'est ainsi que Qwen obtient une conversation qui se chevauche sans mot-clé de réveil, et comment il prétend une réduction de 90% des faux déclenchements dans les pièces bruyantes.

Ce que cela implique : éliminer le mot-clé de réveil est le changement d'interaction le plus précieux sur la table, et Qwen l'attaque au niveau du "token" plutôt qu'avec un meilleur mot déclencheur. Chaque "Hey Meta" est un rappel que les lunettes sont une télécommande, pas un compagnon, et la propre traduction en direct de Meta fonctionne toujours par tours. Google est le seul rival avec un atout véritablement comparable, puisque Gemini Live est déjà en streaming et interruptible, mais l'intégrer dans les lunettes Samsung signifie lutter contre les limites de batterie et thermiques qu'un téléphone n'a pas. Mentra, étant open source, connectera probablement le modèle de streaming le moins cher et laissera les développeurs ajuster l'interruption vocale eux-mêmes. Le classifieur à quatre états est également la réponse honnête aux faux déclenchements : vous ne pouvez pas prétendre avoir des lunettes toujours à l'écoute dans une rue bruyante à moins que le modèle ne puisse distinguer les conversations de fond d'une phrase inachevée qui lui est adressée.

La chaîne de microphones a sa propre diapositive, intitulée 端云协同的全链路拾音架构, une architecture de captation audio en chaîne complète collaborative "edge-cloud" dont l'objectif déclaré est 缓解端侧算力依赖 提升翻译 / 听记准确率 : réduire la dépendance au calcul sur l'appareil, améliorer la précision de la traduction et de la transcription. La 端侧链路 ("edge chain") exécute 5Mic 阵列 + 1VPU, puis 回声消除 (annulation d'écho), puis 定向增强 (formation de faisceau), puis 编码 (encodage). L'audio multi-canal passe ensuite par le 手机 (téléphone) dans la 云端链路 ("cloud chain") : 解码 (décodage), 丢包补偿 (compensation de perte de paquets), 增益控制 (contrôle de gain), et enfin 大模型语音增强, amélioration vocale par grand modèle. La photo du produit est légendée 骨传导麦克风, microphone à conduction osseuse. Cinq micros plus un capteur à conduction osseuse est, comme le prétend Qwen, la configuration de micro la plus élevée actuellement commercialisée dans cette catégorie.

Ce que cela implique : Alibaba admet que le calcul sur l'appareil n'est pas suffisant et pousse l'amélioration de la parole vers le cloud, ce qui est un pari très différent de celui de Meta. Meta maintient la traduction et les sous-titres aussi près de l'appareil que possible car la latence et le comportement hors ligne font partie de l'argumentaire, et parce que l'envoi d'audio brut à un serveur est une bataille réglementaire en Europe dont il n'a pas besoin. Pour Samsung et Google, la même architecture est à la fois plus facile et plus risquée : plus facile parce que Gemini vit déjà dans le cloud, plus risquée parce que les lunettes Galaxy seront vendues dans l'UE dès le premier jour et qu'un pipeline audio dans le cloud invite les questions de protection des données que Meta a passé deux ans à absorber. Les développeurs Mentra, quant à eux, obtiennent un modèle qu'ils peuvent copier avec n'importe quel modèle hébergé. Cinq microphones plus la conduction osseuse est le véritable facteur de différenciation ici, et c'est un coût matériel que personne dans la catégorie des moins de 300 dollars ne paie.

La diapositive sur le suivi oculaire est là où se cachent les chiffres. Le panneau 高精度眼动追踪系统 présente quatre affirmations : 高精度 avec 识别偏差 < 1°, une erreur de reconnaissance inférieure à un degré ; 高鲁棒性 avec 0-10万 Lux 全场景光照环境可用, utilisable de 0 à 100 000 lux ; 低功耗 avec 运行功耗 < 100mW ; et 小体积 avec 眼动模组 < 1.7mm³, un module de suivi oculaire de moins de 1,7 millimètre cube. Une deuxième diapositive divise la fonction en deux : 眼动交互 (interaction par le regard) avec le slogan 直觉化操控 视线即指令, un contrôle intuitif où la ligne de mire est la commande, et 注视点识别 (reconnaissance du point de fixation), qui promet 实现对复杂环境中单一目标的"即时锁定", un verrouillage instantané sur un seul objet dans une scène encombrée.

Ce deuxième panneau contient la seule véritable maquette d'interface utilisateur du dossier, et c'est une scène de musée de porcelaine bleue et blanche. La bulle utilisateur dit 这是什么？, "qu'est-ce que c'est ?", et les lunettes répondent 你左前方的是..., "celui devant à gauche est...". Lu avec la fiche technique, l'intention est explicite : le regard remplace le pavé tactile, et le point de fixation devient un indice de recadrage pour le modèle de vision, de sorte que "qu'est-ce que c'est" ne signifie plus "décrire tout le cadre". Alibaba achemine également le matériel de suivi oculaire vers les paiements, car la vérification de l'iris intégrée avec Ant Group utilise le même chemin optique.

Ce que cela implique : "qu'est-ce que c'est ?" ne fonctionne que si les lunettes savent ce qu'est "ceci", et le regard est le moyen le moins cher de répondre à cela. Aujourd'hui, Meta répond à l'ensemble du cadre, c'est pourquoi ses réponses visuelles sont génériques dans une scène encombrée, et pourquoi le Neural Band existe comme dispositif de pointage substitut. Mentra a le même problème de cadrage sans capteur pour le résoudre. Google devrait être nerveux, car le regard plus un modèle multimodal est précisément la démo Gemini dont tout le monde se souvient, et Alibaba pourrait le mettre sur un visage avant que les lunettes Android XR n'atteignent les étagères. Ajoutez la vérification de l'iris d'Ant Group sur le même chemin optique et le regard cesse d'être une méthode de saisie : il devient un capteur d'identité et de paiement, une activité que Meta ne peut pas copier rapidement et que Samsung devrait négocier avec les banques région par région.

La caméra "always-on" n'est pas du tout la caméra principale, et la diapositive le rend inhabituellement clair. Sous 端侧部署视觉识别模型 (modèle de reconnaissance visuelle déployé sur l'appareil), il est indiqué 低功耗感知芯片 运行功耗 < 5mW. Le flux étiqueté 分级视觉唤醒机制, un mécanisme de réveil visuel hiérarchisé, va de 高清摄像头 (caméra HD) vers 低功耗感知芯片 (puce de détection basse consommation, gérant 控制/通信/OTA, reconnaissance d'image, encodage Jpeg/YUV et traitement RAW) vers 本地服务决策系统, un système de décision de service local. De là, il se divise : AON 模式 mène à 各场景主动服务 (services proactifs par scénario) entièrement sur l'appareil, tandis que 高清模式 réveille le 高性能计算芯片. Ce n'est qu'après cette division que vous atteignez la ligne marquée 图片 / 隐私授权 / 用户上传 - image, autorisation de confidentialité, téléchargement par l'utilisateur - avant que quoi que ce soit n'atteigne 视觉记忆千问大模型 (le modèle de mémoire visuelle Qwen) et 千问 AIGC 大模型. En d'autres termes, la porte de consentement se trouve entre le téléphone et le cloud, et non entre le capteur et la puce.

Ce que cela implique : une puce de perception de 5 mW surveillant la pièce toute la journée est la fonction qui transforme un assistant en agent, et c'est aussi la fonction qui définira le prochain débat sur la vie privée. Notez où se trouve la "gate" de consentement sur cette diapositive : entre le téléphone et le cloud, et non entre le capteur et la puce. Meta n'a délibérément pas intégré de chemin de caméra "always-on", et sa LED de capture fait maintenant partie de sa défense juridique sur un marché où New York a déjà interdit les lunettes connectées dans les palais de justice. Google et Samsung héritent de cette contrainte multipliée par l'EU AI Act et leurs propres clients d'entreprise, de sorte qu'une paire Galaxy surveillant en permanence est quasiment invendable en Occident sans un indicateur matériel très visible. Alibaba peut la commercialiser en Chine d'abord, recueillir les données comportementales, et laisser ses rivaux discuter du consentement pendant qu'il apprend ce qu'un service proactif ressent réellement.

Sur l'affichage, Qwen rompt avec les panneaux fixés à la tête qui dominent les lunettes IA actuelles. La diapositive 3D 空间显示 se divise en 3D 显示, basée sur 双显双光机 (doubles écrans, doubles moteurs optiques), 双目视差渲染 (rendu de parallaxe binoculaire) et 亚毫秒级硬同步 (synchronisation matérielle sub-milliseconde), et 3DoF 显示, basée sur 实时精准头部追踪 (suivi de tête en temps réel), 双芯协同渲染 (rendu collaboratif bi-puce) et 帧率高至 90FPS. Les écrans sont ancrés dans la pièce plutôt que fixés à votre nez, et l'audio surround virtuel 7.1 suit la pose de la tête afin que les sources sonores restent physiquement placées.

Les cartes simulées dans ce rendu méritent également d'être lues, car elles annoncent les cas d'utilisation au lancement : une tuile de calendrier affichant 7月 星期五 17, une tuile météo lisant 晴转多云 22°/29° avec AQI 21 空气优, une notification 来自张三 下午4:00开会 会议室2 ("de Zhang San, réunion à 16h00, salle de réunion 2"), un fil de discussion 这个是设计稿 / 麻烦审核一下 / 没问题, et un grand panneau flottant avec les paroles de 《海阔天空》 de Beyond. Calendrier, météo, messagerie de travail et paroles : c'est un appareil de productivité et un compagnon quotidien, pas une proposition de jeu en AR.

Ce que cela implique : c'est l'écart le plus clair avec Meta. Les Ray-Ban Display sont monoculaires et fixées à la tête, une surface de notification épinglée à votre nez, tandis que Qwen décrit deux moteurs optiques, une parallaxe binoculaire et un suivi de tête 3DoF à 90FPS, qui ancre les panneaux dans la pièce. Viture et XREAL vendent déjà du 3DoF, mais en tant que visionneuses filaires, pas en tant que lunettes agent. Pour Samsung, les enjeux sont directs : les lunettes Galaxy avec Gemini seront jugées par rapport à cela, et Android XR a besoin d'un gestionnaire de fenêtres spatiales pour les lunettes plutôt qu'une interface utilisateur de casque réduite. Pour Google, c'est une question de plateforme, car celui qui définit où un panneau flottant vit, comment il vous suit et quelle latence est acceptable, définit le modèle d'application. Les cartes factices vous indiquent également les cas d'utilisation cibles : calendrier, météo, chat de travail et paroles. Productivité et compagnon quotidien, pas de jeu en AR.

La diapositive sur la santé, 用户体征实时监测系统, est celle qui contient le plus de détails d'ingénierie par centimètre carré. La colonne 端侧 (côté appareil) enchaîne l'acquisition de signaux AON vers ET (suivi oculaire), PPG et IMU vers 滤波消噪 (filtrage et débruitage) puis 多维度特征提取 (extraction de caractéristiques multidimensionnelles), et NTC 环温补偿 (compensation de température ambiante) vers 红外测温 (mesure de température infrarouge). La colonne App gère 数据融合和统计 et 生理指标计算, transmettant la VRC et la fréquence cardiaque à la colonne 云端 (côté cloud), qui exécute 多模态生理压力算法 (algorithme de stress physiologique multimodal), 心率/血氧算法 (fréquence cardiaque et oxygène sanguin) et 多模态发热风险算法 (risque de fièvre). Une bannière en dessous indique que Qwen a construit un 「主任医师级」大模型 ("modèle de niveau médecin-chef") avec des experts médicaux - et la note de bas de page avertit 本功能提供的健康信息仅供日常参考，不构成医疗建议, les informations de santé fournies par cette fonction sont uniquement à titre de référence quotidienne et ne constituent pas un avis médical.

La maquette santé montre l'interaction que Qwen vend réellement. L'utilisateur demande 最近总觉得累，怎么回事呢？, "Je me sens toujours fatigué dernièrement, qu'est-ce qui se passe ?", et les lunettes répondent 今天久坐超过3小时，压力指数也比上周高20%，多户外活动有利于身心平衡 : vous êtes resté assis plus de trois heures aujourd'hui, votre indice de stress est 20% plus élevé que la semaine dernière, plus d'activités de plein air seraient bénéfiques pour l'équilibre physique et mental. Trois tuiles étiquettent les piliers : 生理压力 (stress physiologique), 体征监测 (surveillance des signes vitaux) et 长期记忆 (mémoire à long terme). Cette dernière est plus importante que les capteurs, car c'est là qu'un "wearable" cesse de répondre à des questions et commence à détenir un profil de vous.

Ce que cela implique : la santé est le flanc où Meta est le plus faible et Samsung le plus fort. La ligne sportive de Meta avec Oakley compte l'activité et la fréquence cardiaque via des partenaires, et Mentra n'a aucune histoire de capteurs, donc un pipeline PPG plus température plus fatigue oculaire dans une paire d'affichage place Alibaba dans une catégorie que Meta a évitée pour des raisons réglementaires. Samsung, d'autre part, possède déjà la montre, l'anneau et Samsung Health, donc des lunettes qui lisent la VRC et la fatigue s'intégreraient dans un écosystème qu'Alibaba doit construire à partir de zéro, et Google fournirait le modèle qui l'interprète. L'avertissement se trouve dans la propre note de bas de page de Qwen : il s'agit d'une référence quotidienne, non d'un avis médical, et un modèle de niveau "médecin-chef" est une allégation marketing, non une autorisation. Quiconque essaie de vendre la détection de la fatigue en Europe ou aux États-Unis aura besoin de plus qu'une diapositive.

Notre point de vue : lu dans son ensemble, le "deck" parie que le goulot d'étranglement des lunettes IA n'est plus le modèle mais le budget du capteur et de l'énergie autour de celui-ci. Chaque diapositive est une tentative d'acquérir une conscience "always-on" à un coût énergétique que la monture peut supporter - 5 mW pour la vision ambiante, moins de 100 mW pour le regard, un module oculaire de 1,7 mm³, un déchargement dans le cloud pour tout ce qui est lourd. Meta mène la même bataille avec un assistant payant et sa propre feuille de route silicium, tandis que Samsung s'appuie sur l'écosystème Galaxy. Le différenciateur d'Alibaba est que l'agent peut déjà accéder aux services de covoiturage, de livraison, de billetterie et de paiement au sein de sa propre économie de "super-applications", ce qui est exactement le type d'infrastructure que les plateformes occidentales n'ont pas.

Deux mises en garde. Chaque chiffre ici est celui de Qwen, mesuré dans les conditions de Qwen, y compris la réduction de 90% des faux déclenchements et la précision du regard inférieure à un degré, et rien de tout cela n'a encore été testé indépendamment. Et le calendrier est divisé : le nouveau matériel arrivera sur un modèle de lunettes agent phare plus tard cette année, tandis que les Qwen S1 et G1 déjà commercialisés recevront la couche logicielle d'agent via une mise à jour OTA, sans le suivi oculaire, la puce de vision de 5 mW ou l'écran 3DoF.

Nous suivons chaque modèle, spécification et date de sortie dans notre comparatif de lunettes connectées, et la gamme Qwen y figure aux côtés de Meta, Samsung, XREAL, Rokid et les autres.

Source: Alibaba Group ↗