100 台真机、92.2% 成功率：通义这次把 GUI Agent 练出来了

综述

通义 MAI 发布以真实世界为中心的 GUI 智能体基座模型 Qwen-UI-Agent，覆盖移动端、电脑端、网页端与 DeepSearch 四大场景。基准数字相当高调：移动端 MobileWorld 82.1%、真机自建基准 MobileWorld-Real 92.2%、AndroidDaily 97.5%，电脑端 OSWorld-Verified 79.5%，浏览器 WebArena 73.6%，五个 GUI Grounding 基准全部 SOTA，全面对标乃至超越 GPT-5.6、Claude Opus 4.8、Gemini 3.1 Pro 等旗舰。

数字背后的方法论更值得看：它不把 GUI Agent 当"会截图的对话模型"，而是当成一套工程系统——真机数据、混合动作空间、长程在线强化学习、数据飞轮四件事叠在一起。

专业分析

逐条拆它的工程选择：

真机训练 + 真机评测，打通"模拟到真实"的最后一公里。 100+ 台真实手机、150+ 应用搭成移动环境，并自建 MobileWorld-Real 真机基准（400+ 任务、100+ 应用）。模拟器训练最大的隐患是"模拟与现实不一致"——按钮尺寸、渲染延迟、系统弹窗都不一样；真机直接消掉这一层域差。案例里它完成的是高德找店→大众点评找咖啡→小红书总结笔记、12306 查高铁→地铁通勤→钉钉排会这类跨 App 长链，这正是手机 Agent 的真实用法。

GUI + CLI 混合动作空间，是这条报告里最容易被低估的设计。 电脑任务中 CLI 动作占近 40%，且大量以 Batched Actions 批量输出。纯 GUI 点击路径又长又脆（每步都可能歪），CLI 一步顶十步；混合空间等于让模型自己选"走界面还是走命令行"，还允许一次决策输出多个动作。效率收益在 OSWorld-v2 上体现为同时省 58% 执行步数。

100+ 步超长轨迹在线 RL + 约 1 万并发环境。 长任务（如"Google 2019 年至今增长分析"这种 170 步任务）需要的不是单步正确率，而是百步内的策略连续性；在线 RL 配合上万并发 rollout 和自适应课程，让模型在真实环境反馈里持续校准。

AutoResearch 式数据飞轮。 任务设计、环境构建、验证器开发、数据整理、训练、评估、错误分析整条链由 AI 驱动，人只做高层监督与关键节点干预——这本质上是"用 Agent 造 Agent 的训练数据"。

安全边界也写得很明确：违法/高风险请求直接拒绝终止；支付、数据删除、隐私授权类关键步骤主动停手说明，等确认再继续。

关联信息与影响

Qwen-UI-Agent 与三条线互为注脚：其一，ChatGPT Sites 代表的"AI 直接操作数字环境"正在从网页扩展向整机与手机；其二，OpenMinis 这类手机端 Agent 缺的正是"能看懂屏幕的模型"，UI-Agent 基座恰好是这类应用的地基；其三，Anthropic/OpenAI 的电脑操作类产品此前是各自闭源示范，通义选择把方法论细节（真机基建、RL 课程、数据飞轮）写进技术报告摊开——工程透明度本身也是竞争武器。

值得注意的边界：基准分数（尤其 OSWorld 类）对任务集的覆盖高度敏感，"领先 X 个百分点"的真实含义要等第三方复测；跨 App 授权、无障碍服务权限、隐私这些非模型问题，在真实部署里往往比模型能力更卡脖子。

未来展望

短期看，GUI Agent 会先落在两类场景：需要跨应用取数的个人助理（查行程、比价、记笔记），和内部软件的自动化测试/操作（GUI 回归、RPA 换代）。中期，手机厂商与 Agent 服务商大概率会买基座授权做"系统级 AI 操作助手"，把模型能力烧进系统服务而不是第三方 App。长期，当模型能在真机上稳定跑 100+ 步任务，"手机即 Agent 的感官与肢体"会重塑 App 生态——App 不再是给人类点的界面，而是给 AI 看的"接口"，这会对应用商店的商业模式产生深远影响。

信号强度

• 大模型厂商：GUI Agent 的护城河从模型参数转移到"环境基建 + 数据飞轮"，真机集群、验证器工程、RL 课程成为新投资方向。
• 研究者：MobileWorld-Real 真机基准、长程在线 RL 管线是可借鉴的公开方法论，值得关注其评测协议细节与复现成本。
• 开发者：RPA、测试自动化、桌面工具开发者的技能树与 Agent 基座强相关；"教模型操作我的产品"会成为新的集成工作。
• 内容创作者：跨应用搬运内容（截图、总结、发笔记）可交给 Agent，但涉及平台规则与账号安全，需谨慎授权。
• 产业链成员：手机整机厂商、云真机服务商、无障碍框架维护者都在受益面内；同时"屏幕级数据采集"会带来新的隐私与合规博弈。

信息局限说明：本文数据与结论基于情报库收录的通义 MAI 发布信息与技术报告摘要；基准为厂商自报，未经独立复测；训练管线细节以 arXiv:2607.28227 与项目主页为准。