昔时一年，AI 与手机的干系正在被重新界说：OpenAI AI Phone / AI Agent Phone 把「AI 原生人机」推到台前，Gemini on Android 也在把系统级助手从问答带向跨 App、多法子任务协助。

这些信号指向吞并个趋势：AI 不再仅仅聊天框里的回复者，而是正在进伊始机这个最平常、最复杂、也最具情状性的贪图环境。

腾讯混元牵头，连合 The Chinese University of Hong Kong、The Chinese University of Hong Kong， Shenzhen、Tsinghua University 等机构的最新筹谋 PhoneHarness: A Mixed-Action Orchestration Harness and Benchmark for Phone Agents across CLI， GUI， and MCP Tools 温雅一个更基础的问题：当 AI 真实在手机上举止，咱们如何让它真实完成任务，并考据它照实完成了？

作家团队给出的论断是：

手机 Agent 的中枢不仅仅「更会点屏幕」，而是能根据任务摄取 CLI、GUI、MCP 器具等合适的举止面；

真实手机 workflow 需要可考据的反作用：文献是否生成、配置是否改变、邮件 / 日期对象是否竟然创建，王人不成只靠模子表面回复；

PhoneHarness 提供 mixed-action 奉行 harness；PhoneHarness Bench 则用 trace、系统情状、App 实现和安全计谋评估任务是否竟然完成。

形态主页：https://phoneharness.github.io/

GitHub：https://github.com/PhoneHarness/PhoneHarness

HuggingFace Dataset：https://huggingface.co/datasets/PhoneHarness/phoneharness-bench

先看三个奉行片断：手机 Agent 不仅仅点屏幕

底下三个 demo 展示了 PhoneHarness 念念抒发的中枢各异：真实手机任务时常不是一条更长的 GUI 点击链，而是 CLI、GUI、MCP-style tools 与 verifier 共同组成的奉行 workflow。

Demo 1｜CLI-first：先读开采情状，再决定是否参预 GUI

视频贯穿：https://mp.weixin.qq.com/s/I2ztL6sFiHGxAiCfh_FTqg

Demo 2｜Mixed workflow：MCP 检索 + GUI 奉行 + verifier 复核

视频贯穿：https://mp.weixin.qq.com/s/I2ztL6sFiHGxAiCfh_FTqg

Demo 3｜Virtual display：后台 GUI 奉行与进程留痕

先把第一个问题讲明晰：手机 Agent 竟然「作念了」吗？

在好多手机 Agent 评测里，任务被拆成一连串 GUI 操作。模子不雅察屏幕，决定下一步点那里、滑那里、输什么。要是终末 UI 情状看起来对，就算任务完成。

这套范式固然有价值。毕竟，手机照实是一个强 GUI 环境，真实 App 的搜索、浏览、点击和输入王人需要视觉 grounding。

但关于 AI 手机时期的 Agent 来说，只会 GUI 操作远远不够。

传统 GUI-centric 视角：

把手机任务当作 screenshot → tap /swipe/type；

视觉感知简直是总计动作奉行的前置操作；

更合适单 App、强视觉、低反作用任务。

PhoneHarness 的 mixed-action 视角：

把手机任务当作跨 CLI、GUI、MCP 器具的竣工 workflow；

评估重心不是「看起来完成」，而是反作用是否真实发生、trace 是否可审计；

更合适系统配置、文献、搜索、邮件、日期和跨 App 任务。

举例，「查一个 App 内的信息，再诱骗网页搜索补充布景，并整理成邮件」这类任务，不是一个更长的点击链。它同期包含 App 内 GUI 交互、外部信息检索、文本处置、邮件反作用，以及最终实现考据。

要是评测只看最终回复，就会漏掉最关节的问题：模子到底有莫得核对开头、有莫得竟然创建文献、有莫得竟然发出邮件、有莫得绕过了应该被证据的高风险操作？

中枢判断：PhoneHarness 的起点很径直：手机 Agent 的评测不成只问「它会不会点屏幕」，而要问「它能不成在真实手机环境里把一件事作念完，并留住可考据字据」。

PhoneHarness：让手机 Agent 的举止空间不啻 GUI

PhoneHarness 的中枢不是再造一个 GUI 点击器，而是把手机任务放进一个搀杂动作空间里。

关节区别：问题不是「纯 GUI 表面上能不成作念」，而是「纯 GUI 是否是可靠、高效、可考据的动作详细」。真实手机 workflow 时常同期普及系统情状、App 界面、文献、网页、邮件、日期和安全限制。GUI 是紧要进口，但不应该是惟一进口。

因此，mixed-action 不是给 GUI agent 加几个外挂器具，而是让 agent 在奉行进程中为不同子指标摄取合适的 action surface：能用笃定生敕令读取情状，就无须反复点配置页；必须参预 App 内完成交互时，才交给 GUI；需要外部信息、文献处置或实现复核时，则调用 host-side tools 或 verifier。

为什么 mixed-action 比纯 GUI 更稳

PhoneHarness 架构图：host-side orchestration 与 Android device-side execution 共同组成 mixed-action harness。

在 PhoneHarness 中，agent 不错在三类举止面之间切换：CLI /device-side commands、GUI delegation、以及 MCP-style host tools。

图解：PhoneHarness 的三类举止面

PhoneHarness 的 mixed action space：CLI、GUI 与 MCP-style tools 在吞并个 phone-agent loop 中共存。

这意味着，PhoneHarness 里的 agent 无须把总计任务王人硬塞进 GUI 点击链。它不错判断：什么时候该走系统敕令，什么时候该交给 GUI worker，什么时候该调用搜索、文档、邮件、日期等器具。

这种瞎想更接近 AI 手机时期的真实需求。AI 手机不是「在手机里放一个聊天机器东说念主」，而是让智能体能在复杂手机环境里交融指标、摄取举止、奉行任务，并产生可查验的实现。

PhoneHarness Bench：如何构建并考据手机 workflow

有了 mixed-action harness，还需要一个能真实磨砺奉行实现的 benchmark。原因很浅易：敌手机 Agent 来说，能举止不就是竟然完成了任务。

PhoneHarness Bench 建造在 PhoneHarness 之上，一分彩app不把任务写成详细问答题，而是写成一段不错奉行、纪录和复核的 phone workflow。Agent 在奉行进程中会留住截图、CLI / MCP 操作、文献变化、系统情状和 App 侧实现；benchmark 再通过 task-specific verifier 判断任务反作用是否真实发生。

Bench 的关节：PhoneHarness Bench 不问「模子有莫得说我方作念完」，而是看「任务字据链是否救助它竟然作念完」。这亦然它区别于纯问答式评测和纯 GUI 情状评测的关节。

PhoneHarness Bench 如何考据任务完成

Bench 是若何构建的？

每个 PhoneHarness Bench task 王人包含一个用户指标、一组可调用举止面，以及一个面向反作用的 verifier。这么，benchmark 评估的不是单步 GUI 操作，而是竣工 workflow：任务输入、agent loop、搀杂动作奉行、trace 纪录、实现考据和失败归因。

PhoneHarness Bench 的任务漫衍：遮掩 device/system、single-app GUI、tool-assisted workflow 与 cross-app workflow。

为什么这能匡助分析失败？

这条链路让失败不再仅仅一个费解的「没作念对」。咱们不错进一步分歧：是外层 controller 莫得筹谋好，是 GUI worker 莫得点对，是器具调用失败，是环境不清醒，一经 verifier 莫得看到预期反作用。

代表性奉行轨迹：截图、CLI / MCP 操作卡片与 verifier 信号共同组成可审计字据链。

践诺发现：收益来自 mixed-action routing，不是单纯更会点屏幕

开运中国app官方手机版

在论文践诺中，咱们莫得把 PhoneHarness 描绘成一个「总计场景王人更强」的 GUI agent。相背，践诺更明晰地知道了它的限制和价值。

PhoneHarness 的收益主要来自那些存在笃定性旅途、器具援手旅途或可考据反作用的任务。比如开采情状查询、文献处置、网页检索、日期 / 邮件 / 文档探究 workflow，以及需要跨举止面组合的手机任务。

关于纯 GUI-heavy 的任务，视觉 grounding、权限弹窗、登录情状、告白、搜索实现不清醒等问题仍然会带来挑战。

践诺解读：这个论断反而更紧要：手机智能体的改日不是「把 GUI 点击模子作念得更大」，而是要让 agent 学会摄取合适的举止面，并让每一步奉行王人能被考据。

mixed-action affordance 任务上的举止空间拆解。

不同任务类型下的奉行步数，援手交融恶果各异。

当 AI 手机真实到来，咱们会看到什么新瓶颈？

OpenAI AI Phone 和 Gemini on Android 之是以值得温雅，不仅仅因为「大厂要作念 AI 手机」。更紧要的是，它们共同指向了一个产物范式变化：手机正在从 App-centric device 走向 Agent-centric device。

在 App-centric 时期，用户我方矜重拆受命务：怒放哪个 App、点那里、复制什么、搜什么、证据什么。

在 Agent-centric 时期，用户抒发指标，agent 矜重编削举止。

AI 手机时期的新瓶颈

PhoneHarness 的切入点恰是在这里：AI 手机时期需要的不仅仅更强的模子，还需要能承载真实奉行的 harness，以及能考据奉行实现的 benchmark。

PhoneHarness 和 PhoneHarness Bench，到底推动了什么？

PhoneHarness 与 PhoneHarness Bench 的单干

这两个产物是相互依赖的。

莫得 harness，benchmark 很难遮掩真实搀杂任务。莫得 benchmark，harness 的奉行身手也很难被系统性评估。

要是说昔时手机 Agent 的竞争更像「谁更会看屏幕点按钮」，那么 AI 手机时期真实紧要的问题会形成：谁能把真实手机 workflow 作念完，谁能留住着实字据，谁能在安全限制内清醒奉行。

PhoneHarness 回复的是「若何让手机 Agent 竟然举止」。PhoneHarness Bench 回复的是「若何证据它竟然作念成」。

写在终末

AI 手机不是浅易地把大模子塞进系统。它意味入部下手机从 App-centric device 走向 Agent-centric device：用户抒发指标，agent 矜重摄取旅途、调用器具、操作 App，并完成可考据的实现。

这背后的基础设施问题，比「模子会不会点屏幕」更复杂，也更关节。

PhoneHarness 和 PhoneHarness Bench 念念推动的，恰是这一层基础设施：让手机 Agent 的举止空间更接近真实天下，也让评测更接近真实完成。

一句话回来：AI 手机时期，关节问题不仅仅模子能不成交融屏幕，而是它能否在真实手机环境里摄取正确举止面、完成可考据任务，并留住可审计的奉行轨迹。

作家信息

共吞并作：Jason、Zhengyao Fang、Zhengyang Tang、Pengyuan Lyu。

竣功绩家：Jason， Zhengyao Fang， Zhengyang Tang， Pengyuan Lyu， Xingran Zhou， Xin Lai， Fei Tang， Liang Wu， Yiduo Guo， Weinong Wang， Junyi Li， Yi Zhang， Yang Ding， Huawen Shen， Sunqi Fan， Shangpin Peng， Zheng Ruan， Anran Zhang， Benyou Wang， Chengquan Zhang， Han Hu.

机构：Tencent Hunyuan; The Chinese University of Hong Kong; The Chinese University of Hong Kong一分彩app2026世界杯中国官方下载， Shenzhen; Tsinghua University.