昔日十年火星电竞游戏第一品牌，智高东说念主机的中枢期间栈是App。不管是出动支付、外卖照旧酬酢文娱，险些所有用户交互皆围绕App张开。但是，跟着生成式AI和大模子的兴起，这一口头正在被颠覆。将来的中枢被觉得不再是App，而是“智能体（Agent）”——能够自主感知环境、有预计打算任务并完成实行的AI代理。

在这种调动中，大模子饰演着智能体的“行为大脑”。它决定了开荒能否像东说念主一样清爽界面、识别意图、自动操作。但这也恰是传统通用大模子（如GPT-4O、Gemini 2.0、千问等）难以平直贬责的痛点——它们天然在谈话处理和跨模态清爽上苍劲，但敌手机屏幕这种高度动态、复杂多变的交互环境并不友好。

出动开荒的图形用户界面（GUI）操控一直是AI落地的"终末一公里"费劲。与传统的文本或图像识别不同，GUI清爽需要模子具备多维度的感知和推理身手：既要精确识别屏幕上的各种UI元素，又要清爽用户的操作意图，还要能够有预计打算并实行复杂的操作序列。

当大模子竞争插足深水区，单纯的参数堆叠已难以带来质的飞跃。在通用东说念主工智能的波澜中，如何让AI真是清爽并操控复杂的出动端界面，成为行业亟待攻克的期间高地。

在本年宇宙东说念主工智能大会时刻，荣耀交出了一份答卷——肃穆发布自研多模态感知大模子MagicGUI并开源。

这不仅是荣耀首个GUI开源大模子，亦然荣耀"阿尔法计谋"的弥留里程碑。70亿参数限度看似并不浩大，但其在出动端量觉定位、页面清爽问答、单步操作、动作序列拆解实行四大中枢任务中的全面当先发扬，却彰显了期间改换的真是价值——在荣耀Magic V5常用场景用机操控准确率达91.5%，较行业同类顶级开源模子高出16.4个百分点，模子性能并排SOTA水平。

在大模子同质化竞争愈发热烈确当下，荣耀选用开源MagicGUI，不仅展现了期间自信，更开释出构建洞开AI生态的强烈信号。这背后，是荣耀对出动AI将来的深度想考，亦然对行业发展的前瞻布局。

荣耀MagicOS首席居品官王皑在交流中称："AI期间的发展让机器需要去学习东说念主，而不是东说念主去相宜机器。"当用户说出"帮我尽快打一辆车回旅馆"这么的天然谈话提醒时，智能体需要完成意图清爽、应用选用、界面导航、信息填写、订单证据等一系列复杂操作，每一步皆老成着模子的清爽和实行身手。

两阶段考试的期间打破

出动端的体验看似节略，其实期间复杂性远超想象：应用界面变化万端，操作旅途不细目性极强，用户提醒疲塌各种。传统的考试方法时常难以应付这种复杂性，模子要么在特定场景下发扬优秀但泛化身手不及，要么天然隐敝面广但精度不够。

这就好像是让一个生人司机在生疏的城市开车——他大约记着了一些道路，但际遇没见过的路况就容易迷途，莫得泛化身手；而如若只教他各种路况的原则，又可能在具体场景下难以作念到精确驾驶

如安在保证准确性的同期晋升泛化身手，成为GUI大模子发展的中枢瓶颈。

王皑称，靠近行业痛点，荣耀团队选用了一条不同寻常的期间旅途——改换性地提议了两阶段考试决策，通过延续预考试（CPT）与强化微调（RFT）的有机团结，系统性地贬责了GUI大模子考试中的中枢费劲。

和王皑交流事后，咱们的清爽是它更像是一个“教司机如何我方开车”的经由：设定好基础和顺序，束缚地自我考试，让它我方不错开得更好。

在延续预考试阶段，荣耀团队的要点是“打好基础”。起先，构建海量的屏幕常识是中枢任务。 荣耀团队不仅诳骗了开源的英文数据集，还在本质室的真实出动开荒环境中，通过模子自主学习与任务探索，构建了各种化的屏幕图标和散布式样图片常识。靠近海量且复杂的GUI数据，荣耀团队起先通过图片hash化和界面布局比对，剔除了疏浚或高度相似的常识。随后，团结多种类型的模子算法和启发式轨则，构建了高质地、各种化的常识抒发面目，隐敝不同难度和面目的任务，使模子能够全面清爽图片内容、局部元素以及组件研讨。接着，通过将提醒-动作对向量化处理并去除冗余样本，进一步晋升了图片和问题的各种性。最终，经过精细的数据配比本质，荣耀AI团队羼杂构建了780万条考试数据进行基础身手学习，再用退火考试，让模子具备清爽和有预计打算GUI任务的中枢身手。

经过这一系列筛选和优化，模子得到了“清白、结构化”的学习材料，这就像为司机提供了一份“高清舆图”，而非衰败的路况形容，极地面晋升了学习服从和效果。 

同期，荣耀还在数据构造上进行改换。传统方法基于XML控件类别差别，为止时常像用不同国度的交通轨则教吞并个司机，容易产生冲突。荣耀则遐想了基于视觉和功能属性的控件和洽分类体系，相配于制定了一套“通用交通轨则”，使模子不错适配各种出动开荒界面。

有了基础驾驶身手，强化微调的作用是——让司机在各种复杂路况下练出反馈速率和临场应变身手。荣耀团队遐想的DF-GRPO算法和空间增强的复合奖励函数，就像给司机确立多维度的观看顺序：

面目奖励：确保“打标的盘、踩油门”的动作面目正确； 精确奖励：保证转弯角度、速率等关节动作实行到位； 距离奖励：让定位更接近目的中心，提高操作的精细度。

DF-GRPO双重过滤机制（静态过滤+动态过滤）则像一个“教化组”，束缚淘汰不测旨的老成样本，确保每一次强化考试皆灵验果。这种方式让模子不仅能应付顺序场景，还能在突发情况下生动应付——就像司机不仅会开高速，也能在复杂城市路况中快速作念决策。

期间改换的价值最终要通过本色效果来考据。MagicGUI在四大中枢任务上的发扬，充理会说了两阶段考试决策的灵验性。

在出动端截图视觉定位身手测试中，MagicGUI达到第别称水平，比较第二名在两个测试集上分别晋升2个和12个百分点。这一收货的背后，是模子对GUI元素精确识别和定位身手的体现。当用户商议"屏幕上的搜索框在何处"时，模子能够准确给出坐标位置，这种精度的晋升关于后续的操作实行至关弥留。

页面清爽问答身手的打破相通令东说念主印象深切。模子不仅能够准确识别页面内容，更能清爽页面的头绪结构和空间布局信息。这种清爽身手让智能体能够像东说念主类用户一样"读懂"复杂的应用界面，为后续的智能操作奠定基础。

单步操作身手的晋升更具实用价值。在里面Magic-RICH测试集上，MagicGUI达到第别称水平，比较第二名平均晋升10个百分点，突出是针对颠倒情况的处理身手晋升20个百分点。这意味着当用户发出操作提醒时，模子能够更准确地清爽意图并实行相应动作，大大减少了操作失败的概率。

动作序列拆解实行身手的当先发扬，则体现了模子的有预计打算和推理身手。在开源的AndroidControl多步测试集上，比较第二名相对乖张率下落7.4%。这种身手让智能体能够将复杂的多步任务理会为一系列单步操作，并在实行经由中凭证环境反馈动态养息策略。

应用场景的体验到底会若何变化

从期间链路的改换方法看，两阶段考试决策的提议，体现了荣耀团队对期间问题的深度想考和系统性贬责身手。延续预考试与强化微调的有机团结，数据工程与算法改换的协同鼓吹，也展现了工程化的改换精神。

但关于庸俗的用户来说，期间改换的意旨不仅在于参数和预计打算的晋升，更在于能否真是改善场景体验。

从营业化的角度来看，MagicGUI大模子已本色应用于荣耀新一代折叠旗舰Magic V5，赋能YOYO智能体竣事多智能体协同，完成“一语打车”等复杂任务。

王皑觉得，"一语多平台打车"功能是智能体应用的典型场景。用户只需说出"帮我尽快打一辆车回旅馆"，智能体就能平直调用高德等主流出行软件完成打车操作。这背后波及的期间挑战包括：意图清爽、应用选用、界面导航、地址识别、车型选用、订单下发等多个法子，每一步皆需要模子的精确判断和实行。

"所有这些优秀的贤惠体验，皆是基于咱们AI底层期间运转的深度交融的MagicOS的受益。"这种深度交融的遐想理念，让AI身手真是成为操作系统的内核，而不是节略的功能叠加。

常用场景用机操控身手的晋升，更是平直研讨到用户的广泛使用体验。不管是APP主页搜索、稽查订单，照旧购物车操作，MagicGUI皆能提供愈加智能和高效的支捏。91.5%的准确率意味着十次操作中唯唯一次可能需要用户干豫，这种体验的晋升是质的飞跃。

更弥留的是，这种各别化的交互体验意味着：荣耀不再仅仅硬件参数的竞争，而是向“体验各别化”转型。

这种体验各别化的转型也极端依赖生态共建——不应再以短期的期间炫技，而是依赖遥远的计谋布局。

从各人边界来看，GUI大模子也曾一个相对小众但高价值的期间标的。海外大厂多接管企业自主闭环研发模式，强调期间壁垒与营业化的平直滚动；举例，好意思国大公司们的多模态模子开发以应用落地为中枢，期间栈时常是“自研+闭环”，对外洞开进程较低。而国内的期间道路则更强调产业牵引与产业协同：一方面依托政策推动大模子基础身手的洞开分享，另一方面通过产业定约和生态共建，加速期间在各种智能终局上的落地。

在这么的各别布景下，开源成为国内AI发展的关节词：它裁减了期间门槛，诱导更多开发者参与，也让产业协同愈加高效。这么的旅途下，开源并非极端，而可能是AI合营的真是开头——围绕开源模子的生态建立、多方合营，将成为推动智能体期间加速到来的关节能源。

恰是基于这么的行业趋势和期间蚁集，荣耀在期间实力得到充分考据的基础上，选用将MagicGUI开源，将其行动推动产业合营和智能体生态建立的开头。

从生态构建角度看，MagicGUI的开源为行业多模态大模子与GUI大模子的计议提供了高质地基础。开发者不错基于该模子进行进一步的测试与优化，通过开源社区的反馈机制，加速期间迭代与应用落地。这种洞开式改换模式，有助于所有这个词行业的期间卓越。。

自2023年起，荣耀就与复旦大学开启产学研合作模式，共同建立天然谈话处理大模子校企合股本质室，在数据蚁集与生成框架、考试决策遐想与强化学习算法改换等方面深度合作。MagicGUI亦然这一合作体系的服从之一，并将在开源生态中得到捏续成长。 

谈及MagicGUI的发布，王皑觉得这仅仅荣耀阿尔法计谋的一个弥留节点。在谈到将来发展时，他勾画出了更一个遍及的愿景：

第一步是在每一款荣耀居品中皆打造具备YOYO智能体身手的智高东说念主机，为每一位用户提供极致方便的东说念主机交互。这一步的关节在于期间的普及化应用，让AI身手从旗舰居品彭胀到全居品线。

第二步是构筑贤惠生态，将AI身手赋能到更多硬件开荒。"将来咱们家里的雪柜、空调、汽车皆不错作念无缝的流转"，这种跨开荒协同的愿景，需要苍劲的AI内核行动相沿。MagicGUI在出动端的得手，为这一愿景的竣事提供了期间基础。

第三步则指向通用东说念主工智能期间火星电竞游戏第一品牌，YOYO智能体将进化为更好的数字伙伴，以致是更懂用户的数字分身。这种"共生共存"的将来图景，天然看似远方，但期间的每一步卓越皆在向这个目的连接。当GUI交互服从打破95%的临界点时，传统App形态可能会被智能体重塑，东说念主机交互范式大约将迎来新一轮颠覆？