AI智能体，正在让手机「更具AI味」

“端侧生成式AI的杀手级应用是什么？高通公司总裁兼CEO安蒙这样回答。”

作者 | 包永刚

编辑 | 王川

最近这个季度发布的新一代的旗舰手机，散发着全新的AI味。

10月29日，首款搭载全新骁龙8至尊版的小米15/15 Pro发布，语音助理小爱同学变身为AI超级小爱。

紧随其后发布的搭载骁龙8至尊版的旗舰手机，荣耀Magic 7系列的YOYO助理摇身一变成了YOYO智能体。一加13的小布助手进化成为超级小布助手。

就像鼠标的诞生改变了计算机界面的交互方式，智能手机的诞生带来了全新的触控交互界面，如今生成式AI也正在带来一场新的终端交互变革。

“我想给大家展示这一愿景：生成式AI将从根本上改变应用程序和用户体验，而这正是骁龙现在以及未来的核心关注点之一。”高通公司总裁兼CEO安蒙（Cristiano Amon）在2024高通骁龙峰会上分享，“我们所熟悉的体验即将发生变化，并且将转变为更加容易接受和理解的方式。这不是某一个杀手级应用，而是每一个应用的体验都将改变。”

在11月的科技盛会Web Summit上，安蒙也再次强调了高通公司对生成式AI未来的看法，他强调，生成式AI就是新的UI，它将作为新的交互方式服务于我们周围所有的计算终端，AI赋能的智能体将成为行业应对和把握机遇的关键。正如触控界面的变革让手机成为了新的计算空间，在生成式AI的变革里，汽车、XR等更多边缘终端也将成为新的计算空间，迎接生成式AI的时代，这也是高通已经明确的战略方向。“AI是新的UI，以APP为中心的体验正在改变”，安蒙表示。

深入了解骁龙8至尊版以及骁龙数字底盘强大的AI引擎正在自下而上，从硬件到软件革新终端的体验，将会对混合AI的未来更加期待。

01

AI让手机开始「更具人味」

全新旗舰手机上智能助理的集体升级，可能会被视为营销噱头，但具体看看常用功能的新升级，就能品味到生成式AI时代手机的“AI味”。

先看小米AI超级小爱的改变，全新的AI字幕功能支持全局实时翻译，看国外影片有实时字幕，开国外会议有同声传译。还有AI识音支持全局声音转录，能够区分不同说话人并生成摘要。AI写作是一个全局文字工具，支持一步润色改写。

常用功能有了新玩法，并且全局可用，这些都得益于手机系统层级支持了AI。

荣耀YOYO智能体同样是平台级AI，比如只需要一句“关闭应用通知”、“点杯奶茶”，以往手动需要好几步的操作，一句话就能让手机自动从系统底层调动不同应用，完成任务。

手机的AI功能更智能，应用范围更广，手机变得越来越有生成式AI的味道。

“人们现在已经习惯于以应用程序为中心的体验。”安蒙说，“现在每个应用程序和用例都可能面临改变，AI的出现让机器可以理解人类的语言，所以我们熟悉的使用体验将被彻底重新定义。”

那什么样的生成式AI杀手级应用可以颠覆手机体验？

安蒙对此表示，“很多颇具杀手级潜力的应用还未出现，但当下的转变正在发生。我坚信生成式AI就是未来，只是没有人能给出具体的时机。”

手机朝智能体进化的过程，就可能出现杀手级应用。

“目前已发布的智能手机中，还尚未实现真正的智能体处理，市场上现有的应用是比较优秀的智能语音助手。”高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉（Durga Malladi）在骁龙8至尊版刚发布时表示，“两者的区别在于，智能体能够执行更加复杂的任务，尤其是那些指令不明确的任务。例如，智能体需要自行选择合适的模型执行处理任务。”

02

手机智能体实现的核心——多模态和异构计算

手机智能体的实现，就需要手机自下而上，从硬件到软件的全面革新。

多模态大模型是实现智能体的关键

马德嘉分享了一个例子，拿起手机说“今晚帮我订一个墨西哥菜餐厅，距离不要太远，评分要高，到店时间预计晚上7点30到8点30之间，还得是我过去三个月没有去过的餐厅。”

要回答这个问题，智能体会要调用各种不同的模型来进行处理。首先，理解所提出的问题。其次，如果要挑选一家距离不远的餐厅，要知道现在的位置信息。最后还要满足“过去三个月内没去过的餐厅”，需要基于用户的个人知识图谱，存储在终端侧的用户情境信息（例如喜欢的饮食、锻炼习惯、过往偏好等）作为个人知识图谱，帮助手机更好地理解用户意图。

“智能体本质是一个能处理非常复杂任务的规划器，与智能体交互的方式要结合语音、文本、图像等等。”马德嘉进一步表示，“要进行智能体规划，多模态能力将起到非常大的帮助，所以智能体必须要有多模态的支持。”

早在今年2月，高通AI研究就演示了全球首个在Android手机上运行的多模态大模型。同时还演示了搭载骁龙X Elite的Windows PC上运行超70亿参数的多模态大模型，可接受文本和环境音频输入（如音乐、交通环境音频等），并基于音频内容生成多轮对话。

10月份，高通推出了高通AI规划器。通过理解与本地情境信息相融合的个人偏好，高通AI规划器能够将这些知识整合进生成式AI助手中，为用户提供有意义的个性化回复和行动。

当然，借助多模态模型，高通AI规划器支持多种终端交互模态，包括文本、视觉和语音。

高通技术公司手机、计算和XR事业群总经理阿力克斯·卡图赞(Alex Katouzian）说，“智能手机助手可以支持多模态和智能体功能，意味着它可以见你所见，闻你所闻，理解你周围的世界。这确保它能够在不提示其他应用程序的情况下处理满足用户的个人需求、完全在终端上运行以保证数据安全和隐私，并即时响应用户请求。”

高通AI规划器将成为高通AI软件栈的重要部分，软件的进化也需要硬件全面升级实现更好支持。

计算效率和内存大幅升级的高通AI引擎

2015年推出的骁龙820集成了首个高通AI引擎，这是一个异构计算引擎，此后高通的AI引擎紧跟AI技术的发展和市场需求持续升级。

2018年高通Hexagon DSP升级成为Hexagon NPU，早于行业对于NPU的关注，高通的异构AI引擎也升级为CPU、GPU、NPU的组合。

今年推出的骁龙8至尊版，高通AI引擎再次全方位升级。

特别值得关注的是被称为高通自研芯片最后一块拼图的高通Oryon CPU首次集成到移动平台。

高通的首代自研Oryon CPU搭载在PC平台骁龙X Elite上，在今年Microsoft Build上首批搭载高通Oryon CPU的Windows 11 AI+ PC宣布之后，高通便迅速成为了一匹黑马，成为了AI PC领域的标杆，OryonCPU帮助高通在从一家无线连接公司转型为连接+计算公司的道路上实现了进一步的飞跃。

骁龙8至尊版上的高通第二代自研Oryon CPU，室温环境下相比第三代骁龙8，CPU的单线程和多线程基准测试中性能有高达45%的大幅性能提升，能效提升也高达44%。第二代Oryon CPU跨代际的性能提升，对多任务处理、时延关键型任务、生产力应用、初始化AI工作负载都有显著的提升。

将第二代OryonCPU引入高通AI引擎，就像交响乐团加入了一位出色的指挥家，负责启动所有AI工作负载，处理繁重负载任务，让AI引擎的其他组件可以专注于特定的AI任务。

全面升级的Hexagon NPU就像是交响乐团里令人惊叹的小提琴手。全新架构的Hexagon NPU性能提升45%，能效提升45%。

为了支持生成式AI和多模态模型，实现更快推理，Hexagon NPU增加了更多内核，更多标量内核可以支持更长内容，达到4k上下文窗口，更多的向量内核可以加强对大语言模型和传统AI的支持。

处理效率大幅提升还不足够，内存也是限制生成式AI在终端运行的主要因素。

“要在手机上直接运行一个100亿参数的模型，不进行任何压缩，至少需要占用20GB内存，所以模型的压缩和量化都非常重要。”马德嘉表示，“我们现在已经支持不同数据精度的量化技术，通过多种量化技术可以缩小模型。去年在端侧运行大模型还是一个挑战，今天对我们而言就变得相对简单，并且我们还在持续改进。”

第二代OryonCPU大幅改进的内存架构也让骁龙8至尊版能符合边缘AI的需求。

全新的Oryon CPU每个丛集都拥有12MB的二级缓存，总计24MB紧密耦合的专用缓存是智能手机领域最大的CPU缓存。同时，在每个超级内核和性能内核中，高通还大幅提升了一级缓存。另外，考虑到生成式AI高度依赖内存，骁龙8至尊版配备目前最高速的10.7GbpsLPDDR5x内存。

高通AI引擎的内存并发性，让AI和计算机视觉工作负载可以同时访问一个内存空间，也将端侧AI的性能和可能性进一步提升。

还有首创的切片架构Adreno GPU，性能将提升40%，功耗降低40%，也是全新AI引擎中重要的组成部分。

骁龙8至尊版AI引擎的全面升级，让骁龙8至尊版的大模型处理性能全面超越第三代骁龙8，基础大语言模型的token生成速率提升高达100%，在目前业界流行的一些大语言模型上，骁龙8至尊版的处理速度达到超过70 tokens/s，是业界的领先水平。

当然，将全面升级的高通AI引擎与骁龙8至尊版全新设计的AI-ISP，GPU相结合，也让新一代旗舰手机突破了影像和游戏性能的上限，并带来了更多智能手机AI应用的可能。

比如荣耀Magic 7系列上的AI消除、AI扩图、AI风格、人脸修复的魔法修图功能。还有小米15系列上的告知拍摄内容就能自动匹配功能模式或参数，告诉修图方向就可以自动调整图像。以及一加13上AI去反光、AI消除、AI去拖影的AI拯救废片功能。

同样搭载骁龙8至尊版的真我GT7 Pro上的AI大神辅助2.0功能，让AI成为游戏里全队的最佳辅助。

03

汽车是新的计算空间

生成式AI是计算领域的一次重大变革，它将改变智能手机时代的布局，改变操作系统和应用商店的角色，改变计算的角色。

安蒙说，“汽车行业正经历前所未有的重大变革。当前汽车成为了全新计算空间。我们除了为汽车带来全新屏幕和数字座舱，生成式AI也为汽车带来变革。”

骁龙数字底盘解决方案已经成为汽车行业的重要资产之一，高通与几乎所有的汽车制造商都有合作关系。

全新发布的骁龙座舱至尊版平台和Snapdragon Ride至尊版使骁龙数字底盘的性能也全面升级。

骁龙座舱至尊版集成的NPU，性能比上代旗舰骁龙座舱SoC提升高达12倍，支持transformer加速和端到端网络架构而设计，能支持大型基础模型。

利用其中的基础模型之一，通过检索增强生成（RAG）可以实现车辆预防性维护等用例——AI助手可利用在汽车手册上进行训练的模型，针对屏幕上的未知图标进行答案检索。

“我们将见证一场由AI驱动的革命。”正如安蒙所说，这也是为何许多企业也在着眼于并深信这一充满变革的未来，并基于骁龙平台与高通合作的原因。

高通一直致力于推动平台AI能力的开放化，确保所有开发者都能基于高通和骁龙平台面向不同终端打造AI应用和能力。今年年初，高通推出了高通AI Hub。高通AI Hub上目前已经有数百个面向高通和骁龙平台优化的前沿开源AI模型，已经获得领先的开发者生态的认可。

骁龙峰会期间，高通还宣布了与OpenAI、Meta、腾讯混元、智谱、Mistral AI、Tech Mahindra等一系列业界领先AI企业的进一步合作，以共同打造一个繁荣的边缘侧AI生态，加速生成式AI为广泛终端带来的体验变革。

荣耀、联想大谈智能体，高通有更前瞻的端侧AI玩法

PC新格局形成，高通+Windows 11 的AI PC如何领先苹果？

高通CEO罕见与英特尔、AMD同台，AI或将重塑PC市场