首页 纸飞机账号购买内容详情

高通万卫星MemoryS 2026指出:个人AI发展始于端侧

2026-03-29 3 纸飞机账号购买

3月27日当天,CFMS|2026峰会在深圳举办,其主题是“穿越周期,释放价值”。本届峰会聚集了包括存储、CPU/GPU、AI大模型、汽车等在内的全球核心产业链生态企业,去探究在AI时代之下,存储厂商、应用终端与平台厂商会怎样融合新技术、新产品,协同构建高效生态。高通公司AI产品技术中国区负责人万卫星受到邀请出席了本次峰会,并且发表了主题演讲,探讨了在智能体AI创新浪潮当中,端侧会如何引领构建个人AI的未来。

万卫星表明,个人AI会起始于端侧,我们正朝着以AI以及用户为核心要点的多终端体验前行,终端侧智能体可以给予更低时延,还要更为良好出色的个性化表现,以及持续保持无感状态的用户体验。高通公司凭借统一的技术途径套路,有能力跨越极为广泛的产品组合范畴,去提供具备高性能,还有高能效特性的软硬件技术基础支撑,为赋予个人AI赋能,从而提供跨越终端以及跨越场景的平台级别的能力。

另外,为了表彰处于产业链里的杰出企业以及领军人士,以此彰显行业标杆所具有的力量,大奖是在本次峰会期间进行颁布的,高通公司凭借把业务从智能手机延伸至个人AI以及智能可穿戴设备、PC、汽车、边缘网络还有工业物联网等诸多边缘领域,进而引领构建“边缘智能生态”,推动AI在万物互联终端上切实达成低延迟、高安全的本地化落地的成果,荣获了“年度AI生态杰出贡献奖”。

以下为万卫星演讲全文:

各位到场的嘉宾,身处现场的朋友们,大家上午好呀。今天我所要分享的主题乃是“引领智能体AI创新,于端侧去构建个人AI未来”。我们首先来瞧一瞧那种叫做感知AI的,在AI于行业应用当中的几个演进阶段里的情况,感知AI大家并不觉得陌生,它涵盖着多媒体信号,像是语音信号的理解,对图像进行分类识别,以及智能降噪等这些传统领域的各类用例。这样的感知AI,于多数终端侧平台业已实现商业化落地,有个颇为典型的实例,是手机领域的计算摄影情况,实际上它是受益于感知AI的落地的。

要讲的第二个阶段呢,是生成式AI,此阶段存在这样的特点,那便是在借助大量数据展开预训练的情形之下,AI能够于有监督的状况里去处理某些具体的问题,像所说的模型,还有文生图模型等皆是如此。而第三个阶段,我们将其称作智能体AI。智能体AI跟生成式AI有着一个极为关键的差异,那就是,它大体上能够在无监督的条件下,自行去领会用户意图,进而实施行动以及做出决策,以此帮我们应对稍微复杂一点儿的任务。第四阶段,我们将其称作物理AI,AI能够切实去领会我们的物理世界,依据真实物理世界的物理规定,针对输入予以反馈以及输出,这一技术尚处于早期应用阶段,倘若大家留意今年于巴塞罗那举办的MWC世界移动通信大会,想必也目睹了众多行业有关物理AI的探索进展。

目前,我们所见到的行业内部关注要点主要集中于第二阶段以及第三阶段。接下来,我们先去瞧一瞧生成式AI的发展趋向。我们发现极为关键的一点是,那能够在端侧进行运行的生成式AI模型,其智能正处于快速提升的状态。首先,端侧设备所能支持的模型参数量正变得越发庞大,举例来说,在手机上我们已然能够运行参数级别为10亿到100亿的大模型,在PC上则能够运行参数量处于130亿到200亿的大模型。在车子上面,我们能够予以支持的模型参数数量或许会更为庞大,达到200亿至600亿这样的级别。

于更小型的设备之上,像AR眼镜以及低功耗设备,我们亦达成了使参数规模处于10亿至40亿之间的模型全然在端侧运行。尽管相较于云端大模型,端侧模型的参数量依旧相对较少,然而行业内的各类技术正促使端侧大模型支持体量得以提升,例如内存带宽的提高,量化位宽技术的优化能够进一步压缩模型尺寸,这些均意味着终端设备能够承载更为丰富的模型。

以模型自身能力而言,我们留意到两点。其一,去年我们成功把拥有推理能力的大模型部署至端侧。其二,于端侧大模型相应的各类场景里,其支持的上下文长度也在提高。大约三年前,端侧上下文长度通常局限于1k - 2k;两年前,多数场景的上下文已拓展至2k - 4k;去年,高通在与合作伙伴的场景探寻中,此区间已提升到4k - 8k。在某些特定场景中,我们甚至能够支持32k - 128k的上下文长度。

端侧部署中,更长的上下文需求颇具挑战性,上下文不断变长,这表明对KV缓存即Key-Value Cache的需求会持续增大。这会直接致使把模型整体部署到端侧时,所需的内存容量会攀升,并且对内存带宽的要求也会日益提高。在模态演进这一方面,我们同样能够看到,端侧模型正从单一的“文生文”,以及从简单的“文生图”,还有从基础的“图生图”朝着更为丰富的多模态方向去发展,这里面涵盖了语音、文字、照片、视觉以及各式各样的传感器等多种输入方式,甚至正向着全模态的方向不断迈进。在去年9月举办的骁龙峰会上,高通也进行了展示,是与合作伙伴一同把有着50亿参数的全模态模型完整地运行在了端侧,用户能够凭借自然语言来进行交互。

介绍完趋势后,接下来我们要分享生成式AI在端侧部署时的优势与挑战了。我觉得端侧部署生成式AI,其最突出的优势就是个性化。这是由于个人全部的数据都处于端侧,并且新数据的产生源头同样是在端侧。能够在数据产生的源头直接开展推理,这是极为自然而然的事儿,而且还能够更妥善地保护用户的隐私。除此之外,端侧生成式AI具备更高的成本优势,且不需要网络连接,这使得用户可以随时随地享受到生成式AI所带来的服务。在挑战这一方面,我在此着重强调几点。第一点在于端侧内存规模存在着限制,尽管我们具备诸多技术手段可用来压缩模型体积,然而有限的内存终究会给可运行的模型大小定下界限,并且模型大小的界限也就意味着端侧AI能力的界限。

其次,端侧的内存带宽存在着限制。大家都清楚,自回归网络的一个突出特性是受内存带宽的约束,而有限的带宽会对大模型输出token(词元)的速率产生影响,进而影响到特定场景下的用户体验。再者,我要着重指出在诸多终端设备上,特别是在手机这种集成度相对较高的设备上,能效极为关键。我们需要防止AI推理在运行过程中触发温控限制,防止引发设备发热。所以,怎样于内存大小、带宽,以及性能与能效之间取得平衡,这是我们跟业内伙伴始终在努力尝试去解决的问题。

接下来,我们来瞧一瞧智能体AI的走向,其中最为关键的一点便是怎样促使终端侧智能体与用户达成深度契合。首先出现的一个明显趋向是终端侧智能体,它的关键之处在于能够给予更低耗时、更优质的个性化以及始终无察觉的用户感受。其次是智能体专业化。起初的时候,人们期望用统一的模型去处理多数问题,如今我们正朝着任务专业化迈进,借助专业化智能体以及多智能体框架来处理问题。第三个趋向,也是我认为对于用户体验而言最为重要的趋向,就是高度个性化。终端侧智能体,已全然不是往昔彼时那般简单的对话类语音助手,如今的它哩竟是摇身一变,成为了那种能够充分去理解用户意图的存在,能够深度理解上下文含义的存在,能够精准理解用户感知信息的存在,是那真正懂你的AI助手。

再来详细瞧一瞧智能体AI的基础模块,大家能够简单地将智能体视作一个持续运行着的闭环系统,此系统之中含有多个基础模块,像是感知模块、理解模块以及推理模块,也有记忆系统、工具系统乃至执行系统,这些模块组合在一块儿,致使智能体能够领会用户的意图所在,料理用户输入的信息,借由对信息的理解进而拆分为多个任务并独自达成目标,更为关键的是,终端侧智能体能够给予持续感知、持续思考且持续行动的用户体验。

智能体AI着实给我们朝向新数字世界的交互范式带来极大变化。高通于过去两年始终在讲“AI是新的UI”,即AI是新的用户交互界面。未来,用户不会再围绕某一个单独的APP或者某一项单一功能来进行交互,仅仅需借助语音或者文本与智能体展开自然交互,智能体便能够经由理解用户的输入信息来领会用户意图,剖析并规划任务。又关联运行于骁龙平台之上的端侧大模型,能够处理我们的任务,还能够借助云端的通用大模型,使AI为娱乐、生产力工具、行业应用等诸多场景赋予能力。

过去,个人AI大多以手机为核心点,耳机、眼镜、手表等别的设备作为附属与手机相连。未来,我们正朝以AI和用户为核心点的多终端体验迈进。这意味着AI不再局限于某一特定设备,若借助个人AI或者智能体去领会用户意图,进而执行用户任务,这些任务由多个设备间灵活协同达成。AI设备仅是AI的承载者,未来个人AI体验必定朝着打造更持续、更无感知觉的用户体验方向发展。以我们的角度去瞧个人AI,它必定起始于终端侧,因终端侧距离用户最近,终端侧持有用户的全部信息,所以能够在最先的时刻察觉到用户个人的意图、上下文以及偏好。

但个人AI并非孤立运转,它能借助混合AI架构,于终端侧、本地边缘、网络边缘以及中央云协同开展工作。高通去年还推出多款可为个人AI场景提供充足算力支撑的产品,诸如第五代骁龙8至尊版移动平台、骁龙X2 Elite计算平台等。市场上已呈现出诸多装载上述骁龙平台的商用终端。

刚才,我们谈及了终端侧,于此,在数据中心所属范畴之内,我们于今年MWC之际,发布了借助AI200以及AI250芯片的加速卡与机架系统,用以向超高速数据中心,生成式样的AI推理,凭借行业当先的总体拥有成本,也就是TCO,提供属于机架层次的性能,与优异的内存容量,特别是AI250,它带进了一种创新的内存架构,为AI处理相关工作负载,带来效率方面跨时代的跃升。

最后,我要给大伙归纳一下高通于AI领域的整体布局情况。在手机、耳机、可穿戴设备、PC等消费电子产品方面,以及汽车、机器人领域,甚至是下一代的数据中心方面,我们运用统一的AI架构为所有产品赋予能量,关键之处在于我们能够借助统一的技术路线,提供具备高性能、高能效的软硬件技术基础,让高通的AI能力从单个产品或者单颗芯片拓展成为规模化的跨终端、跨场景的平台级能力。

相关标签: # AI # 端侧 # 个人AI # 智能体AI # 高通