常用工具 医生入驻 免费问医生

华为破解HBM依赖!AI推理黑科技UCM上线,9月正式开源

2025-08-27 07:54:23 来源:陈力就列网   

富邦美品家具全面整合旗下八大品牌荣耀上市

(电子发烧友网报道 文/章鹰)8月12日,破解在2025金融AI推理应用落地与发展论坛上,赖A理黑华为公司副总裁、科技开源数据存储产品线总裁周越峰宣布,线月华为此次和银联联合创新,正式推出AI推理创新技术UCM(推理记忆数据管理其器)和管理系统的破解算法,这项突破性成果降低对HBM技术的赖A理黑依赖,提升国内AI大模型的科技开源推理能力。


该技术是线月一款以KV Cache为中心的推理加速套件,UCM集成了多类型缓存加速算法工具,正式实现推理过程中KV Cache记忆数据的破解分级管理,从而扩大推理上下文窗口,赖A理黑提升推理效率。科技开源“银联的线月实际案例和大量测试显示,UCM显著降低首Token的正式时延,最高降低90%,系统吞吐率最大提升22倍,上下文的推理窗口可以扩展10倍以上,这是对于AI推理系统一个巨大的进步。” 周越峰指出。

华为UCM技术已率先应用在中国银联“客户之声”、“营销策划”和“办公助手”三大业务场景,开展智慧金融AI推理加速应用试点,并且已经取得成果。华为表示,计划于2025年9月正式开源UCM,将在魔擎社区首发,并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。

AI大模型推理给存储带来哪些挑战?UCM的创新之处如何解读?本文结合中国信通院人工智能研究平台与工程化部主任曹峰、华为数据存储产品线AI存储首席架构师李国杰的观点,进行详细分析。

AI大模型推理给存储带来三重挑战

“ChatGPT的访问量呈现线性增长,最新访问量达到4亿,受益于中国AI大模型DeepSeek爆发,日均调用量也在快速上升,2025年1月开始,中国AI推理的需求增长20倍,未来三年算力需求爆发。IDC表示,2024年算力需求60%是训练,40%是推理,到2027年中国用于推理的算力需求——工作负载将达到72.6%。” 中国信通院人工智能研究平台与工程化部主任曹峰分析说。

当下,AI大模型推理应用落地中,遇到推不动、推得慢和推得贵的三大挑战。首先,长文本越来越多,输入超过模型上下文窗口的内容,推理窗口小就推不动;其次,由于中美在AI基础设施的差距,中国互联网大模型首Token时延普遍慢于美国头部厂商的首Token时延,时延长度为后者的两倍;推得贵,美国大模型的推理吞吐率为中国大模型推理吞吐率的10倍。

华为公司副总裁、数据存储产品线总裁周越峰指出,AI时代,模型训练、推理效率与体验的量纲都以Token数为表征,Token经济已经到来。

在AI基础设施投资,中国和美国有差距,为了保障流畅的推理体验,企业要加大算力投入,但是如何改善AI推理的效率和体验,在推理效率与成本之间找到最佳平衡点?华为推出UCM,以KV Cache和记忆管理为中心提供全场景化系列化推理加速能力。

UCM两大关键能力和创新算法,破解HBM受困难题

HBM是解决"数据搬运"的关键技术。当HBM不足时,用户使用AI推理的体验会明显下降,导致出现任务卡顿、响应慢等问题。华为此次技术突破有望缓解这一瓶颈。

华为重磅推出UCM推理记忆数据管理器,包括对接不同引擎与算力的推理引擎插件(Connector)、支持多级KV Cache管理及加速算法的功能库(Accelerator)、高性能KV Cache存取适配器(Adapter)三大组件,通过推理框架、算力、存储三层协同,实现AI推理“更优体验、更低成本”。

UCM的创新之处,在于可以根据记忆热度在HBM、DRAM、SSD等存储介质中实现按需流动,同时融合多种稀疏注意力算法实现存算深度协同,使长序列场景下TPS(每秒处理token数)提升2至22倍,从而降低每个Token的推理成本。

“实时数据放在HBM当中,短期记忆数据放在DRAM中,其他数据就放在共享存储SSD中,极大提高系统的效率和AI推理能力。针对AI推理平衡成本和效能的挑战,华为推出UCM统一的记忆数据管理器,在两个层面以系统化的方案来解决问题。” 华为数据存储产品线AI存储首席架构师李国杰表示。

一、在底层的框架和机制上提供了多级缓存空间,构建智能管理以及智能流动的基础框架能力。在此基础之上,华为构筑了一系列创新的推理的加速算法和加速特性,包括自适应的全局Prefix Cache,降低首Token时延与单位Token成本。

二、采用动态的Training稀疏加速算法,倍数级提升长序列吞吐和体验。还有后缀检索、预测加速算法、PD检索加速和Agent原生记忆加速。

UCM将超长序列Cache分层卸载至外置专业存储,通过算法创新突破模型和资源限制,实现推理上下文窗口的10倍级扩展,满足长文本处理需求。

中国银联执行副总裁涂晓军分享说,华为与中国银联的联合创新技术试点中,在中国银联的“客户之声”业务场景下,借助UCM技术及工程化手段,大模型推理速度提升125倍,仅需10秒就可以精准识别客户高频问题,促进服务质量提升。

众所周知,目前,AI大模型训练对内存带宽需求呈指数级增长,传统DDR内存已无法满足需求。HBM(高带宽内存)是一种专用内存技术,用于 AI 处理器GPU和 HPC 系统,这些系统中带宽和能效比原始容量更为重要。HBM3 每堆栈可提供高达 819 GB/s 的传输速度,对于支持大型语言模型 (LLM)、神经网络训练和推理工作负载至关重要。

但是去年12月以来美国将HBM2E列入对中国的禁售清单,国产厂商HBM的突破还在推进中,华为推出UCM的重大意义,在于加速推进国产AI推理生态,其核心价值是推进更快的推理响应和更长的推理序列,以及更优化的成本。

中国信通院人工智能研究平台与工程化部主任曹峰认为,国产化AI推理生态建设应该加速,KV Cache已经成为架构优化的焦点,以KV Cache为核心的推理方案迭出,背后依赖的高性能存储、先进调度策略的重要性愈发显现。

李国杰还强调指出,AI是一个快速发展的行业,每6个月就会迎来新一轮的技术革新,UCM不仅定位于当下,解决AI推理问题,未来发展UCM将从KV Cache分层管理走向Agentic AI原生记忆管理和应用加速。

本文由电子发烧友原创,转载请注明以上来源。微信号zy1052625525。需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱zhangying@huaqiu.com。

希望以上内容对您有帮助。

阅读全文
相关推荐
时尚视频推荐精选问答
养生文章推荐
《无接触配送服务规范》团体标准发布 给消费者吃下“定心丸”

左右家私品牌形象幸福升级

《无接触配送服务规范》团体标准发布 给消费者吃下“定心丸”
中国消费者报福州讯(记者 张文章)3月10日,由福建省标准化研究院参与起草的国内首个无接触配送服务领域团体标准《无接触配送服务规范》(T/CCPITCSC042—2020)由中国贸促会商业
2023年我国外汇市场运行稳中向好

韩国已经成为便利店王国 平均1491人就有一家

2023年我国外汇市场运行稳中向好
ze: 14px; line-height: 28px;">本报北京1月15日电记者葛孟超)国家外汇管理局15日公布了2023年12月及全年银行结售汇和银行代客涉外收付款数据。国家外汇管理局副局长、新
我国在运最大陆上风电基地全容量投产发电

伍兹反思莱德杯输球原因 渴望美国大师赛快来临

我国在运最大陆上风电基地全容量投产发电
ze: 14px; line-height: 28px;">光明日报北京12月10日电记者温源)12月10日,国家第一批以“沙戈荒”地区为重点的大型风电光伏基地项目之一——中国广核集团兴安盟300万千
我国可再生能源装机占比过半

大渡河硬梁包水电站全面投产发电

我国可再生能源装机占比过半
ze: 14px; line-height: 28px;">《 人民日报 》 2023年12月22日 第 07 版)本报北京12月21日电 记者丁怡婷)记者从21日召开的2024年全国能源工作会议上获
提醒所有老司机!赶紧翻开你的驾驶证看看

明年刷身份证可直接乘飞机 郑州机场可微信值机

提醒所有老司机!赶紧翻开你的驾驶证看看
提醒所有老司机!赶紧翻开你的驾驶证看看发布时间:2017-04-17 08:34 来源:豫都网 我来说说 我要投稿[摘要]您的驾驶证逾期了吗? 根据交警部门统计,目前,驾驶证逾期驾驶的人不在少数。 麻
11月以来超300亿元贷款投向民营房企

2024年6.1亿人次出入境,免签入境外国人2011.5万人次

11月以来超300亿元贷款投向民营房企
ze: 14px; line-height: 28px;">新华社北京12月8日电记者 吴雨)近期,多家商业银行积极与房地产企业座谈调研,加大对民营房企的贷款投放力度。记者8日了解到,11月以来,工、
全国工业企业利润连续4个月实现正增长

实木地板先别买!看完再选也不迟

全国工业企业利润连续4个月实现正增长
ze: 14px; line-height: 28px;">光明日报北京12月27日电记者董蓓)国家统计局27日发布的数据显示,11月份,全国规模以上工业企业利润同比增长29.5%,增速较10月份明显
零工市场将被纳入就业公共服务体系建设

强农惠农购置农机可享补贴 厦门市农业局解读补贴申领政策

零工市场将被纳入就业公共服务体系建设
ze: 14px; line-height: 28px;">新华社北京1月8日电记者 姜琳)我国灵活就业人员已达2亿人。为支持多渠道灵活就业,人力资源社会保障部8日发布关于加强零工市场规范化建设的通知
国王3年2400万签悍将 定下季首发控卫!朗多去哪

翻船實錄》散戶當沖炒高、主力三部曲拋售 航運股利多出盡?|天下雜誌

国王3年2400万签悍将 定下季首发控卫!朗多去哪
国王3年2400万签悍将 定下季首发控卫!朗多去哪发布时间:2016-09-21 09:43 来源:豫都网 我来说说 我要投稿[摘要]北京时间7月4日消息,来自《雅虎体育》著名记者阿德里安-沃纳洛夫斯
第五次全国经济普查将有哪些新变化

降息风暴眼锁定9月!美元退守97.70“最后防线”,美债收益率破位倒计时,黄金剑指3500!

第五次全国经济普查将有哪些新变化
ze: 14px; line-height: 28px;">“您好,这是我们的工作证件和普查登记告知书及宣传手册,麻烦出示营业执照配合登记,谢谢。”1月3日,上海市徐汇区漕河泾街道经普办普查员带着工作