华为提出全新压缩算法:节省70%内存占用

广众网1月24日消息,华为AI算法团队在人工智能领域取得了显著突破,他们研究并发表了一种创新的大模型KV Cache压缩算法,名为“RazorAttention”。

这一算法具有卓越的性能,能够有效节省高达70%的大模型推理内存占用,为AI大模型的高效运行提供了有力支持。

其论文《RazorAttention: Efficient KV Cache Compression Through Retrieval Heads》已被深度学习领域国际顶级会议ICLR 2025收录。

华为表示,此算法为业界首个基于Attention可解释性的离线静态KV Cache压缩算法,打破了过去AI大模型长序列KV Cache压缩不理想的现状。

该算法通过检索头的设置,确保上下文中重要且主要的信息不丢失,在保持高精度(误差小于1%)的情况下,静态有效压缩了最大到70%的KV Cache内存占用,可以为用户大大节约AI大模型推理的成本。

目前RazorAttention算法已产品化集成在昇腾MindIE/MindStudio,支持主流8K~1M长序列KV Cache压缩,32K以上场景增量吞吐提升20%+。

华为提出全新压缩算法:节省70%内存占用

【本文结束】如需转载请务必注明出处:广众网

责任编辑:随心

主题测试文章,只做测试使用。发布者:广众网,转转请注明出处:https://www.zmdnky.org.cn/article/6558.html

(0)
广众网的头像广众网
上一篇 2025年1月24日 下午9:45
下一篇 2025年1月24日 下午10:17

相关推荐

  • 2024美妆有多卷 多公司Q4业绩受挫:单季亏损最多超8亿

    去年美妆业持续下行,原本占据产业链优势地位的头部品牌公司也难独善其身。今日晚间,上海家化(600315.SH)、水羊股份(300740.SZ)等陆续发布2024年业绩预告,其在2024年Q4都业绩受挫,上海家化单季亏损更是超8亿元。 上海家化业绩预告显示,公司2024年归母净利润预计亏损7.1亿-8.8亿元。分季度看,虽然前三季度公司盈利持续恶化,但前三季度…

    2025年1月25日
    6500
  • 第一批回家过年的人已经堵路上了:服务区也堵上了 都是车和人

    广众网1月23日消息,随着春节假期临近,国内春运也逐步迎来了高峰期。公路客运作为春运的主力,堵车的压力也是直线上升。 据报道,今年春节假期高速免费时间为1月28日(除夕)00:00至2月4日(正月初七)24:00,共计8天。 不少旅客原以为提前几天出行,虽然要掏高速费,但能避开最高峰也算合适。不过有这种想法的人不在少数,最终高速拥堵还是无可避免。“第一批聪明…

    2025年1月23日
    5600
  • 一女子遭战机发动机吸入身亡 网友感慨:太可怕了

    1月22日消息,据国内媒体报道称,近日中国台湾一名女机工长在IDF战机落地后滑回机堡进行检查时,疑似在引擎尚未关闭状态下,太过接近战机右进气口,被吸入发动机,造成女机工长身亡。 事类似的事件之前已经多次发生,有专家直言,当喷气发动机工作时,吸入进气口的空气会造成低气压区,将附近的人“吸进”旋转的叶片。而机场地勤人员被吸入发动机的情况很少见,因为他们接受过关于…

    2025年1月22日
    5500
  • 微信更新后 不用解锁手机 也能接听语音了

    虽然现在就是年底,但这两天微信一个更新,还是让关注微信的网友直呼——过年了 因为 “ CallKit 回归了 ” 。 不过和往常一样,微信的功能都是逐步覆盖到所有用户的。这不,有的人体验上了,有的人却迟迟体验不上。 于是网友们开始整了一堆玄学,各种疯狂调试,就想早一秒用上 CallKit 。 有人说升级到微信最新版后,重登一下账号就有了;也有人把说语言先切成…

    2025年1月24日
    7300
  • 2025年春节档票房破2亿元!刷新中国影史最快纪录

    广众网1月20日消息,2025年的春节档电影市场可谓是一片火热,昨日正式开启预售后,短时间内便呈现出势如破竹的强劲态势,预售总票房接连打破纪录。 具体来看,截至19日14时27分,预售总票房便成功突破亿元大关,这一惊人成绩一举刷新了中国影史春节档预售最快破亿的纪录。 而仅仅过了不到一天的时间,截至20日9时16分,预售总票房又顺利突破2亿元,再次刷新中国影史…

    2025年1月20日
    6700

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信