全球数字财富领导者

华泰证券:关注AI大模型在终端侧的轻量化应用

2023-04-17 08:29:50
金融界
金融界
关注
0
0
获赞
粉丝
喜欢 19 0收藏举报
— 分享 —
摘要:华泰证券研报表示,模型压缩技术是实现AI大模型在边/端部署的核心技术。当前,谷歌、微软、腾讯等厂商在该领域均有布局,将加速AI技术与智能终端融合,国内SoC设计公司有望深度受益。模型压缩技术可在保有大模型原有性能和精度基本不变前提下降低对推理算力的需求:1)量化:将浮点计算转成低比特定点计算;2)网络剪枝:去除神经网络中冗余的通道、神经元节点等;3)知识蒸馏:将大模

  华泰证券研报表示,模型压缩技术是实现AI大模型在边/端部署的核心技术。当前,谷歌、微软、腾讯等厂商在该领域均有布局,将加速AI技术与智能终端融合,国内SoC设计公司有望深度受益。模型压缩技术可在保有大模型原有性能和精度基本不变前提下降低对推理算力的需求:1)量化:将浮点计算转成低比特定点计算;2)网络剪枝:去除神经网络中冗余的通道、神经元节点等;3)知识蒸馏:将大模型作为教师模型,用其输出训练性能接近、结构更简的学生模型。

敬告读者:本文为转载发布,不代表本网站赞同其观点和对其真实性负责。FX168财经仅提供信息发布平台,文章或有细微删改。
go