我可以: 邀请好友来看>>
ZOL星空(中国) > 技术星空(中国) > 专为在神经处理单元(NPU)上高效运行而设计
帖子很冷清,卤煮很失落!求安慰
返回列表
签到
手机签到经验翻倍!
快来扫一扫!

专为在神经处理单元(NPU)上高效运行而设计

28浏览 / 0回复

qq_3814k965o...

qq_3814k965o1if

0
精华
67
帖子

等  级:Lv.4
经  验:1808
  • Z金豆: 550

    千万礼品等你来兑哦~快点击这里兑换吧~

  • 城  市:广东
  • 注  册:2016-02-23
  • 登  录:2025-07-01
  • 身份验证
发表于 2025-06-30 08:27:21
电梯直达 确定
楼主

Mu模型是一个3.3亿参数的编码器-解码器语言模型,专为在神经处理单元(NPU)上高效运行而设计,能够实现每秒处理超过100个tokens。

与类似大小的仅解码器模型相比,Mu在首次token延迟上降低了约47%,解码速度提高了4.7倍,此外,Mu通过在某些组件中使用权重共享来减少总参数数量,从而优化性能。尽管Mu的大小仅为Phi-3.5-mini的十分之一,但其性能几乎相当,尤其在处理多词查询时表现出色。

这一功能已向Windows Insider计划的用户开放,用户可以通过下载Windows 11 Build 26120.3964(KB5058496)或更高版本来体验这一新的AI驱动的代理功能


高级模式
星空(中国)精选大家都在看24小时热帖7天热帖大家都在问最新回答

针对ZOL星空(中国)您有任何使用问题和建议 您可以 联系星空(中国)管理员查看帮助  或  给我提意见

快捷回复 APP下载 返回列表