科大讯飞结合华为实现 MoE 模子大规模专家并行集

发布日期:2025-04-25 16:40

原创 微吉辉 德清民政 2025-04-25 16:40 发表于浙江


  据引见,科大讯飞不久前率先冲破国产算力集群上 MoE 模子的大规模跨节点专家并行集群推理。

  实现国产算力上 MTP 多 token 预测手艺,降低 MTP 层计较耗时,全体机能提拔 30%+?。

  适配 MoE 的 PD 分手摆设,通过定制调集通信和谈,消弭调集通信流量冲突,使得 P 实例和 D 实例均达到系统最优,机能提拔 20%+!

  正在上一个版本算子和通信优化的根本之上,结合团队升级了适配 MOE 模子的 PD 分手 + 大规模专家并行系统处理方案,进行了多种手艺立异工做,IT之家总结如下。

  IT之家 4 月 18 日动静,科大讯飞研究院今日颁布发表,科大讯飞取华为昇腾结合团队通过多种优化手段提拔“飞星一号”平台上 MoE 模子集群推理的机能上限,并正在近期实现大规模专家并行集群推能翻番。

  立异性实现异步双发射手艺,处理高并发下的高 CPU 负载问题,实现 CPU 和 NPU 的高效协同,降低办事请求安排耗时,系统机能提拔 10%。结合团队通过正在“飞星一号”平台上对星火 MoE 模子、DeepSeekV3 / R1 进行实测,实现了推能比上一个版本提拔 1 倍,已迫近国产算力上 MoE 集群推理的机能上限。