11 月 18 日,寒武纪宣布已完成对商汤前一晚发布的日日新 SenseNova Loop-9B 模型的 Day 0 适配,基于 vllm_mlu 打通该模型在 MLU 平台上的推理链路。该模型以约 9B 参数、通过循环执行共享中间层,把 32 个物理解码层扩展为 56 次层计算,并结合流形约束超连接(mHC)扩展计算深度。适配集中在 Loop 循环层静态展开、MLU 算子适配、mHC 路由优化三个方向。模型 4bit 量化后权重约 4.9GB,部署显存可低至 10GB 以内。
来源:全球资讯与公开媒体报道
广告

