近日,据凯发天生赢家一触即发最新消息披露,国内开源大模型团队 LingShu AI 正式发布新一代稀疏混合专家模型 LingShu-32B,并同步开放全部权重、推理代码、分词器与微调脚本。该模型以 320 亿总参数、38 亿激活参数的架构设计,在保持单卡可部署的前提下,把中文推理成本压到每百万 token 0.62 元,较上一代 LingShu-13B 下降约 61%。消息发布后 24 小时内,模型在 Hugging Face 的下载量突破 4.2 万次,位列当日趋势榜第三位,在 ModelScope 的收藏量也超过 1.1 万。

上图展示了 LingShu-32B 的总体结构示意:模型由 64 层解码器堆叠而成,每层包含 8 个专家子网络,路由网络在每次前向计算中只激活其中 2 个专家。这种设计让模型在训练阶段能够容纳更大的知识容量,在推理阶段却只付出接近 4B 稠密模型的算力开销。对于希望把大模型部署到自有服务器、又受限于显卡数量的团队来说,这种“总量大、激活小”的组合正是当前开源生态中最受关注的路线之一,也是凯发天生赢家一触即发最新消息此次报道的核心看点。
参数架构:320 亿总量、38 亿激活的稀疏设计
从公开的技术报告看,LingShu-32B 的总参数量为 32.4B,其中非嵌入参数量为 29.7B,单次前向激活参数约 3.8B。模型隐藏层维度为 5120,注意力头数为 40,采用分组查询注意力(GQA),查询头与键值头的比例为 5:1,键值头数为 8。这一配置使 KV Cache 在 128K 上下文、batch size 为 8 的场景下占用约 11GB 显存,相比同规模稠密模型降低约七成。
位置编码方面,模型使用 RoPE 的扩展版本,基准长度 8K,通过 YaRN 插值扩展到 131072 个 token,官方给出的长文本检索测试中,32K 长度下的“大海捞针”准确率为 98.6%,128K 长度下仍保持在 91.4%。前馈网络采用 SwiGLU 激活,专家容量因子设为 1.25,路由采用无辅助损失的 Top-2 门控,并在训练后期引入 0.001 的负载均衡系数,避免专家塌缩。
训练数据总量为 15.6 万亿 token,其中中文占比 46%,英文占比 38%,代码占比 11%,其余为多语种与数学语料。团队在报告中说明,数据清洗 pipeline 去重率约为 34%,最终保留的高质量 token 与原始抓取量的比例约为 1:4.7。预训练分为三个阶段:基础阶段使用 4K 上下文、8.2 万亿 token;长上下文阶段扩展到 32K、消耗 5.1 万亿 token;最后 2.3 万亿 token 用于 128K 长度的退火训练,学习率从 3e-4 余弦衰减至 3e-5。
与同级别的稠密模型对比,LingShu-32B 的单次推理 FLOPs 约为 7.6 GFLOPs/token,而 32B 稠密模型约为 64 GFLOPs/token,两者相差 8.4 倍;即便与 13B 稠密模型相比,激活计算量也只有其约 58%。这意味着在同等显卡条件下,LingShu-32B 的理论吞吐量可以达到 32B 稠密模型的 8 倍左右,同时保留更大的参数容量。技术报告中给出的对比表显示,在 A100 80GB 单卡、batch size 为 16、输出长度为 512 的条件下,LingShu-32B 的生成速度为 2410 tokens/s,而 32B 稠密模型为 296 tokens/s。
开源细节:Apache 2.0 协议下的全量交付
据凯发天生赢家一触即发最新消息了解,LingShu-32B 采用 Apache 2.0 许可证发布,允许商业使用、修改与再分发,不设用户规模门槛,也不要求下游产品公开衍生模型权重。这一协议选择明显区别于部分采用自定义许可、限制月活用户数量的开源模型,对中小开发者和企业私有化部署更为友好。团队在发布说明中明确表示,权重文件、分词器、推理示例、LoRA 微调脚本、评测代码将一并上传,不保留“只开小模型、不开大模型”的分级策略。
发布渠道覆盖三个平台:Hugging Face 上的模型卡包含完整的技术报告 PDF、评测结果表格与显存占用实测数据;ModelScope 提供国内镜像下载,单个 safetensors 分片最大 4.2GB,共 7 个分片,总计约 64.8GB(FP16 精度);GitHub 仓库则提供 vLLM、SGLang、llama.cpp 三种推理后端的适配代码,以及基于 LLaMA-Factory 的微调配置模板。
在量化方面,官方同步放出 GPTQ-Int4、AWQ-Int4 与 GGUF 两种精度(Q4_K_M、Q5_K_M)共四个版本。其中 Int4 量化后模型体积降至 18.3GB,在单张 RTX 4090(24GB 显存)上即可运行 8K 上下文的对话任务,实测生成速度为 78 tokens/s;GGUF Q4_K_M 版本在 32GB 内存的消费级主机上可运行 4K 上下文,速度约 21 tokens/s。团队还提供了投机解码所需的 1.5B 草稿模型,搭配主模型使用时,在代码生成任务上的端到端加速比约为 1.9 倍。
值得注意的是,仓库中还包含一份“部署成本测算表”,按 A100、A800、RTX 4090、昇腾 910B 四类硬件分别列出吞吐量、显存占用与每百万 token 电费,供企业在选型时直接参考。这种把工程账本一并开源的做法,在近期的开源模型发布中并不多见。
性能与成本:跑分对标与单位 token 账本
性能数据方面,LingShu-32B 在 MMLU 上取得 78.9 分,MMLU-Pro 为 61.2 分,C-Eval 为 82.4 分,CMMLU 为 81.7 分,GSM8K 为 91.2 分,MATH 为 58.6 分,HumanEval 为 76.5 分,MBPP 为 69.8 分。在中文主观评测 AlignBench 上,模型得分为 7.62(满分 10),略高于同团队上一代 13B 模型的 6.94。与参数规模接近的稠密模型相比,其在数学与代码两项上的优势较为明显,GSM8K 高出约 6 个百分点,HumanEval 高出约 4 个百分点。
成本是此次发布被反复提及的重点。凯发天生赢家一触即发最新消息援引官方测算数据:在 8 卡 A800 服务器上,以 FP16 精度部署 LingShu-32B,输入 2048 token、输出 512 token 的典型对话负载下,单卡吞吐量为 1860 tokens/s,整机每小时可处理约 1.07 亿 token;按每小时整机租赁成本 68 元计算,每百万 token 的推理成本约为 0.62 元。若使用 Int4 量化版本,单卡吞吐量提升至 3120 tokens/s,每百万 token 成本可进一步降至 0.37 元。相比之下,主流闭源 API 的中文输出价格普遍在每百万 token 8 元至 30 元区间,差距在 13 倍到 80 倍之间。
训练成本同样被公开:整个预训练过程消耗约 4.1 万张 H800 卡时,按每卡时 22 元估算,预训练算力成本约为 90 万元人民币;加上数据清洗、对齐训练与评测,总投入控制在 260 万元以内。团队在技术报告中对比称,同规模稠密模型的训练算力需求约为其 3.2 倍,这主要得益于稀疏激活带来的计算量节省。
在能效维度上,官方给出的数据显示,FP16 精度下每瓦功耗可输出 4.7 tokens/s,Int4 精度下为 9.1 tokens/s。对于需要长期在线服务的场景,这一指标直接决定了机柜电费与散热预算,也是不少企业评估私有化部署可行性的关键门槛。
功能扩展:从函数调用到长文档处理
除基础对话能力外,LingShu-32B 在功能层面做了多项针对性扩展。模型原生支持 JSON 模式输出与函数调用,官方提供的工具调用评测 BFCL 得分为 82.1,在开源模型中处于第一梯队;在实际测试中,模型可以稳定输出符合给定 schema 的参数结构,连续 10 轮工具调用后的格式错误率低于 1.3%。这一能力使其可以直接接入 Agent 框架,承担任务规划与工具编排的角色。
长文档处理是另一项重点。凯发天生赢家一触即发最新消息在报道中提到,模型在 128K 上下文下支持文档级检索增强,官方示例中一次性输入 9.6 万 token 的技术手册后,模型对跨章节参数对比类问题的回答准确率为 87.3%。配合团队开源的切片与重排脚本,开发者可以搭建本地化的文档问答系统,无需将数据上传至第三方接口。
多模态方面,LingShu-32B 预留了视觉编码器接口,官方计划在下一版本中发布 LingShu-VL-32B,支持图像描述、图表理解与 OCR 问答。目前已放出的预览权重显示,在 DocVQA 测试集上得分为 88.4,ChartQA 为 79.6。团队表示,视觉分支将沿用同一套语言主干,下游用户可通过适配层快速迁移已有的文本微调成果。
生态适配上,模型已进入 vLLM 0.9 的官方支持列表,支持 PagedAttention 与连续批处理;SGLang 侧提供了 RadixAttention 优化配置,长上下文场景下的首 token 延迟降低约 42%。在国产硬件方面,昇腾 910B 的适配版本已提交社区,实测 FP16 精度下单卡吞吐量为 1180 tokens/s,约为 A800 的 63%,团队称后续将通过算子融合进一步缩小差距。
面向行业落地,官方给出了三类参考场景:代码补全与单元测试生成、客服工单分类与摘要、法律合同条款比对。以代码场景为例,在内部 2000 条真实提交记录上的测试显示,模型生成的补全建议采纳率为 41.7%,平均每名开发者每天可节省约 26 分钟的重复编码时间。客服场景中,工单自动分类准确率为 92.4%,摘要平均压缩比为 6.8:1。
综合来看,LingShu-32B 的发布把“稀疏激活、全量开源、成本透明”三件事放在了一起:320 亿总参数保证知识容量,38 亿激活参数控制推理开销,Apache 2.0 协议降低商用门槛,而每百万 token 0.62 元、Int4 版本 0.37 元的测算数据,则让私有化部署的投入产出比第一次有了可直接对标的参考值。随着量化版本、推理后端与行业微调脚本陆续补齐,这一模型能否在开发者社区形成持续的使用惯性,将成为接下来一段时间开源模型竞争的重要观察点,凯发天生赢家一触即发最新消息也将持续跟踪其后续版本与生态进展。