鲸云网9月24日消息，据媒体报道，小米 MiMo 大模型负责人罗福莉 9月23日通过社交平台宣布，下一代 MiMo-V3 将采用一套全新自研架构，其核心组件 HySparse2 已于9月24日正式对外公开。相比现款 MiMo-V2.6 所采用的混合滑动窗口注意力，新架构在百万 token 的上下文长度下，把预填充（Prefill）阶段的计算量压低约5倍，KV 缓存占用缩小4.5倍，而长文检索与多轮智能体推理的评测分数反而更高。这意味着模型在“读入更长的历史”和“算得更省”之间，第一次同时拿到了正向结果。
新架构要解决的，是智能体（Agent）场景里一个被忽略已久的痛点。传统对话模型一次说完就结束，但 Agent 每走一步都要调用工具，一个简短动作往往带回一整页网页、一份文件或长长的运行日志，这些内容必须重新做预填充，上下文还在不断累加。于是预填充开销、KV 缓存容量、长上下文检索精度三件事同时卡在关键路径上。HySparse2 的思路借鉴了 YOCO“只缓存一次”的设计，把模型拆成前半段自解码器和后半段交叉解码器，让后半段的全局注意力层直接复用前半段已经算好的隐藏状态来构建 K/V，省掉重复计算；同时把过去按“块”选择重要位置，改成按 token 细粒度选择，并强制保留最近128个 token、再从窗口外挑选1024个全局 token。在49层的模型里，预填充只需跑完前25层就可以结束，部署时 Prefill 节点要存的权重接近减半。
把这件事放回小米的 AI 布局里看会更清楚。不到一年时间，小米 MiMo 从2025年4月开源的 MiMo-7B，快速推进到今年9月22日发布的 MiMo-V2.6 系列——包含 Pro 与 Flash 两个原生全模态模型，总参数1.02万亿、每 token 激活420亿，同样支持百万 token 上下文，并延续“发布即开源”的 MIT 许可。带队人罗福莉此前在 DeepSeek 从事研究工作，小米则承诺三年投入87亿美元做 AI。值得注意的是，在和千问等国产开源模型、以及华为昇腾这类国产算力平台同台竞争的同时，中国开源权重模型正在快速挤压美国模型的份额：有第三方统计显示，在中性路由平台上美国模型处理的 token 占比一年内从约70%跌到30%。HySparse2 对应的论文已公开（arXiv 2609.26368），它与此前 MiMo-UltraSpeed 的低比特量化、投机解码一道，分别从“读入”和“生成”两端压低推理延迟。
站在行业角度，HySparse2 代表的一种取向是：与其不断堆大参数，不如在架构层把推理成本与长上下文能力解耦。对真正要把 Agent 跑起来的应用方而言，更短的预填充、更小的显存占用，直接决定了能在同样一张卡上塞进多长的任务历史、服务多少并发。当然也要看清边界——目前公开的是 MiMo-V3 的核心架构而非完整模型，具体的参数规模、训练方案和开放计划仍要等小米后续披露，外界尚不能据此判断 V3 的最终能力上限。
编辑：华磊
免责声明：本站转载的文章，版权归原作者所有；旨在传递信息，不代表本站的观点和立场。
