这条通告在海内 AI 圈刷了一整周。
。。。
。业界第一反应分成几派。
。。。
。最大那派说这是"又一轮价钱战"——这两年从智谱、DeepSeek、字节豆包到阿里通义
，，，，国产大模子轮着降价
，，，，谁不在卷。
。。。
。 另一派往气馁处看：小米刚通告今年利润腰斩
，，，，这时间还往 AI 烧 600 亿、API 直接砍九成——典范的"赔本抢市场"。
。。。
；；Ｉ杏腥艘晕馐 DeepSeek 效应继续——后者把整个行业的定价基准拽到了地板上
，，，，谁不跟谁出局。
。。。
。 它不是全模子降价。
。。。
。99% 的折扣专门针对一档叫Input (Cache Hit)的定价——也就是"用户在长对话里重复读历史上下文"那部分。
。。。
。通俗的新输入（No Cache Hit）降幅小许多
，，，，模子输出（Output）降幅最小。
。。。
。 你点一杯半糖拿铁
，，，，咖啡店有两种做法Ｔ媚课重新磨豆子量糖浆倒奶
，，，，质料人工都付一次；；；可是模子知道这周你天天都要喝同样的半糖拿铁
，，，，爽性做一大壶存进冰柜
，，，，下次按一杯舀一份。
。。。
。MiMo 这次做的是后者——把用户重复读的部分从"现算"改成了"现取"
，，，，以是这部分的真实本钱靠近 0
，，，，自然能给 99% 折扣。
。。。
。 模子在和你对话时
，，，，每个 token 都要算一份"中心状态"
，，，，存起来供下一步用。
。。。
。这个工具叫KVCache——可以明确成模子的"短期影象条记本"。
。。。
。每说一句话
，，，，模子在条记本上记下这句话的摘要
，，，，下次直接翻条记
，，，，不必重新听一遍你说过的所有内容。
。。。
。 古板模子每一层都做"Full Attention"——也就是每个 token 都要看完整段对话所有 token
，，，，条记本越翻越厚。
。。。
。MiMo-V2.5-Pro 改了架构：70 层里 60 层只看最近 128 个 token（SWA
，，，，Sliding Window Attention）
，，，，只有 10 层"档案治理员"看所有。
。。。
。 这是降本的第一块地基。
。。。
。打个例如
，，，，原本公司每个员工都被要求记着所有的聚会纪录
，，，，效果每小我私家的脑子都不敷用、效率也低。
。。。
。新划定把 60 个员工的脑肩负降到 1/7
，，，，只留 10 个档案治理员管所有历史——公司整体影象能力没下降
，，，，但效率提升 7 倍。
。。。
。 古板的 KVCache 系统是按"最大可能用量"给所有层统一分派显存的。
。。。
。意思是：哪怕 60 层 SWA 只需要小簿本
，，，，系统也按"档案治理员的大簿本"给所有层都分派——SWA 省下来的空间被白白预留了
，，，，即是没省。
。。。
。 打个例如
，，，，原本公司给每个员工都发了"能装 100 年文件的档案柜"——但 60 个员工着实只需要"装一周文件的小柜子"
，，，，那些大柜子里 99% 的空间是空的。
。。。
。新做法是按现实需要分柜子。
。。。
。效果整个办公室能多装 5 倍以上的同事进来事情——同样一台 GPU 能效劳的并发用户数翻了 5 倍。
。。。
。 许多用户的对话有相同开头——统一段 system prompt、统一段代码库、统一份长文档。
。。。
。系统会把这些算过的效果存起来
，，，，下一次匹配上就直接复用。
。。。
。这个机制叫前缀缓存。
。。。
。 但 SWA 模式下泛起一个坑：两条请求 token 一样
，，，，不即是 KV 还在。
。。。
？？？？？
？赡芮白核愎
，，，，但 SWA 窗口外的部分早就被镌汰了。
。。。
。若是系统还按"token 一样就掷中"的旧规则给你复用
，，，，会读到无效或被笼罩的数据
，，，，模子效果会直接崩。
。。。
。 打个例如
，，，，图书馆有 100 万本书
，，，，你想借全套共计三本的《三体》。
。。。
。原来的架构会告诉你"这本书在"
，，，，你跑已往发明书架上只剩封面和第一部
，，，，后面两部都被借走了。
。。。
。这种"伪掷中"让你白跑一趟还要重借。
。。。
。新系统的规则改成只允许你能完整借到的那部分——先给你第一本
，，，，然后把后面两本再给你调过来。
。。。
。 听起来似乎更严酷、掷中率会下降。
。。。
。但现实相反：由于 SWA 让 KVCache 体积压到 1/7
，，，，同样存储空间能装的内容多了好几倍
，，，，真实掷中率反而大幅度提升。
。。。
。 显存（GPU 上的 HBM 内存）很贵也很有限——一台 H100 八卡机才 640GB 显存
，，，，但 MiMo 要存的 KVCache 可能是几十 TB 量级。
。。。
。以是必需分层：最近用的放显存（L1）
，，，，稍微旧的放 CPU 内存（L2）
，，，，冷数据存到漫衍式缓存（L3）。
。。。
。 跟你管钱一个原理。
。。。
。钱包里的现金是显存——随用随取但放不了几多。
。。。
。银行卡余额是 CPU 内存——取一次要 30 秒但能放许多。
。。。
。按期存款是 L3 漫衍式缓存——取一次要 2 分钟但自制许多。
。。。
。 小米存储团队的做法纷歧样。
。。。
。他们自研了一套叫GCache的漫衍式缓存
，，，，直接安排在 GPU 机械自带的 SSD 上——跟训练使命、推理使命混布在统一台机械里。
。。。
。 这件事的杀伤力比看上去大。
。。。
。通例的"AI 公司算力账"里
，，，，存储本钱是一个牢靠支出项——你的模子越大、用户越多
，，，，存储账单越长。
。。。
。GCache 这套做法把这一项直接打掉。
。。。
。连系 SWA 的小体积 + 掷中率 93-95%
，，，，KVCache 在 L3 的存活时间（TTL）从几分钟延伸到几小时甚至几天——TTL 越长
，，，，历史 context 的可掷中窗口越宽
，，，，缓存掷中率越高
，，，，99% 谁人折扣就越站得住。
。。。
。 三是TTFT 优化。
。。。
。在排队等推理的行列里
，，，，优先调理真实盘算量小的请求（也就是大宗掷中缓存的请求）——阻止它们被"全新输入"那种重盘算请求壅闭。
。。。
。 好比
，，，，在通例的机场调理中
，，，，所有飞统一个目的地的旅客集中到统一个候机厅
，，，，共享行李提取流程——这是亲和调理。
。。。
。带登机箱的和带 3 大箱托运的分两条安检通道走
，，，，快的不被慢的拖——这是长度分桶。
。。。
。登机时优先放只带登机箱的人
，，，，他们登机快
，，，，让飞性能早腾飞——这是 TTFT 优化。
。。。
。 前面五件事都在优化"读"那一侧——让用户重复读历史 context 的本钱压到靠近 0。
。。。
。第六件事是优化"写"那一侧——也就是模子天生下一个 token 的历程。
。。。
。 打个例如
，，，，古板打字是一个字一个字打——你想打"今天天气"
，，，，要按 4 次键。
。。。
。MTP 像有个自动补全在猜你下一个 1-2 个字是什么——若是它猜对了
，，，，你就不必再按那两次。
。。。
。 这件事的意义在于
，，，，99% 折扣专门指向 Input (Cache Hit)
，，，，但模子现实效劳用户时
，，，，input 和 output 是统一次请求里爆发的——若是 output 没省
，，，，整体请求本钱就只省了一半。
。。。
。MTP 让 output 那一半也降下来
，，，，整套降价的盈利模子才闭环。
。。。
。 SWA 架构 → KVCache 1/7 → 双池真正释放容量 → 统一台 GPU 能装 5+ 倍并发 → 前缀缓存掷中率 93-95% → 95% 请求险些不必算 → GCache 让存储本钱归零 → 调理把掷中请求优先调走 → MTP 让天生也省 → 单位请求 GPU 时间下降一个数目级 → 单位本钱下降 95%+ → 定价降 99%
，，，，毛利率仍为正。
。。。
。 转头看业界一最先的几种解读
，，，，每种都有部分原理。
。。。
。这两年中国大模子公司之间的价钱战是真的；；；小米利润腰斩还要砸 AI 是真的；；；DeepSeek 把行业定价拽到地板上也是真的。
。。。
。 但罗福莉这次果真手艺博客并且详细的手艺细节果真拆解
，，，，无疑是希望回手关于价钱战的说法
，，，，让“手艺的问题归手艺、营销的问题归营销。
。。。
。” 她在博客中写道
，，，，MiMo-V2.5 系列模子的推理效率并非来自某一环节的单点突破
，，，，而是多维度协同优化的效果。
。。。
。Hybrid SWA 让 prefill 与 decode 同时受益
，，，，但未经充分优化的 KVCache 实现反而会在各环节抬高本钱。
。。。
。围绕这一目的
，，，，MiMo团队系统性重构了 KVCache 治理、分级缓存、前缀缓存树
，，，，攻克 SWA KVCache 焦点问题
，，，，优化了调理战略及 Prefill / Decode 链路
，，，，并经线上真实场景磨练
，，，，最终将其理论效率优势真正兑现到生产情形。
。。。
。至此
，，，，Hybrid SWA 才施展出在长文推理上兼具强度与效率的架构优势。
。。。
。再组合 MoE 设置和多模态推理的种种优化
，，，，极洪流平提高了线上推理效劳的性能。
。。。
。