这条通告在海内 AI 圈刷了一整周。。。。。。业界第一反应分成几派。。。。。。最大那派说这是"又一轮价钱战"——这两年从智谱、DeepSeek、字节豆包到阿里通义，，，，，，国产大模子轮着降价，，，，，，谁不在卷。。。。。。 另一派往气馁处看：小米刚通告今年利润腰斩，，，，，，这时间还往 AI 烧 600 亿、API 直接砍九成——典范的"赔本抢市场"。。。。。；
；
；；；Ｉ杏腥艘晕馐 DeepSeek 效应继续——后者把整个行业的定价基准拽到了地板上，，，，，，谁不跟谁出局。。。。。。 它不是全模子降价。。。。。。99% 的折扣专门针对一档叫Input (Cache Hit)的定价——也就是"用户在长对话里重复读历史上下文"那部分。。。。。。通俗的新输入（No Cache Hit）降幅小许多，，，，，，模子输出（Output）降幅最小。。。。。。 你点一杯半糖拿铁，，，，，，咖啡店有两种做法Ｔ媚课重新磨豆子量糖浆倒奶，，，，，，质料人工都付一次；
；
；；；；可是模子知道这周你天天都要喝同样的半糖拿铁，，，，，，爽性做一大壶存进冰柜，，，，，，下次按一杯舀一份。。。。。。MiMo 这次做的是后者——把用户重复读的部分从"现算"改成了"现取"，，，，，，以是这部分的真实本钱靠近 0，，，，，，自然能给 99% 折扣。。。。。。 模子在和你对话时，，，，，，每个 token 都要算一份"中心状态"，，，，，，存起来供下一步用。。。。。。这个工具叫KVCache——可以明确成模子的"短期影象条记本"。。。。。。每说一句话，，，，，，模子在条记本上记下这句话的摘要，，，，，，下次直接翻条记，，，，，，不必重新听一遍你说过的所有内容。。。。。。 古板模子每一层都做"Full Attention"——也就是每个 token 都要看完整段对话所有 token，，，，，，条记本越翻越厚。。。。。。MiMo-V2.5-Pro 改了架构：70 层里 60 层只看最近 128 个 token（SWA，，，，，，Sliding Window Attention），，，，，，只有 10 层"档案治理员"看所有。。。。。。 这是降本的第一块地基。。。。。。打个例如，，，，，，原本公司每个员工都被要求记着所有的聚会纪录，，，，，，效果每小我私家的脑子都不敷用、效率也低。。。。。。新划定把 60 个员工的脑肩负降到 1/7，，，，，，只留 10 个档案治理员管所有历史——公司整体影象能力没下降，，，，，，但效率提升 7 倍。。。。。。 古板的 KVCache 系统是按"最大可能用量"给所有层统一分派显存的。。。。。。意思是：哪怕 60 层 SWA 只需要小簿本，，，，，，系统也按"档案治理员的大簿本"给所有层都分派——SWA 省下来的空间被白白预留了，，，，，，即是没省。。。。。。 打个例如，，，，，，原本公司给每个员工都发了"能装 100 年文件的档案柜"——但 60 个员工着实只需要"装一周文件的小柜子"，，，，，，那些大柜子里 99% 的空间是空的。。。。。。新做法是按现实需要分柜子。。。。。。效果整个办公室能多装 5 倍以上的同事进来事情——同样一台 GPU 能效劳的并发用户数翻了 5 倍。。。。。。 许多用户的对话有相同开头——统一段 system prompt、统一段代码库、统一份长文档。。。。。。系统会把这些算过的效果存起来，，，，，，下一次匹配上就直接复用。。。。。。这个机制叫前缀缓存。。。。。。 但 SWA 模式下泛起一个坑：两条请求 token 一样，，，，，，不即是 KV 还在。。。。。？？？？？？赡芮白核愎，，，，但 SWA 窗口外的部分早就被镌汰了。。。。。。若是系统还按"token 一样就掷中"的旧规则给你复用，，，，，，会读到无效或被笼罩的数据，，，，，，模子效果会直接崩。。。。。。 打个例如，，，，，，图书馆有 100 万本书，，，，，，你想借全套共计三本的《三体》。。。。。。原来的架构会告诉你"这本书在"，，，，，，你跑已往发明书架上只剩封面和第一部，，，，，，后面两部都被借走了。。。。。。这种"伪掷中"让你白跑一趟还要重借。。。。。。新系统的规则改成只允许你能完整借到的那部分——先给你第一本，，，，，，然后把后面两本再给你调过来。。。。。。 听起来似乎更严酷、掷中率会下降。。。。。。但现实相反：由于 SWA 让 KVCache 体积压到 1/7，，，，，，同样存储空间能装的内容多了好几倍，，，，，，真实掷中率反而大幅度提升。。。。。。 显存（GPU 上的 HBM 内存）很贵也很有限——一台 H100 八卡机才 640GB 显存，，，，，，但 MiMo 要存的 KVCache 可能是几十 TB 量级。。。。。。以是必需分层：最近用的放显存（L1），，，，，，稍微旧的放 CPU 内存（L2），，，，，，冷数据存到漫衍式缓存（L3）。。。。。。 跟你管钱一个原理。。。。。。钱包里的现金是显存——随用随取但放不了几多。。。。。。银行卡余额是 CPU 内存——取一次要 30 秒但能放许多。。。。。。按期存款是 L3 漫衍式缓存——取一次要 2 分钟但自制许多。。。。。。 小米存储团队的做法纷歧样。。。。。。他们自研了一套叫GCache的漫衍式缓存，，，，，，直接安排在 GPU 机械自带的 SSD 上——跟训练使命、推理使命混布在统一台机械里。。。。。。 这件事的杀伤力比看上去大。。。。。。通例的"AI 公司算力账"里，，，，，，存储本钱是一个牢靠支出项——你的模子越大、用户越多，，，，，，存储账单越长。。。。。。GCache 这套做法把这一项直接打掉。。。。。。连系 SWA 的小体积 + 掷中率 93-95%，，，，，，KVCache 在 L3 的存活时间（TTL）从几分钟延伸到几小时甚至几天——TTL 越长，，，，，，历史 context 的可掷中窗口越宽，，，，，，缓存掷中率越高，，，，，，99% 谁人折扣就越站得住。。。。。。 三是TTFT 优化。。。。。。在排队等推理的行列里，，，，，，优先调理真实盘算量小的请求（也就是大宗掷中缓存的请求）——阻止它们被"全新输入"那种重盘算请求壅闭。。。。。。 好比，，，，，，在通例的机场调理中，，，，，，所有飞统一个目的地的旅客集中到统一个候机厅，，，，，，共享行李提取流程——这是亲和调理。。。。。。带登机箱的和带 3 大箱托运的分两条安检通道走，，，，，，快的不被慢的拖——这是长度分桶。。。。。。登机时优先放只带登机箱的人，，，，，，他们登机快，，，，，，让飞性能早腾飞——这是 TTFT 优化。。。。。。 前面五件事都在优化"读"那一侧——让用户重复读历史 context 的本钱压到靠近 0。。。。。。第六件事是优化"写"那一侧——也就是模子天生下一个 token 的历程。。。。。。 打个例如，，，，，，古板打字是一个字一个字打——你想打"今天天气"，，，，，，要按 4 次键。。。。。。MTP 像有个自动补全在猜你下一个 1-2 个字是什么——若是它猜对了，，，，，，你就不必再按那两次。。。。。。 这件事的意义在于，，，，，，99% 折扣专门指向 Input (Cache Hit)，，，，，，但模子现实效劳用户时，，，，，，input 和 output 是统一次请求里爆发的——若是 output 没省。。。。。，，，，整体请求本钱就只省了一半。。。。。。MTP 让 output 那一半也降下来，，，，，，整套降价的盈利模子才闭环。。。。。。 SWA 架构 → KVCache 1/7 → 双池真正释放容量 → 统一台 GPU 能装 5+ 倍并发 → 前缀缓存掷中率 93-95% → 95% 请求险些不必算 → GCache 让存储本钱归零 → 调理把掷中请求优先调走 → MTP 让天生也省 → 单位请求 GPU 时间下降一个数目级 → 单位本钱下降 95%+ → 定价降 99%，，，，，，毛利率仍为正。。。。。。 转头看业界一最先的几种解读，，，，，，每种都有部分原理。。。。。。这两年中国大模子公司之间的价钱战是真的；
；
；；；；小米利润腰斩还要砸 AI 是真的；
；
；；；；DeepSeek 把行业定价拽到地板上也是真的。。。。。。 但罗福莉这次果真手艺博客并且详细的手艺细节果真拆解，，，，，，无疑是希望回手关于价钱战的说法，，，，，，让“手艺的问题归手艺、营销的问题归营销。。。。。。” 她在博客中写道，，，，，，MiMo-V2.5 系列模子的推理效率并非来自某一环节的单点突破，，，，，，而是多维度协同优化的效果。。。。。。Hybrid SWA 让 prefill 与 decode 同时受益，，，，，，但未经充分优化的 KVCache 实现反而会在各环节抬高本钱。。。。。。围绕这一目的，，，，，，MiMo团队系统性重构了 KVCache 治理、分级缓存、前缀缓存树，，，，，，攻克 SWA KVCache 焦点问题，，，，，，优化了调理战略及 Prefill / Decode 链路，，，，，，并经线上真实场景磨练，，，，，，最终将其理论效率优势真正兑现到生产情形。。。。。。至此，，，，，，Hybrid SWA 才施展出在长文推理上兼具强度与效率的架构优势。。。。。。再组合 MoE 设置和多模态推理的种种优化，，，，，，极洪流平提高了线上推理效劳的性能。。。。。。