在将 MoE 和 Lightning Attention（闪电注重力）的激进架构厘革引入基础模子底层，，，，，，，转化为全新的 MiniMax-01 系列模子的 5 个月后，，，，，，，大模子公司 MiniMax 终于更进一步，，，，，，，捧出了酝酿许久的自研文本推理模子 MiniMax-M1，，，，，，，这也是全球首个开源、大规模实现混淆注重力的推理模子。。。。。 推理模子已成为新的大模子手艺浪潮，，，，，，，拿出一款强劲的自研推理模子，，，，，，，是近半年里海内第一阵营的大模子公司坚持自己手艺身位最直接的目的。。。。。 作为推理模子，，，，，，，MiniMax-M1在长上下文明确能力上，，，，，，，是现在包括所有闭源和开源模子在内，，，，，，，能力全球前二的模子，，，，，，，且在训练和推理本钱上极高的性价比。。。。。 M1 仍然延续着 MoE 架构，，，，，，，而在注重力机制上和强化学习算法上的立异让 M1 鲜明的区别于其他推理模子。。。。。模子总参数抵达 4560 亿参数，，，，，，，原生支持 100 万 token 的上下文长度输入，，，，，，，以及现在所有模子中最长的 80k token 的输出长度。。。。。 除了在长上下文能力上的强势，，，，，，，M1 所展现出的在智能体工具使用（Agentic Tool Use）维度上的能力上限甚至越发让人期待。。。。。从评测基准 TAU-Bench (airline) 中的体现来看，，，，，，，现在 M1 已经是市面上在 Agentic Tool Use 方面能力最强的模子。。。。。 手艺报告中关于 M1 的概述是，，，，，，，这个新的开源模子已是与 DeepSeek-R1、Qwen3-235B 并列的天下顶尖开源推理模子，，，，，，，这一结论是在加入了业内主流的 17 个评测基准之后得出的。。。。。在处置惩罚重大场景时长上下文、智能体工具使用能力上的长板足够亮眼，，，，，，，M1 在更通用的模子性能上也已经跨入顶尖行列。。。。。 别的需要特意说明的是，，，，，，，M1 系列模子中的两个模子中，，，，，，，MiniMax-M1-40K 模子是 MiniMax-M1-80K 模子在训练时的中心阶段。。。。。而在测评基准所泛起的总体体现中，，，，，，，MiniMax-M1-80k 在大都基准上一连优于 MiniMax-M1-40k，，，，，，，这也验证了上下文窗口长度带来了模子整体性能的显著提升，，，，，，，而非仅仅意味着支持更长的输入。。。。。 在底层架构层面，，，，，，，M1 是现在唯逐一个用线性注重力机制「大改」古板 Transformer 架构，，，，，，，从而大规模实现混淆注重力的 MoE 推理模子；；；；；在算法层面，，，，，，，M1 提出了新的强化学习算法 CISPO。。。。。更彻底的双线立异提高了 M1 的训练效率，，，，，，，而训练本钱的下降也非？？？？晒。。。。。 为解放 Transformer 架构中焦点的注重力机制 Softmax Attention 在盘算资源消耗方面的局限性，，，，，，，M1 系列模子在注重力机制的架构设计方面相比古板架构的推理做了更大胆的实验——接纳混淆注重力机制 Lightning Attention——来取代标准 Transformer 中使用的古板 Softmax Attention。。。。。 奇异的注重力层设计让 M1 在推理时具有显著效率优势，，，，，，，自然有利于强化学习的高效扩展，，，，，，，但走到混淆架构大规模强化学习的无人区，，，，，，，MiniMax 显然也会遇到新架构带来的挑战。。。。。 好比在混淆架构的起源零强化学习（zero-RL）实验中，，，，，，，团队发明古板的 PPO/GRPO 算法会意外的严重损害训练性能。。。。。详细来说，，，，，，，与反思行为相关的要害 token——例如体现转折的 however、wait——这些低概率 token 对稳固熵和增进可扩展 RL 至关主要，，，，，，，但却容易在战略更新时被裁剪，，，，，，，难以包管这些 token 的梯度孝顺，，，，，，，导致难以增进长 CoT 推理行为。。。。。此问题在混淆架构模子中尤为突出，，，，，，，阻碍了强化学习的规模扩展。。。。。 为此，，，，，，，M1 在算法层面提出了新的强化学习算法 CISPO，，，，，，，意在明确阻止扬弃任何 token（纵然更新幅度大），，，，，，，同时将熵维持在合理规模以确保稳固探索。。。。。 在 zero-RL 设置下，，，，，，，MiniMax 团队在数学推理数据集上训练 Qwen2.5-32B-base，，，，，，，比照 CISPO、 字节跳动提出的 DAPO 以及 DeepSeek 提出的 GRPO 算法在 AIME 2024 上的体现。。。。。相同步数下 CISPO 显著优于 DAPO 和 GRPO；；；；；其训练效率更高，，，，，，，仅需 DAPO 50% 的步数即可抵达一律性能。。。。。 底层架构上关于线性注重力机制的引入，，，，，，，以及算法层围绕 CISPO 所形成的高效 RL 框架，，，，，，，最终让 M1 的强化学习训练变得十分高效，，，，，，，进而取得了训练本钱的大幅下降。。。。。 与模子一同宣布的手艺报告中显示，，，，，，，在生生长度为 10 万 Token 时，，，，，，，M1 的盘算量仅为 Deepseek R1 的 25%，，，，，，，而整个 M1 的完整强化学习训练能在 512 张 H800 GPU 上仅用 3 周完成，，，，，，，以现在的 GPU 租赁价钱盘算，，，，，，，本钱仅为 53.47 万美元。。。。。 Prompt 是这样的： 建设一个迷宫天生器和寻路可视化工具。。。。。随机天生一个迷宫，，，，，，，并逐步可视化 A* 算法的求解历程。。。。。使用画布和动画，，，，，，，使其具有视觉吸引力。。。。。 demo 里可以清晰看到，，，，，，，M1 在天生的网页中思绪清晰的设置了代表打字速率的 WPM（words per minute）和准确度的 Accuracy 两个指标，，，，，，，并且体贴的让上方文字随着你的输入历程而同步变色。。。。。 这些 demo 都在指向一些通用 agent 中产品化 feature 的可能性。。。。。长上下文明确、智能体这些在模子能力产品化历程中的焦点能力，，，，，，，恰恰是 M1 模子的强势所在。。。。。这切合 MiniMax 最早以产品起势的蹊径，，，，，，，而这家公司迩来在基础模子层面一连的激进探索，，，，，，，也以 M1 的泛起为节点，，，，，，，在当下大模子公司们手艺突破普遍降速的时间显示出后劲。。。。。 M1 的泛起，，，，，，，背后是一条 MiniMax 从古板的浓密模子与 Transformer 架构，，，，，，，转向 MoE 与线性注重力机制的草蛇灰线。。。。。在 MiniMax 决议引入 MoE 与线性注重力机制的时间，，，，，，，在其时险些都没有什么可以参考的工具。。。。。 Mistral AI 在 2023 年底用开源的模子 Mistral 8??7B 击败了其时最优异的开源模子之一，，，，，，，700 亿参数的 Llama 2。。。。。2023 年炎天，，，，，，，MiniMax 已经在准备从浓密模子转向 MoE，，，，，，，投入了其时公司 80% 的算力与研发资源，，，，，，，在 Mistral 8??7B 宣布的一个月后，，，，，，，上线了海内首个 MoE 大模子 abab 6，，，，，，，并且由于这是个过于新的架构，，，，，，，MiniMax 为 MoE 自研更适配的训练和推理框架。。。。。 MiniMax 最先投入 Linear Attention 是从 2024 年 4 月最先的，，，，，，，那时尚没有模子在千亿级别的参数规模层面挑战古板的 Transformer 架构。。。。。这使得 MiniMax 需要对漫衍式训练和推理框架举行彻底的重新设计来适配，，，，，，，使得模子能够在大规模 GPU 集群上高效运行，，，，，，，这才有了今年 1 月的 MiniMax-Text-01，，，，，，，这也是第一个依赖线性注重力机制大规模安排的模子。。。。。 可以说，，，，，，，MiniMax-Text-01 是 MiniMax 在线性注重力这件事上，，，，，，，为整个行业从小规？？？？尚械墓彩，，，，，，，到 Scale up 的可行做了一次验证。。。。。而推理模子 M1，，，，，，，实质上又是一次基于 MiniMax-Text-01 的 scale up 和架构立异。。。。。 团队以 MiniMax-Text-01 为基座，，，，，，，实验 7.5 万亿 token 的定向增强预训练，，，，，，，将 STEM（科学/手艺/工程/数学）、编程代码与重大推理三类焦点领域的数据权重提升至总语料 70%。。。。。随后通过监视微调阶段注入链式思索（CoT）机制，，，，，，，系统性构建模子的分步推理能力，，，，，，，为强化学习涤讪能力基础。。。。。 最终这种激进式的立异获得了起劲的验证，，，，，，，M1 是现在全球最先抵达 80k 上下文输出的推理模子，，，，，，，同时在长上下文，，，，，，，软件工程和 Agent 工具使用方面体现出了优势。。。。。 此前星野和 Talkie 在商业化上的优异体现，，，，，，，让 MiniMax 早早成为一家可以自己自力行走的大模子公司，，，，，，，也让外界付与了这家公司一个「产品驱动」这样过于笼统的标签。。。。。这一定水平上忽视了 MiniMax 在模子层面上相当强悍的研发能力。。。。。 值得注重的是，，，，，，，MiniMax 的官方通告透露，，，，，，，M1 系列模子同时也拉开了为期五天的 MiniMaxWeek 的序幕，，，，，，，未来五天，，，，，，，MiniMax 会围绕文本、语音和视觉等多模态模子对外宣布更多的手艺希望。。。。。 与此前 MoE 的 Abab 6 模子刚泛起时类似，，，，，，，此次宣布的混淆注重力机制的 M1 在底层架构层面仍然是一个「非共识」的推理模子，，，，，，，但也正是由于这些一再探入模子底层架构「非共识」地带所带来的手艺立异，，，，，，，一直在印证 MiniMax 终究是一家「模子驱动」的 AI 公司。。。。。