这项由中国科学手艺大学、上海立异研究院、武汉大学及京东联合开展的研究，
，
，，，，，以预印本形式于2026年5月揭晓，
，
，，，，，论文编号为arXiv:2605.25381，
，
，，，，，有兴趣深入相识的读者可以通过该编号盘问完整论文。。。。。。
。 教一个孩子做数学题，
，
，，，，，你会怎么做？？？大大都家长的直觉是：先把基础搞扎实，
，
，，，，，再挑战难题。。。。。。
。你不会在孩子刚学加法的时间就把所有题型一股脑所有塞给他——乘法、除数、方程式，
，
，，，，，所有同时开练。。。。。。
。这种循序渐进的节奏，
，
，，，，，着实暗含着一种深刻的教学智慧：学习是有阶段性的，
，
，，，，，差别的知识点需要在合适的时间被强化。。。。。。
。 然而，
，
，，，，，当我们训练当下最先进的大语言模子时，
，
，，，，，整个历程却往往缺少这种时间维度的考量。。。。。。
。研究团队发明，
，
，，，，，现有的强化学习训练方法，
，
，，，，，有点像把一个学生扔进一堆杂乱无序的习题中，
，
，，，，，所有题型混在一起、每道题的权重完全相同、重新到尾没有任何顺序安排——然后只凭证最终谜底对差池来打分，
，
，，，，，完全不在乎学生的解题历程是否合理。。。。。。
。这篇论文的焦点孝顺，
，
，，，，，就是把"什么时间学哪部分内容"这个维度，
，
，，，，，正式引入到大模子的训练系统中。。。。。。
。 现在让大模子变智慧的主流要领叫做"强化学习与可验证奖励"，
，
，，，，，英文缩写是RLVR。。。。。。
。这个要领的逻辑并不重大：给模子出一道题，
，
，，，，，让它自己天生一段回覆，
，
，，，，，然后看回覆最终对差池，
，
，，，，，对了就奖励，
，
，，，，，错了就处分。。。。。。
。这个奖励信号会反传回去，
，
，，，，，告诉模子的每一个字符——哦，
，
，，，，，这次你做对了，
，
，，，，，你们都值得被勉励；；
；；；；；或者，
，
，，，，，这次做错了，
，
，，，，，你们都要被压制。。。。。。
。 要害问题在于，
，
，，，，，一段回覆可能有几千甚至上万个字符，
，
，，，，，这些字符各司其职、肩负着截然差别的角色。。。。。。
。好比，
，
，，，，，一段解题历程的开头几句话，
，
，，，，，往往是在搭建解题框架——"设x为未知数"、"凭证题意，
，
，，，，，我们知道..."——这些属于推理脚手架；；
；；；；；中心部分可能是在做逻辑跳转和反思验证；；
；；；；；而最后部分则是得出最终谜底的收敛语言——"以是谜底是62"。。。。。。
。这三种角色完全差别，
，
，，，，，但在古板的RLVR训练中，
，
，，，，，它们收到的奖励信号却是完全相同的那一个全局分数。。。。。。
。 这就像是一个团队完成了一个项目，
，
，，，，，老板只给出一个整体评价"做得不错"，
，
，，，，，却完全不区分谁在妄想阶段孝顺了要害思绪、谁在执行阶段扎实落实、谁在收尾阶段包管了质量。。。。。。
。每小我私家的孝顺被无差别地看待，
，
，，，，，这显然无法指导团队朝着真正高效的偏向迭代。。。。。。
。 学术界早就意识到这个问题，
，
，，，，，并为此提出了不少解决计划，
，
，，，，，统称为"信用分派"——也就是在谁人全局奖励信号之上，
，
，，，，，再想步伐给每个字符分派更精准的权重。。。。。。
。 一种方法是训练一个专门的"历程奖励模子"，
，
，，，，，让它对每一步推理给出评分，
，
，，，，，相当于请来一位阅卷先生，
，
，，，，，不但看最终谜底，
，
，，，，，还要逐步修正解题历程。。。。。。
。但这种方法本钱极高，
，
，，，，，需要大宗人工标注，
，
，，，，，难以大规模使用。。。。。。
。 另一种更轻量的方法，
，
，，，，，是直接使用模子自身爆发的信号来区分字符的主要性。。。。。。
。好比，
，
，，，，，某个字符的"熵"（可以明确为这个字符有几多种可能性、有多灾被展望）越高，
，
，，，，，说明模子在这里做出了更有意义的选择，
，
，，，，，应该给予更多的优化关注。。。。。。
。；
；；；；Ｉ杏幸恍┓焦嬖蛑苯友〕鲆恍〔糠"要害字符"来优化，
，
，，，，，忽略其余那些无关紧要的填充词。。。。。。
。 这些要领都有用果，
，
，，，，，但它们有一个配合的盲区：无论选择什么标准来区分字符的主要性，
，
，，，，，这个标准从训练最先到竣事始终牢靠稳固。。。。。。
。就像一位从不调解教学战略的先生，
，
，，，，，第一天用统一套要领，
，
，，，，，最后一天照旧统一套要领，
，
，，，，，完全不随着学生的前进来动态调解。。。。。。
。研究团队把这种征象称为"僵化的信用分派标准"，
，
，，，，，并以为这是目今训练要领的焦点瓶颈之一。。。。。。
。 这篇论文的焦点洞见可以用一句话归纳综合：不但要体贴"把奖励分派给哪些字符"，
，
，，，，，还要体贴"在训练的哪个阶段分派"。。。。。。
。这就是所谓的"时间调理"——将信用分派的标准随着训练历程动态演变，
，
，，，，，而非一成稳固。。。。。。
。 研究团队给出了一个详细的操作计划。。。。。。
。训练最先时，
，
，，，，，重点强化某一类特定字符（好比对应谜底收敛部分的字符），
，
，，，，，给这些字符很高的优化权重；；
；；；；；随着训练的推进，
，
，，，，，逐渐铺开限制，
，
，，，，，让越来越多的字符都加入到优化中来，
，
，，，，，直到最终酿成靠近全量优化。。。。。。
。这个历程就像是先精雕细琢某个要害环节，
，
，，，，，等它稳固了，
，
，，，，，再逐步把整体品质一起带上来。。。。。。
。 用学习乐器来类比会更直观：一个钢琴先生不会让学生从第一节课就同时训练手指无邪度、踏板技巧和乐感表达。。。。。。
。她会先专注于最基础的手型和音准，
，
，，，，，等这部分稳固了，
，
，，，，，再引入节奏训练，
，
，，，，，最后才把所有要素综合起来演奏完整曲目。。。。。。
。这种由聚焦到综合的时间节奏，
，
，，，，，正是时间调理的实质。。。。。。
。 研究团队在实践中发明，
，
，，，，，想要实现有用的时间调理，
，
，，，，，首先需要一种简朴可靠的方法来区分差别字符所承载的"行为特征"。。。。。。
。他们提出了一个叫做"轨迹百分位"的看法，
，
，，，，，这个看法自己并不重大：一段回覆重新到尾，
，
，，，，，按位置分成早期、中期、晚期三段，
，
，，，，，处于差别位置的字符，
，
，，，，，往往肩负着截然差别的功效。。。。。。
。 为了验证这一点，
，
，，，，，研究团队使用Qwen3-4B模子在一个包括78,000道题的数学数据集上天生了大宗回覆，
，
，，，，，总计爆发了5.84亿个字符的数据。。。。。。
。他们统计了差别字符在轨迹的哪些位置最常泛起，
，
，，，，，效果很是清晰：处于回覆早期的字符，
，
，，，，，好比"Okay"、"hmm"、"first"等探索性词语，
，
，，，，，险些只泛起在轨？？？罚；
；；；；；处于回覆中期的字符，
，
，，，，，往往是"but"、"therefore"、"alternatively"等逻辑转折词，
，
，，，，，反应了推理历程中的批判性头脑；；
；；；；；处于回覆晚期的字符，
，
，，，，，则集中在"answer"、"since"、"must"等收敛性词语，
，
，，，，，标记着谜底的最终形成。。。。。。
。 除此之外，
，
，，，，，研究团队还发明，
，
，，，，，轨迹的差别位置对应着截然差别的"熵值"动态。。。。。。
。早期字符的熵值最低，
，
，，，，，由于回覆刚最先时模子的表达方法较为牢靠；；
；；；；；中期字符的熵值最高，
，
，，，，，反应了推理历程中最强的探索性；；
；；；；；晚期字符的熵值居中。。。。。。
。更主要的是，
，
，，，，，这种熵值差别在整个训练历程中一连保存，
，
，，，，，说明轨迹位置确实是一个稳固而有意义的行为锚点，
，
，，，，，可以用来组织优化历程。。。。。。
。 基本思绪是引入一个随训练历程枯燥递减的"调理函数"。。。。。。
。训练刚最先时，
，
，，，，，调理函数的值靠近1，
，
，，，，，意味着只优化知足严酷标准的那部分字符；；
；；；；；随着训练推进，
，
，，，，，调理函数的值逐渐降低，
，
，，，，，对应的优化门槛也随之放宽，
，
，，，，，越来越多的字符被纳入优化规模，
，
，，，，，直到训练后期基本笼罩所有字符。。。。。。
。 详细到轨迹百分位调理（论文中称为TP-Schedule），
，
，，，，，操作方法是这样的：训练初期，
，
，，，，，只优化处于回覆后半段（好比最后10%）的字符；；
；；；；；随着训练举行，
，
，，，，，逐步将优化规模向前延伸，
，
，，，，，纳入60%、30%、最终20%位置之后的所有字符。。。。。。
。这样做的逻辑是，
，
，，，，，回覆的后半段对应着谜底的直接天生，
，
，，，，，相对稳固且可验证；；
；；；；；先把这部分稳固下来，
，
，，，，，再转头去训练更重大的推理脚手架，
，
，，，，，可以阻止早期把不可熟的推理习惯固化下来。。。。。。
。 调理函数的详细形状有三种选择：线性（匀速铺开）、Sigmoid形（先慢后快再慢）和Gamma形（先快后慢）。。。。。。
。实验效果显示，
，
，，，，，三种函数都比没有调理的基线好，
，
，，，，，并且相互之间差别不大，
，
，，，，，说明时间调理的收益主要来自"动态演变"这个原则自己，
，
，，，，，而非详细的衰减形状。。。。。。
。研究团队推荐使用线性调理作为默认设置，
，
，，，，，既简朴又效果好。。。。。。
。 研究团队在Qwen3-4B和Qwen3-8B两个差别规模的模子上举行了系统测试，
，
，，，，，训练数据来自OpenMathReasoning和DeepMath-103K两个数据集，
，
，，，，，共30,000道经由难度筛选和去重处置惩罚的数学题。。。。。。
。评测笼罩了多个数学竞赛基准（AIME24/25、HMMT25、Minerva等），
，
，，，，，以及通用推理基准（GPQA-Diamond科学题、Winogrande知识推理、MuSR多步推理）。。。。。。
。 在Qwen3-4B模子上，
，
，，，，，纯粹的TP-Schedule（不引入任何特另外信用分派技巧，
，
，，，，，只是在GRPO基础上加入轨迹百分位时间调理）比原始GRPO在数学基准上平均提升了2.2个百分点，
，
，，，，，在通用推理基准上提升了2.7个百分点。。。。。。
。其中GPQA-Diamond单项提升高达4.5个百分点，
，
，，，，，MuSR提升2个百分点，
，
，，，，，HMMT25提升3.1个百分点。。。。。。
。在Qwen3-8B上，
，
，，，，，整体提升约1个百分点，
，
，，，，，思量到更大模子的基础能力已经更强，
，
，，，，，这一提升同样值得肯定。。。。。。
。 时间调理与现有信用分派要领叠加使用时，
，
，，，，，同样体现出稳固的提升效果。。。。。。
。将时间调理加入到基于熵的优势重加权要领（Entropy Adv.）后，
，
，，，，，各项指标均有0.5到1个百分点的提升。。。。。。
。将时间调理加入到只优化"要害字符"的要领（Forking Tok.）后，
，
，，，，，提升幅度更大，
，
，，，，，在AIME24上提升了2.7个百分点。。。。。。
。别的，
，
，，，，，将时间调理应用到另一种强化学习算法GSPO上，
，
，，，，，也同样带来了稳固提升，
，
，，，，，说明这一要领具有较好的普适性。。。。。。
。 第一条线索关于"熵值"。。。。。。
。在训练历程中，
，
，，，，，模子对每个字符的选择不确定性（熵值）应该坚持在一个合理水平——太低说明模子陷入了过于牢靠的表达模式，
，
，，，，，损失了探索能力；；
；；；；；太高说明模子没有形成稳固的判断。。。。。。
。研究发明，
，
，，，，，标准GRPO在训练历程中熵值下降显着，
，
，，，，，说明模子在同时应对所有位置的字符时，
，
，，，，，不得不牺牲无邪性来换取一致性。。。。。。
。而基于轨迹百分位的时间调理，
，
，，，，，由于每个阶段只关注特定位置的字符，
，
，，，，，阻止了差别行为特征之间的相互滋扰，
，
，，，，，全序列熵值比标准GRPO横跨约5.27%。。。。。。
。特殊值得一提的是，
，
，，，，，比照基于熵的信用分派要领（Entropy Adv.），
，
，，，，，加入时间调理后熵值提升幅度高达33.9%——这是由于纯粹基于熵的要体会让模子太过集中优化高熵字符，
，
，，，，，反而加速了整体熵值的崩塌。。。。。。
。 第二条线索关于"KL散度"。。。。。。
。KL散度可以明确为目今模子和初始模子之间的"转变幅度"，
，
，，，，，反应了训练对模子行为的影响水平。。。。。。
。研究团队较量了训练举行到30%和80%时，
，
，，，，，两个时间点的模子与初始模子之间的KL散度，
，
，，，，，并凭证轨迹位置举行了剖析。。。。。。
。效果显示，
，
，，，，，在时间调理下，
，
，，，，，训练初期的KL散度主要集中在轨迹后半段，
，
，，，，，说明模子首先在谜底收敛部分爆发了较大转变；；
；；；；；随着训练推进，
，
，，，，，KL散度逐渐向前延伸，
，
，，，，，早期字符的转变幅度逐步增大。。。。。。
。这种"从后往前"的有序演变，
，
，，，，，与时间调理的设计意图完全吻合，
，
，，，，，说明模子确着实凭证预期的节奏分阶段习得差别的推理行为，
，
，，，，，而非像标准GRPO那样对所有位置匀称地做出更新。。。。。。
。 调理函数的形状主要吗？？？实验效果显示，
，
，，，，，线性、Sigmoid和Gamma三种形式的性能差别很小，
，
，，，，，三者在AIME25上的得分划分是67.1、66.7和66.4，
，
，，，，，而没有调理的基线是65.3。。。。。。
。这说明时间调理的焦点价值在于"动态演变"自己，
，
，，，，，而非详细的曲线形状。。。。。。
。 时间调理应该一连多久？？？实验测试了差别的"高点阻止位置"（即调理生效的训练比例上限），
，
，，，，，效果显示在0.8时效果最好，
，
，，，，，高于0.8后性能反而略有下降。。。。。。
。这意味着调理应该笼罩训练历程的前80%，
，
，，，，，让最后约20%的训练办法回归全量优化，
，
，，，，，形成一个自然的收尾。。。。。。
。 用什么标准来界说优化顺序？？？研究团队比照了几种差别的署理指标：轨迹百分位（从后往前）、熵值（从高到低）、后缀（只看最后）、前缀（以前往后）以及随机选择。。。。。。
。效果显示，
，
，，，，，轨迹百分位和熵值都体现优异，
，
，，，，，而以前往后的前缀调理效果很差——这切合直觉，
，
，，，，，由于推理早期的字符语境不充分、行为最不稳固，
，
，，，，，用它们来启动训练会引入过多噪声。。。。。。
。随机选择的效果则是最差的，
，
，，，，，甚至会导致梯度泛起不稳固的尖峰，
，
，，，，，说明无序的字符组织方法会严重破损优化质量。。。。。。
。 论文中给出了一个详细的案例比照，
，
，，，，，直观地说明晰时间调理在质量上的提升。。。。。。
。问题是这样的：将抛物线 y = x? - 4 绕原点逆时针旋转60°，
，
，，，，，求旋转后的抛物线与原抛物线在第四象限的交点的纵坐标。。。。。。
。 标准GRPO训练的模子给出了准确的最终谜底62，
，
，，，，，但在推理历程中犯了一个严重的偏向性过失——把逆时针旋转的条件处置惩罚成了顺时针旋转，
，
，，，，，因此推导出的中心方程是过失的。。。。。。
。厥后又悄悄把旋转偏向"改"回去，
，
，，，，，才凑出了准确谜底。。。。。。
。这是一种典范的"效果蒙对了、历程是错的"情形，
，
，，，，，说明模子通过某种捷径规避了对推理历程的真正学习。。。。。。
。 而经由时间调理训练的模子，
，
，，，，，重新到尾都准确地使用了逆时针旋转矩阵，
，
，，，，，推导出准确的旋转坐标变换，
，
，，，，，代入原方程后获得准确的四次方程，
，
，，，，，最终通过合理的因式剖析和四边形条件筛选，
，
，，，，，稳步得出准确谜底。。。。。。
。整个推理链条清晰、逻辑自洽，
，
，，，，，没有任何前后矛盾的地方。。。。。。
。这个例子很好地说明晰时间调理不但是提升了最终谜底的准确率，
，
，，，，，更在推理历程的可靠性上爆发了实质性的改善。。。。。。
。 归根结底，
，
，，，，，这项研究展现了一个被恒久忽视但十分主要的训练维度：大模子的强化学习训练不但需要体贴"该优化哪些字符"，
，
，，，，，同样需要体贴"在训练的哪个阶段优化哪些字符"。。。。。。
。通过把信用分派的标准随时间动态演变，
，
，，，，，研究团队让模子能够像一个真正按阶段学习的学生一样，
，
，，，，，先把要害的谜底收敛行为稳固下来，
，
，，，，，再去雕琢重大的推理脚手架，
，
，，，，，最终形成更连贯、更可靠的推理能力。。。。。。
。 这项发明对通俗用户的意义，
，
，，，，，可能在于未来使用的AI助手在回回重大问题时，
，
，，，，，不但是"谜底更准了"，
，
，，，，，而是"推理历程更靠谱了"——你能看到它一步步想清晰，
，
，，，，，而不是凑出一个看似准确却逻辑杂乱的谜底。。。。。。
。关于那些需要验证AI推理历程的应用场景（好比数学向导、科学研究辅助、执法剖析），
，
，，，，，这种刷新会越发切实地体现出价值。。。。。。
。 A：大模子天生回覆时，
，
，，，，，一段回覆包括数千个字符，
，
，，，，，但训练时只有一个"对或错"的全局奖励信号。。。。。。
。信用分派就是要搞清晰这个奖励应该怎么分给每个字符，
，
，，，，，阻止所有字符不管孝顺巨细都被一视同仁地看待，
，
，，，，，从而让训练更有针对性。。。。。。
。 A：TP-Schedule凭证字符在回覆中的位置来决议优化顺序。。。。。。
。训练初期只优化回覆后半段（谜底收敛部分）的字符；；
；；；；；随着训练推进，
，
，，，，，优化规模逐步向前延伸，
，
，，，，，纳入中期和早期字符，
，
，，，，，直到笼罩整段回覆。。。。。。
。这样做的利益是先稳固最要害的谜底天生行为，
，
，，，，，再去训练更重大的推理历程。。。。。。
。 A：标准GRPO同时优化所有位置的字符，
，
，，，，，差别行为特征（推理脚手架、逻辑跳转、谜底收敛）之间相互滋扰，
，
，，，，，模子不得不牺牲无邪性来维持整体一致性，
，
，，，，，导致熵值快速下降。。。。。。
。时间调理每次只关注特定位置的字符，
，
，，，，，镌汰了差别行为之间的冲突，
，
，，，，，让模子在优化历程中保存了更多的探索空间。。。。。。
。