这项由牛津大学、斯坦福大学与艾伦人工智能研究所联合开展的研究
，，，，于2026年5月以预印本形式宣布
，，，，编号为arXiv:2605.22681v1。。。。研究团队构建了一个名为CUSP（Cutoff-conditioned Unseen Scientific Progress
，，，，即"阻止日期条件下的未见科学希望"）的测评框架
，，，，系统考察了目今最先进的AI系统是否真的能够展望科学生长的走向。。。。 科学界一直保存一个颇为迷人的期待：若是AI掌握了人类积累的所有知识
，，，，它能否像一位洞察力轶群的学者那样
，，，，提前预见下一个重大发明？？？？？事实
，，，，历史上不乏纪律可循的科学希望
，，，，半导体领域有著名的摩尔定律——每隔约两年
，，，，芯片上的晶体管数目就会翻倍；；；；；深度学习领域有规模定律——模子越大、数据越多
，，，，性能越好。。。。这些纪律一经资助工程师和研究者制订蹊径图、分派资源。。。。现在
，，，，AI系统被寄予厚望
，，，，人们希望它们不但是知识的检索工具
，，，，而是能够真正加入科学预见的"智能同伴"。。。。 为了搞清晰AI事实能不可展望科学希望
，，，，研究团队全心设计了一套考试系统
，，，，而不是随便找几道题考考AI就算了。。。。他们网络的素材来自《自然》《科学》《细胞》三大顶级学术期刊
，，，，以及Hugging Face、社区驱动的AI论文榜单
，，，，尚有GPQA Diamond、MMLU-Pro和"人类最后的考试"（Humanity's Last Exam）等着名AI能力排行榜。。。。时间跨度从2024年1月到2026年3月
，，，，涵盖生物学、人工智能、医学、神经科学、质料科学、物理学、情形科学、化学等九大领域。。。。 焦点思绪是"时间封闭"：研究者给AI划定一条时间红线
，，，，只允许它使用红线之前的知识
，，，，然后要求它展望红线之后爆发的科学事务。。。。这就好比让一位1990年月的科学家
，，，，仅凭其时的知识
，，，，展望2000年月会泛起哪些重大发明。。。。研究团队从每篇论文中剔除了所有会泄露谜底的线索——包括新提出的要领名称、模子缩写、系统代号——确保AI无法靠"认出谜底"来蒙混过关。。。。 最终
，，，，17429个结构化展望使命从4760个科学里程碑中天生
，，，，漫衍在五种考题类型中。。。。第一种是"是否题"：某个详细的科学声明到某个日期之前能否实现？？？？？好比
，，，，"到2025年5月
，，，，某种要领能否在特定条件下将某类化学反应的产率提升30%？？？？？"第二种是变体版"是否题"
，，，，将原始声明中的数字或条件做了微调
，，，，酿成一个"听起来合理但现实上没有实现"的陈述
，，，，考察AI是否能识别这种细微差别。。。。第三种是四选一的机制推理题：在四个听起来都很合理的手艺蹊径中
，，，，选出真正被用来实现突破的那一个。。。。第四种是开放性设计题：凭证科学问题的配景
，，，，要求AI提出一套可行的解决计划。。。。第五种是时间展望题：某个科学里程碑约莫会在哪个月份实现？？？？？ 所有问题都经由了两轮严酷的质量把关。。。。首先由Grok-3这个自力的AI系统审核
，，，，确保每道题都忠实于原始论文、可客观验证、没有信息泄露；；；；；然后由多所高校的研究生级别的人类专家举行人工复核。。。。研究者还丈量了AI审核员和人类审核员的一致性
，，，，效果显示两者在"保存问题"这件事上的准确率很是高——这意味着这套质量把关是可靠的。。。。 研究团队测试了六款目今最先进的AI系统
，，，，包括OpenAI的GPT-5.4和GPT-4o、Anthropic的Claude Sonnet 4.5、Meta的LLaMA 3.3-70B、开放模式的GPT-OSS 20B
，，，，以及DeepSeek R1。。。。这些模子代表了2023年底到2025年中期各个知识阻止节点的AI系统。。。。 机制推理题的效果是六种题型中最悦目的。。。。GPT-5.4以81.9%的准确率领跑
，，，，而随机推测的概率只有25%（四选一）
，，，，以是所有模子都显著优于瞎猜。。。。这说明AI确实具备一定的科学知识积累
，，，，能够在给定问题配景的情形下
，，，，从竞争性候选计划中识别出合理的手艺路径。。。。就像一个熟悉烹饪的厨师
，，，，纵然不知道某道菜的详细食谱
，，，，也能在四种烹饪要领中猜出哪种更适合处置惩罚某种食材。。。。 然而
，，，，一旦进入真正需要"预见未来"的环节
，，，，AI的体现就大打折扣了。。。。在"是否题"上
，，，，所有模子的准确率都在45%到52%之间彷徨——而完全随机推测的准确率是50%。。。；；；；；痪浠八
，，，，AI在判断一项科学声明是否会在指定日期前实现时
，，，，险些和掷硬币没有区别。。。。更耐人寻味的是
，，，，差别模子泛起出截然相反的答题私见：LLaMA 3.3有强烈的"什么都说能实现"的倾向（在原题上答"是"的比例高达93%）
，，，，而GPT-4o和GPT-OSS则有强烈的"什么都说不可实现"的倾向（在原题上答"是"的比例只有19%左右）。。。。这种私见并不反应真实的科学判断
，，，，而是模子自身的系统性"性情"。。。。 时间展望题展现了另一种有趣的过失模式。。。。所有模子都系统性地把科学事务的爆发时间往后推——也就是说
，，，，它们以为科学希望会比现实爆发得更晚。。。。平均展望误差在四到三十六个月之间
，，，，GPT-4o的中位误差高达26个月
，，，，而LLaMA 3.3相对较好
，，，，中位误差只有4个月。。。。值得注重的是
，，，，LLaMA 3.3在时间展望上排名第一
，，，，但这部分缘故原由来自一个有趣的"意外"：它倾向于把大宗展望集中锁定在2025年中期周围
，，，，形成了一个麋集的"时间锚"
，，，，认真实事务恰恰落在谁人区间时
，，，，它的得分就会较量高。。。。从散点图上看
，，，，各模子的展望点泛起出横向的带状漫衍
，，，，而非沿对角线漫衍——理想的展望应该是散点细密漫衍在对角线周围
，，，，说明展望日期和真实日期靠近。。。。 开放性设计题的体现则展示了AI能力的一个奇异裂痕。。。。GPT-5.4的综合得分最高（5.04分
，，，，满分10分）
，，，，通过率（得分≥5）抵达60.3%
，，，，其他所有模子的通过率都在20%以下。。。。更有意思的细节在于：险些所有模子的"手艺详细性"得分都远高于"偏向吻合度"得分
，，，，两者之间的差别高达1到3分。。。。这意味着AI能够写出听起来很是专业、细节富厚的手艺计划
，，，，但这些计划往往并不是真正解决了问题的那条路。。。。就像一个厨师写了一份详尽的菜谱
，，，，食材选择合理
，，，，办法清晰
，，，，但做出来的菜和真正的目的料理相差甚远。。。。这是一种"准确地跑偏"的能力。。。。 直觉上
，，，，我们会以为AI应该对它"见过"的事务体现更好
，，，，对它"没见过"的事务体现更差。。。。事实
，，，，一小我私家若是一经读过某篇论文
，，，，理应对其内容更相识。。。。 研究团队专门对此举行了验证。。。。他们把所有测试事务分为两类：爆发在各模子知识阻止日期之前的"已知事务"
，，，，和爆发在阻止日期之后的"未知事务"。。。。效果颇为出人意料——两类事务的得分差别很是小
，，，，在大大都题型上险些没有显著区别。。。。GPT-5.4在机制推理题上
，，，，已知事务得分0.830
，，，，未知事务得分0.792；；；；；在开放性设计题上
，，，，两者都是5.04分。。。。Claude S4.5、DeepSeek R1等模子的情形类似。。。。 这个发明突破了"AI体现差是由于不知道谜底"的简朴诠释。。。。若是问题只是知识盲区
，，，，那么关于已知事务应该体现显著更好；；；；；但事实上并非云云。。。。这至少意味着两种可能：一是AI在训练时虽然"见过"这些事务
，，，，但并没有真正将相关信息整合为可以用于展望的知识；；；；；二是即便拥有完整的知识
，，，，AI也缺乏将知识转化为可靠展望的能力。。。；；；；；痪浠八
，，，，知道爆发了什么
，，，，并不即是能够展望它会爆发。。。。 研究团队设计了一个受控实验
，，，，对500个测试事务举行了三种条件下的比照。。。。第一种是让AI单独作答
，，，，不提供任何特殊信息；；；；；第二种是给AI配备网络搜索工具
，，，，但限制只能搜索阻止日期之前的内容（即历史知识增强）；；；；；第三种是允许AI举行无限制搜索
，，，，可以获取包括目的事务在内的所有信息（即"开卷考试"）。。。。 历史知识增强确实带来了显着的改善。。。。在GPT-4o上
，，，，是否题的准确率从19.2%提升到47.6%
，，，，机制推理题从54.2%提升到58.9%
，，，，开放性设计题的平均分从3.28提升到3.72。。。。这说明AI在基础模式下并没有充分挪用自己应当拥有的历史知识
，，，，有相当一部分知识在回覆这类问题时是"睡着的"。。。。 但要害的发明在于：纵然提供了阻止日期前的所有历史知识
，，，，AI在展望未来事务上仍然和"全知模式"（允许搜索目的事务自己）之间保存重大差别。。。。研究者将这个差别剖析为两部分：一是"知识鸿沟"
，，，，代表历史知识增强带来的性能提升；；；；；二是"展望鸿沟"
，，，，代表在历史知识已经充分的情形下
，，，，AI仍然无法追平全知模式的剩余差别。。。。在时间展望使命上
，，，，GPT-5.4的展望鸿沟（0.436）远大于知识鸿沟（0.070）。。。。这说明
，，，，展望能力的缺失不可用信息缺乏来完全诠释
，，，，AI自己在"向前看"这件事上保存根天性的局限。。。。 更有意思的是
，，，，这个展望鸿沟与科学发明的影响力亲近相关。。。。研究者凭证论文被引用次数将测试事务分为四个层次
，，，，发明越是高影响力的突破性发明
，，，，AI的展望鸿沟越大。。。。在GPT-5.4上
，，，，低引用量论文的展望鸿沟约为0.060
，，，，而高引用量论文的展望鸿沟飙升至0.875。。。。也就是说
，，，，AI对那些真正改变领域走向的重大发明
，，，，展望能力最弱。。。。这有点像说
，，，，AI能猜到下个月的小新闻
，，，，但关于改变历史历程的大事务
，，，，它险些猜禁绝。。。。 在机制推理题上
，，，，情形科学（66.2%）、神经科学（65.8%）和物理学（62.1%）的准确率相对较高
，，，，而化学（49.8%）、质料科学（54.2%）和AI（54.3%）相对较低。。。。这可能反应了差别领域的手艺蹊径集中水平——物理学的实验手段相对牢靠
，，，，更容易从候选计划中识别准确路径；；；；；而化学合成蹊径千变万化
，，，，AI更难做出准确判断。。。。 时间展望的领域差别最为突出。。。。AI领域的时间展望得分（0.461）显著高于其他所有领域（通常在0.18到0.28之间）。。。。这并不难明确：AI领域的希望高度依赖于可量化的指标
，，，，好比种种基准测试的效果
，，，，并且这些数据在互联网上果真更新、纪录完整
，，，，模式更为纪律。。。。相比之下
，，，，生物学、化学和物理学的突破往往来自意想不到的实验发明
，，，，很难从历史趋势中推断时间节点。。。。 在开放性设计题上
，，，，神经科学（4.11分）、生物学（4.05分）和AI（4.04分）体现最好
，，，，而化学（3.54分）、物理学（3.74分）和质料科学（3.80分）相对较弱。。。；；；；；Ш臀锢硌У牡头址从α苏饬礁隽煊蚋叨茸ㄒ祷奶氐
，，，，与AI训练数据中笼罩更广的通俗知识之间保存较大差别。。。。 有一个发明在所有领域都坚持一致：是否题的准确率在任何领域都没有突破随机水平（46%到52%之间）
，，，，甚至在AI领域也不破例。。。。这意味着
，，，，无论在哪个科学领域
，，，，AI都无法可靠地判断一项详细的科学声明是否会在划准时间内实现。。。。 自信和准确是两回事。。。。医生可以自信地给出诊断
，，，，但自信不即是准确。。。。研究者专门丈量了AI的"自信度"（stated confidence）和现实准确率之间的差别。。。。 效果显示
，，，，险些所有模子在所有题型上都系统性地过于自信。。。。在是否题上
，，，，模子平均自信度比现实准确率横跨约0.2分；；；；；在机制推理题上
，，，，横跨幅度更大
，，，，DeepSeek R1甚至横跨0.3分以上；；；；；在时间展望题上
，，，，GPT-4o的太过自信幅度高达0.6分。。。。这种校准误差在统计学中用"期望校准误差"（ECE）来权衡
，，，，值越低越好
，，，，而大大都模子的ECE都在0.2以上
，，，，属于严重失准的领域。。。。 更玄妙的发明在于
，，，，这种太过自信的水平在知识阻止日期前后泛起出差别的转变模式。。。。在机制推理题上
，，，，险些所有模子在面临阻止日期之后的"未知"事务时
，，，，太过自信水昭雪而增添了——只管准确率没有响应提升。。。。这就好比一个学生考到自己没温习过的章节时
，，，，反而变得更自信了
，，，，这显然是一种危险的信号。。。。相比之下
，，，，在时间展望题上
，，，，太过自信水平在阻止日期之后显着下降
，，，，一些模子的太过自信值甚至转变为负数（即对自己的时间判断过于谦逊）。。。。是否题的太过自信则没有一致的转变偏向
，，，，在差别模子之间体现各异。。。。 这些发明配合批注：AI并没有一套稳固、统一的不确定性感知机制。。。。它的自信水平是"碎片化的"
，，，，在差别题型、差别时间规模之间泛起出差别的失准模式
，，，，并且这种失准并不是简朴地随着"难度增添而变得更谦逊"
，，，，而是以重大、不可展望的方法转变。。。。 研究团队还做了一件颇有意见意义的事：他们构建了一组"时间胶囊"问题
，，，，即真实效果尚未揭晓、需要期待未来验证的展望问题。。。。这些问题涵盖科学里程碑（如超导临界温度纪录）、机构声誉（如2026年诺贝尔物理学奖的颁奖偏向）、量化指标（如2027年全球二氧化碳排放量）以及AI能力展望（如未来某个时间节点上Humanity's Last Exam的得分）。。。。 在全球碳排放展望上
，，，，六款模子都以为2027年的排放量会高于2025年
，，，，但详细数值不同显着。。。。Claude S4.5、DeepSeek R1和GPT-4o的展望相对守旧
，，，，靠近历史趋势的延续；；；；；GPT-5.4的展望略高；；；；；LLaMA 3.3和GPT-OSS的展望最为激进
，，，，LLaMA 3.3给出了所有模子中最高的展望值。。。。这说明差别AI系统内嵌了差别的"天下模子"——关于减碳速率、手艺前进对能源结构影响的隐含判断各有差别。。。。 在AI能力展望上
，，，，六款模子对GPQA Diamond和MMMLU这两个已经靠近饱和的榜单都展望会进一步提升
，，，，但幅度普遍不大（1%到3%）
，，，，体现它们预期这些榜单很快就会被"考满"。。。。关于Humanity's Last Exam这个更开放、更难的测试
，，，，展望不同更大
，，，，GPT-5.4最为乐观
，，，，展望到2027年10月无工具版本的得分会从目今56.8%跃升至74%
，，，，有工具版本从64.7%升至82%；；；；；DeepSeek R1则更为守旧
，，，，展望幅度较小。。。。六款模子都预期AI能力会在2026到2027年间一连提升
，，，，这种一致性自己也很有意思——它反应了AI系统对自身领域未来走向的某种"共识"
，，，，只管这种共识很可能来自对已往纪律的外推
，，，，而非真正的洞察。。。。 在问题天生阶段
，，，，研究团队使用GPT-4o将每篇论文摘要剖析为三个结构化组件：问题陈述、手艺路径和效果指标。。。。在这个历程中
，，，，所有可能泄露谜底的信息都被剔除——包括论文新提出的名词缩写、要领命名和系统名称。。。。这确保了AI在答题时无法通过"认出"谜底来得分。。。。 问题质量由Grok-3举行自力审核（之以是用Grok-3而不是GPT-4o
，，，，是为了阻止"自己出题自己打分"的误差）。。。。审核标准分为四类：忠实性（问题是否准确反应论文内容）、可验证性（结论是否可以客观判断是非）、扰动有用性（关于变体是否题
，，，，改动是否真正使陈述不再建设）以及滋扰项质量（关于四选一问题
，，，，过失选项是否足够疑惑人而又不准确）。。。。 研究者还招募了十位来自牛津大学、耶鲁大学、密歇根大学、芝加哥大学和香港中文大学深圳校区的研究生级别专家
，，，，在同样的标准下对问题举行人工审核
，，，，并与Grok-3的判断举行比对。。。。效果显示AI审核员在保存高质量问题方面比人类更为严酷
，，，，误伤有用问题的情形较少
，，，，而人类审核员在某些情形下对模糊界线的容忍度更高。。。。总体而言
，，，，两者的一致性足够高
，，，，确认了自动化审核流程的可靠性。。。。 开放性设计题的评分则接纳了另一套机制：先由带有网络搜索能力的GPT-5.4 mini检查AI的回覆是否包括阻止日期之后才泛起的信息（若是包括则视为泄题
，，，，该谜底不计分）
，，，，然后再从偏向吻合度、手艺详细性、新颖性、可行性四个维度划分打0到10分
，，，，取平均值作为最终得分。。。。研究者还对这套评分系统举行了人机一致性验证
，，，，在60个例子上与三位CS博士评委的打分举行比照
，，，，皮尔逊相关系数为0.34（具有统计显著性）
，，，，平均绝对误差为0.75分
，，，，AI评委略微偏宽松（平均高估0.26分）
，，，，但总体上与人类判断有足够的相关性。。。。 说究竟
，，，，这项研究的结论可以用一个简朴的比喻来归纳综合：AI像一个知识渊博、博览群书的图书治理员
，，，，能够在你提问时迅速找到相关资料
，，，，甚至能在四个候选手艺路径中识别出哪个最合理。。。。但当你问它"这本书或许什么时间会出书"
，，，，或者"这项研究最终会不会乐成"
，，，，它的回覆和随机推测险些没有区别——并且它还会用很是自信的语气告诉你它的"推测"。。。。 这并不是AI的失败
，，，，而是对AI目今能力界线的准确描绘。。。。展望科学希望不但需要知识
，，，，还需要明确发明是怎样在不确定性中降生的
，，，，需要感知哪些研究偏向正在蓄积能量
，，，，哪些看似可行实则走入了死胡同。。。。这种能力
，，，，现在的大语言模子还远远没有掌握。。。。 有一个细节特殊值得记。。。。篈I对高影响力的突破性发明展望最差
，，，，而对通俗水准的研究展望相对较好。。。。这意味着
，，，，AI系统的知识图谱虽然渊博
，，，，但关于那些真正改变领域走向的"奇点时刻"
，，，，它的展望能力最弱——而这恰恰是科学展望最有价值的部分。。。。有兴趣深入相识这项研究的读者
，，，，可以通过arXiv编号2605.22681查阅完整论文。。。。 A：CUSP包括五种问题类型：判断某项科学声明能否在指定日期前实现的是否题、将原始声明微调后形成的变体是否题（准确谜底为"否"）、从四个手艺路径中选出真正实现突破的机制推理选择题、要求AI提出解决计划的开放性设计题
，，，，以及展望某个科学里程碑爆发月份的时间展望题。。。。 A：AI在科学展望中保存两大焦点问题。。。。第一是"是否判断"险些等同于随机推测
，，，，准确率在45%到52%之间
，，，，与掷硬币无异。。。。第二是系统性太过自信
，，，，AI的自信水平远高于现实准确率
，，，，在时间展望上尤为严重
，，，，并且这种失准在阻止日期前后泛起出重大、纷歧致的转变模式
，，，，说明AI没有稳固可靠的不确定性感知机制。。。。 A：研究发明
，，，，纵然为AI提供充分的历史知识
，，，，它在展望未来科学事务上仍与"全知模式"保存重大的"展望鸿沟"。。。。这说明展望能力的缺失不可用信息缺乏来诠释——AI缺氨赡是将已有知识转化为可靠前瞻判断的能力。。。。特殊是关于高影响力的突破性发明
，，，，这个鸿沟最大
，，，，GPT-5.4在高引用论文上的展望鸿沟高达0.875。。。。