AI models flub these intelligence tests. Can you fare any better?
Puzzles and games have been central to AI development since the very beginning. Just as we humans like to test our smarts with crosswords or logic puzzles, developers can test how far models have advanced with a gaming gauntlet. The term “machine learning” was popularized in a 1959 article by the IBM computer scientist Arthur…
- 先核对来源和时间
- 把试用限制在可回滚范围
- 对缺少独立证据的结论保持观望
事件时间线
- 1事件时间线
- 2关键机制
- 3真实使用场景
- 4限制与复核
发生了什么
自IBM计算机科学家Arthur Samuel在1959年推广"机器学习"一词以来，跳棋、国际象棋和围棋相继成为检验算法能力的重要舞台，研究者不断用新的智力类基准探测前沿模型的真实水平。哥伦比亚大学一个团队在2024年末发布的报告显示，即便是当时最强的模型，也只能解开《纽约时报》Connections谜题的18%；仅过数月，到2025年初已有部分模型几乎每次都能近乎完美地完成这类任务。这一快速进展与另一类测试形成鲜明反差：当今语言模型虽普遍具备分析视觉输入的能力，却在一类需要旋转判断的心理空间推理题上表现极差。2024年，Google与伊利诺伊大学厄巴纳-香槟分校的研究者训练并测试了模型对经典Knights and Knaves逻辑题轻微变体的解答，发现模型会因训练记忆而忽略题目间微妙但关键的区别。Apple的研究者发现，大语言模型虽能完成小规模河内塔问题与过河问题，但当圆盘或人数达到6个及以上时，表现便开始下滑；该结果公开发表后引发讨论，评论者质疑这究竟揭示了大模型推理的特有局限，还是仅仅反映任务复杂度上升时各类系统普遍增多的失误。SimpleBench题目在设计上刻意贴近模型训练语料中可能见过的题型，人类答题者能够识破其中的陷阱，而顶级模型仍频频失误。华盛顿大学、斯坦福大学与Allen Institute for AI的研究者还观察到，大语言模型在逻辑网格谜题上同样举步维艰。ARC-AGI被广泛视为最著名的谜题类基准之一，研究者注意到，当模型以数字串而非图像形式接收输入时，其得分会明显提升。2023年，Hagendorff、Fabi与Kosinski在Nature子刊发表论文，报告大型语言模型出现了类人直觉行为与推理偏差，但在后续对ChatGPT的测试中，这类现象却消失了。
时间线与证据
围绕这些谜题类测试，相关研究在几年间密集发表。Arthur Samuel于1959年推广"机器学习"概念的文章，被视为AI测试平台传统的起点；自那以后，跳棋、国际象棋和围棋相继成为衡量算法的舞台，而近年的测试则覆盖了逻辑、语言和空间推理等多个维度。哥伦比亚大学团队在2024年末公布的数据显示，最强的模型当时仅能解开《纽约时报》Connections谜题的18%；到2025年初，部分模型已经几乎每次都能近乎完美地完成同一类任务，前后不过数月。Google与伊利诺伊大学厄巴纳-香槟分校的研究者在2024年发表的论文中，用经典Knights and Knaves逻辑题的轻微变体测试模型，记录下模型依赖训练记忆而忽略细微差别的现象。同年，SimpleBench团队推出了标题涉及"通用人类表现超越当前前沿模型的文本基准"的论文，论文与题目均采用CC BY 4.0许可。2025年，Stogiannidis、McDonagh与Tsaftaris发表空间推理基准论文，其中Mental Rotation题目同样以CC BY 4.0授权发布，插图由John MacNeill绘制；同一年，Lin、Le Bras、Richardson等研究者公开发布ZebraLogic数据集，采用Apache License 2.0许可。2023年，Hagendorff、Fabi与Kosinski在Nature子刊描述了大型语言模型中的类人直觉与推理偏差，并指出这些现象在后续对ChatGPT的测试中消失。
具体变化
从2024年末到2025年初，模型在Connections谜题上的表现发生了最显著的跃升。哥伦比亚大学团队当时测得最强的模型也只能解开全部谜题的18%，而仅仅数月之后，材料中已同一类任务几乎每次都能近乎完美地完成，前后对比鲜明。进入2025年，Stogiannidis、McDonagh与Tsaftaris发表的空间推理基准论文中，Mental Rotation题目要求对旋转后的图形进行匹配，模型在此类需要心理旋转判断的项目上仍持续失分；同年公开的ARC Prize Foundation题目，被文章视为最著名的谜题类基准之一，研究者特别注意到，当模型不再以图像形式而是以一串数字接收输入时，其得分会明显提高，输入模态的细微改变即可带来不同结果。逻辑推理一侧，Apple研究者发现大语言模型在圆盘或人数达到6个及以上的河内塔与过河问题中表现下滑；华盛顿大学、斯坦福大学与Allen Institute for AI的研究者则在逻辑网格题上记录到类似困难，并公开发布了ZebraLogic数据集。Knights and Knaves一类逻辑推理则呈现另一种变化：Google与伊利诺伊大学厄巴纳-香槟分校的研究者在2024年用经典题的轻微变体进行测试，模型倾向于复用训练记忆，忽略题目之间的关键差异。此外，Hagendorff、Fabi与Kosinski在2023年观察到的大型语言模型类人直觉与推理偏差，在后续针对ChatGPT的测试中已经消失，这种现象的消退本身也是模型行为在短时间内发生的变化之一。
对使用者的影响
对普通答题者而言，这些测试结果意味着大语言模型并不是可靠的智力代理。一个人在Connections这类文字谜题前可以借助模型提示快速拿到答案，但若把同样的问题抛给模型，它在2024年末还只能解开18%，到2025年初却能接近满分，前后表现判若两"人"，使用者很难判断眼前回答究竟代表模型的真实能力还是偶然的过拟合。Google与伊利诺伊大学厄巴纳-香槟分校研究者的Knights and Knaves变体实验也提示用户，模型看似在推理，实际上可能在复述训练时见过的相似题目，一旦题面被稍作改动，答案就可能跟着偏移。SimpleBench题目被特意设计得形似训练语料里可能出现过的问题，人类能识破其中陷阱，顶级模型却频频失误，使用者若不加辨别地采信其输出，就容易被引入歧途。在空间推理一侧，Mental Rotation这类需要心理旋转的题目对人类并不算难，但模型几乎无法胜任；Apple研究者还发现，河内塔与过河问题在规模稍增时模型就会失手，逻辑网格题同样是其短板，说明让模型充当解题帮手时，使用者需要自行核对每一步推理。ARC-AGI基准的额外发现也值得留意：模型在以数字串而非图像形式接收输入时反而表现更好，这提示使用者，输入模态的细微切换可能彻底改变模型的表现水准。Hagendorff、Fabi与Kosinski记录的类人直觉偏差在ChatGPT上消失，则说明不同版本、不同产品间的行为差异同样不可忽视，把一次测试的结果推广到所有大语言模型并不稳妥。
限制与未知
材料对多个关键细节语焉不详。Mental Rotation、Knights and Knaves、SimpleBench、ARC-AGI、过河题、逻辑网格题的具体标准答案均未公开，读者无法独立核对模型作答是否真正合理；同样，2024年末Connections谜题18%的成绩及2025年初近乎完美的表现虽被点出，但涉及的具体模型名称、版本号和完整统计数据在原文中付之阙如，前后对比只能停留在总体印象层面。发表信息也存在缺口：Apple关于河内塔与过河问题的研究，其刊登刊物与完整作者名单在材料中未曾提及；华盛顿大学、斯坦福大学与Allen Institute for AI关于逻辑网格题的具体发表时间和载体同样未给出；哥伦比亚大学团队的论文发表渠道与作者列表同样未被披露。Arthur Samuel在1959年推广"机器学习"一词的原始文章，其期刊名称与完整标题在材料中亦无记录。原文还提到"约公元800年"的表述，却未提供更精确的考证细节。SimpleBench具体题目的标准答案解析缺失，文中虽提及的各板块题目配有图片链接，但材料未说明这些图示是否随原文一同附上；Knights and Knaves题目的原始版本来源链接同样未被收录。换言之，读者虽然能够了解研究大方向与若干标志性数字，却在模型身份、版本、研究出处、题目原文及答案等层面遭遇大量留白，难以据此重建可重复的实验流程。
如何核对
读者若想亲自上手复核这些结论，可以顺着材料给出的几条线索走。Connections谜题可直接在《纽约时报》版面找到当期题目，记录自己的解题耗时与命中率，再与哥伦比亚大学团队18%的旧数据及2025年初近乎完美的新表现对照，便能直观感受模型在数月间的跃升。Mental Rotation题目由Stogiannidis、McDonagh与Tsaftaris在2025年发表，插图作者John MacNeill，许可协议CC BY 4.0，可在原论文或附带的图示里查看具体图形与旋转角度，自行判断模型输出是否合理。SimpleBench团队的题目同样以CC BY 4.0公开，论文标题涉及"通用人类表现超越当前前沿模型的文本基准"，可在其仓库中检索题面与参考答案，亲自比对模型作答是否符合文中所说的陷阱设计。逻辑网格题方面，Lin、Le Bras、Richardson等人在2025年发布的ZebraLogic数据集采用Apache License 2.0，其中包含完整的题目与解答，读者可以挑选题目手动求解，再观察模型是否在约束数量增加时同步失分。Knights and Knaves变体虽未给出原始版本链接，但Google与伊利诺伊大学厄巴纳-香槟分校2024年的论文可作为入口，从中查找改编后的题面与公布的数据。河内塔与过河题则可按Apple研究者采用的圆盘数与人数门槛自行复现，记录模型在达到6个及以上规模时的失败模式。Hagendorff、Fabi与Kosinski2023年的Nature子刊文章则提供了类人直觉偏差的测试脚本，读者可在不同版本ChatGPT之间重复同一流程，观察原本报告的现象是否仍然消失。
读者能做什么
读者能做什么对普通答题者而言，最直接的做法是先把几道题目当成答案，自己先做一遍，再去比对模型的作答。Connections谜题每天都会更新一期，读者可以记录自己动笔到得出答案的时间、是否动用了提示，以及最终是否全部归位；随后把同一道题交给身边的语言模型，观察它是否在数秒内给出完整答案。读者若发现自己能稳定解出而模型在某些日期失手，便能亲身体会到18%与近乎完美这两种描述背后实际意味着什么。Mental Rotation题目在Stogiannidis、McDonagh与Tsaftaris2025年的论文里以CC BY 4.0许可发布，插图由John MacNeill绘制，读者可下载原始图样，按要求旋转后在备选项中匹配，体验判断旋转角度的过程，并与模型的输出对照。SimpleBench团队的题面和参考答案同样以CC BY 4.0公开，论文标题涉及"通用人类表现超越当前前沿模型的文本基准"，读者可挑选若干道题先自行作答，再观察模型是否落入文章所说的陷阱。ZebraLogic数据集采用Apache License 2.0，包含完整的逻辑网格题与解答，读者可逐题手动求解，感受约束条件逐步增加时自己的推理负担，并比对模型在何时开始出错。Knights and Knaves变体虽未附原始版本链接，但Google与伊利诺伊大学厄巴纳-香槟分校2024年的论文提供了入口，读者可从中找出改编后的题面，检验角色设定被微调后模型是否仍然照搬旧答案。河内塔与过河题则可按Apple研究者采用的6个圆盘或6人门槛自行复现，逐级提升规模，记录模型在哪一步开始失去节奏。Hagendorff、Fabi与Kosinski2023年的Nature子刊文章附有类人直觉偏差的测试脚本，读者可在不同时间的ChatGPT会话里重复同一流程，观察原本描述的现象是否依旧消失。所有这些题目与数据集均对公众开放，读者只需一台能联网的设备和一份记录纸，便能在自家书桌上复核文章中的大部分核心结论。
后续观察
后续观察几条贯穿全篇的纵向线索值得留心。第一条与时间相关：2024年末，哥伦比亚大学团队的研究还显示，即便是当时最好的模型也只能解开《纽约时报》Connections谜题的18%，而到2025年初，部分模型已能几乎每次近乎完美地解答同一谜题，前后落差发生在大约半年之内，意味着任何对模型能力的评价都需要打上时间戳。第二条与改动幅度相关：Google与伊利诺伊大学厄巴纳-香槟分校2024年的研究把经典Knights and Knaves谜题做了轻微变体，结果显示模型倾向于复用训练记忆而忽略关键差异，提示读者，哪怕题目只换几个字，模型的表现也可能随之摆动。第三条与输入形式相关：ARC-AGI作为最著名的谜题类基准之一，当题目以数字串而非图像形式输入模型时，表现反而更好，说明同一道题切换呈现方式就足以扭转结果。第四条与版本相关：Hagendorff、Fabi与Kosinski2023年在Nature子刊记录的类人直觉与推理偏差，在后续针对ChatGPT的测试中已经消失，表明同一系列模型在不同产品线之间也会呈现明显的行为差异。把这几条放在一起看，便能体会到这类智力测试的得分并非模型的固有属性，而是测试时间、题面措辞、输入模态与产品版本共同塑造的快照。
参考来源
本文由 AI X Tool 基于公开资料研究后原创整理，发布日期与产品信息可能变化，请以来源网站最新内容为准。