AI models flub these intelligence tests. Can you fare any better?
Puzzles and games have been central to AI development since the very beginning. Just as we humans like to test our smarts with crosswords or logic puzzles, developers can test how far models have advanced with a gaming gauntlet. The term “machine learning” was popularized in a 1959 article by the IBM computer scientist Arthur…
- 先核對來源和時間
- 把試用限制在可回滚範圍
- 對缺少獨立證據的結論保持觀望
事件時間線
- 1事件時間線
- 2關鍵機制
- 3真實使用場景
- 4限制與複核
發生了什麼
自IBM計算機科學家Arthur Samuel在1959年推廣"機器學習"一詞以來，跳棋、國際象棋和圍棋相繼成為檢驗算法能力的重要舞台，研究者不斷用新的智力類基準探測前沿模型的真實水平。哥伦比亚大學一個團隊在2024年末發布的報告顯示，即便是當時最強的模型，也只能解開《纽約時報》Connections谜題的18%；僅過數月，到2025年初已有部分模型几乎每次都能近乎完美地完成這類任務。這一快速進展與另一類測試形成鲜明反差：當今語言模型虽普遍具備分析視覺輸入的能力，却在一類需要旋轉判斷的心理空間推理題上表現极差。2024年，Google與伊利諾伊大學厄巴納-香槟分校的研究者訓練並測試了模型對經典Knights and Knaves逻辑題轻微變體的解答，發現模型會因訓練記憶而忽略題目間微妙但關鍵的區別。Apple的研究者發現，大語言模型虽能完成小規模河內塔問題與過河問題，但當圆盘或人數達到6個及以上時，表現便開始下滑；該結果公開發表後引發討論，評論者質疑這究竟揭示了大模型推理的特有局限，還是僅僅反映任務複雜度上升時各類系統普遍增多的失误。SimpleBench題目在設計上刻意貼近模型訓練語料中可能見過的題型，人類答題者能夠識破其中的陷阱，而顶級模型仍頻頻失误。華盛顿大學、斯坦福大學與Allen Institute for AI的研究者還觀察到，大語言模型在逻辑網格谜題上同樣举步維艰。ARC-AGI被廣泛視為最著名的谜題類基準之一，研究者注意到，當模型以數位串而非圖像形式接收輸入時，其得分會明顯提升。2023年，Hagendorff、Fabi與Kosinski在Nature子刊發表論文，報告大型語言模型出現了類人直覺行為與推理偏差，但在後續對ChatGPT的測試中，這類現象却消失了。
時間線與證據
圍繞這些谜題類測試，相關研究在几年間密集發表。Arthur Samuel於1959年推廣"機器學習"概念的文章，被視為AI測試平台传統的起點；自那以後，跳棋、國際象棋和圍棋相繼成為衡量算法的舞台，而近年的測試则覆蓋了逻辑、語言和空間推理等多個維度。哥伦比亚大學團隊在2024年末公布的資料顯示，最強的模型當時僅能解開《纽約時報》Connections谜題的18%；到2025年初，部分模型已經几乎每次都能近乎完美地完成同一類任務，前後不過數月。Google與伊利諾伊大學厄巴納-香槟分校的研究者在2024年發表的論文中，用經典Knights and Knaves逻辑題的轻微變體測試模型，紀錄下模型依赖訓練記憶而忽略细微差別的現象。同年，SimpleBench團隊推出了標題涉及"通用人類表現超越目前前沿模型的文字基準"的論文，論文與題目均採用CC BY 4.0許可。2025年，Stogiannidis、McDonagh與Tsaftaris發表空間推理基準論文，其中Mental Rotation題目同樣以CC BY 4.0授權發布，插圖由John MacNeill繪制；同一年，Lin、Le Bras、Richardson等研究者公開發布ZebraLogic資料集，採用Apache License 2.0許可。2023年，Hagendorff、Fabi與Kosinski在Nature子刊描述了大型語言模型中的類人直覺與推理偏差，並指出這些現象在後續對ChatGPT的測試中消失。
具體變化
從2024年末到2025年初，模型在Connections谜題上的表現發生了最顯著的跃升。哥伦比亚大學團隊當時測得最強的模型也只能解開全部谜題的18%，而僅僅數月之後，材料中已同一類任務几乎每次都能近乎完美地完成，前後對比鲜明。進入2025年，Stogiannidis、McDonagh與Tsaftaris發表的空間推理基準論文中，Mental Rotation題目要求對旋轉後的圖形進行符合，模型在此類需要心理旋轉判斷的專案上仍持續失分；同年公開的ARC Prize Foundation題目，被文章視為最著名的谜題類基準之一，研究者特別注意到，當模型不再以圖像形式而是以一串數位接收輸入時，其得分會明顯提高，輸入模態的细微改變即可帶來不同結果。逻辑推理一侧，Apple研究者發現大語言模型在圆盘或人數達到6個及以上的河內塔與過河問題中表現下滑；華盛顿大學、斯坦福大學與Allen Institute for AI的研究者则在逻辑網格題上紀錄到類似困難，並公開發布了ZebraLogic資料集。Knights and Knaves一類逻辑推理则呈現另一種變化：Google與伊利諾伊大學厄巴納-香槟分校的研究者在2024年用經典題的轻微變體進行測試，模型倾向於重複使用訓練記憶，忽略題目之間的關鍵差異。此外，Hagendorff、Fabi與Kosinski在2023年觀察到的大型語言模型類人直覺與推理偏差，在後續針對ChatGPT的測試中已經消失，這種現象的消退本身也是模型行為在短時間內發生的變化之一。
對使用者的影響
對普通答題者而言，這些測試結果意味着大語言模型並不是可靠的智力代理。一個人在Connections這類文字谜題前可以借助模型提示快速拿到答案，但若把同樣的問題抛給模型，它在2024年末還只能解開18%，到2025年初却能接近满分，前後表現判若两"人"，使用者很難判斷眼前回答究竟代表模型的真實能力還是偶然的過擬合。Google與伊利諾伊大學厄巴納-香槟分校研究者的Knights and Knaves變體實驗也提示使用者，模型看似在推理，實際上可能在複述訓練時見過的相似題目，一旦題面被稍作改動，答案就可能跟著偏移。SimpleBench題目被特意設計得形似訓練語料裡可能出現過的問題，人類能識破其中陷阱，顶級模型却頻頻失误，使用者若不加辨別地採信其輸出，就容易被引入歧途。在空間推理一侧，Mental Rotation這類需要心理旋轉的題目對人類並不算難，但模型几乎無法胜任；Apple研究者還發現，河內塔與過河問題在規模稍增時模型就會失手，逻辑網格題同樣是其短板，說明讓模型充當解題幫手時，使用者需要自行核對每一步推理。ARC-AGI基準的額外發現也值得留意：模型在以數位串而非圖像形式接收輸入時反而表現更好，這提示使用者，輸入模態的细微切換可能彻底改變模型的表現水準。Hagendorff、Fabi與Kosinski紀錄的類人直覺偏差在ChatGPT上消失，则說明不同版本、不同產品間的行為差異同樣不可忽視，把一次測試的結果推廣到所有大語言模型並不穩妥。
限制與未知
材料對多個關鍵细節語焉不详。Mental Rotation、Knights and Knaves、SimpleBench、ARC-AGI、過河題、逻辑網格題的具體標準答案均未公開，讀者無法獨立核對模型作答是否真正合理；同樣，2024年末Connections谜題18%的成绩及2025年初近乎完美的表現虽被點出，但涉及的具體模型名稱、版本號和完整統計資料在原文中付之阙如，前後對比只能停留在總體印象層面。發表資訊也存在缺口：Apple關於河內塔與過河問題的研究，其刊登刊物與完整作者名單在材料中未曾提及；華盛顿大學、斯坦福大學與Allen Institute for AI關於逻辑網格題的具體發表時間和載體同樣未給出；哥伦比亚大學團隊的論文發表管道與作者清單同樣未被披露。Arthur Samuel在1959年推廣"機器學習"一詞的原始文章，其期刊名稱與完整標題在材料中亦無紀錄。原文還提到"約公元800年"的表述，却未提供更精確的考證细節。SimpleBench具體題目的標準答案解析缺失，文中虽提及的各板塊題目配有圖片連結，但材料未說明這些圖示是否隨原文一同附上；Knights and Knaves題目的原始版本來源連結同樣未被收錄。換言之，讀者虽然能夠了解研究大方向與若干標志性數位，却在模型身份、版本、研究出處、題目原文及答案等層面遭遇大量留白，難以據此重建可重複的實驗流程。
如何核對
讀者若想亲自上手複核這些結論，可以顺着材料給出的几條線索走。Connections谜題可直接在《纽約時報》版面找到當期題目，紀錄自己的解題耗時與命中率，再與哥伦比亚大學團隊18%的旧資料及2025年初近乎完美的新表現對照，便能直觀感受模型在數月間的跃升。Mental Rotation題目由Stogiannidis、McDonagh與Tsaftaris在2025年發表，插圖作者John MacNeill，許可協議CC BY 4.0，可在原論文或附帶的圖示裡檢視具體圖形與旋轉角度，自行判斷模型輸出是否合理。SimpleBench團隊的題目同樣以CC BY 4.0公開，論文標題涉及"通用人類表現超越目前前沿模型的文字基準"，可在其倉庫中檢索題面與參考答案，亲自比對模型作答是否符合文中所說的陷阱設計。逻辑網格題方面，Lin、Le Bras、Richardson等人在2025年發布的ZebraLogic資料集採用Apache License 2.0，其中包含完整的題目與解答，讀者可以挑選題目手動求解，再觀察模型是否在約束數量增加時同步失分。Knights and Knaves變體虽未給出原始版本連結，但Google與伊利諾伊大學厄巴納-香槟分校2024年的論文可作為入口，從中查找改編後的題面與公布的資料。河內塔與過河題则可按Apple研究者採用的圆盘數與人數門檻自行複現，紀錄模型在達到6個及以上規模時的失敗模式。Hagendorff、Fabi與Kosinski2023年的Nature子刊文章则提供了類人直覺偏差的測試脚本，讀者可在不同版本ChatGPT之間重複同一流程，觀察原本報告的現象是否仍然消失。
讀者能做什麼
讀者能做什麼對普通答題者而言，最直接的做法是先把几道題目當成答案，自己先做一遍，再去比對模型的作答。Connections谜題每天都會更新一期，讀者可以紀錄自己動笔到得出答案的時間、是否動用了提示，以及最終是否全部归位；隨後把同一道題交給身邊的語言模型，觀察它是否在數秒內給出完整答案。讀者若發現自己能穩定解出而模型在某些日期失手，便能亲身體會到18%與近乎完美這两種描述背後實際意味着什麼。Mental Rotation題目在Stogiannidis、McDonagh與Tsaftaris2025年的論文裡以CC BY 4.0許可發布，插圖由John MacNeill繪制，讀者可下載原始圖樣，按要求旋轉後在備選項中符合，體驗判斷旋轉角度的過程，並與模型的輸出對照。SimpleBench團隊的題面和參考答案同樣以CC BY 4.0公開，論文標題涉及"通用人類表現超越目前前沿模型的文字基準"，讀者可挑選若干道題先自行作答，再觀察模型是否落入文章所說的陷阱。ZebraLogic資料集採用Apache License 2.0，包含完整的逻辑網格題與解答，讀者可逐題手動求解，感受約束條件逐步增加時自己的推理负担，並比對模型在何時開始出錯。Knights and Knaves變體虽未附原始版本連結，但Google與伊利諾伊大學厄巴納-香槟分校2024年的論文提供了入口，讀者可從中找出改編後的題面，檢驗角色設定被微調後模型是否仍然照搬旧答案。河內塔與過河題则可按Apple研究者採用的6個圆盘或6人門檻自行複現，逐級提升規模，紀錄模型在哪一步開始失去節奏。Hagendorff、Fabi與Kosinski2023年的Nature子刊文章附有類人直覺偏差的測試脚本，讀者可在不同時間的ChatGPT會話裡重複同一流程，觀察原本描述的現象是否依旧消失。所有這些題目與資料集均對公眾開放，讀者只需一台能聯網的設備和一份紀錄纸，便能在自家書桌上複核文章中的大部分核心結論。
後續觀察
後續觀察几條贯穿全篇的纵向線索值得留心。第一條與時間相關：2024年末，哥伦比亚大學團隊的研究還顯示，即便是當時最好的模型也只能解開《纽約時報》Connections谜題的18%，而到2025年初，部分模型已能几乎每次近乎完美地解答同一谜題，前後落差發生在大約半年之內，意味着任何對模型能力的評價都需要打上時間戳。第二條與改動幅度相關：Google與伊利諾伊大學厄巴納-香槟分校2024年的研究把經典Knights and Knaves谜題做了轻微變體，結果顯示模型倾向於重複使用訓練記憶而忽略關鍵差異，提示讀者，哪怕題目只換几個字，模型的表現也可能隨之摆動。第三條與輸入形式相關：ARC-AGI作為最著名的谜題類基準之一，當題目以數位串而非圖像形式輸入模型時，表現反而更好，說明同一道題切換呈現方式就足以扭轉結果。第四條與版本相關：Hagendorff、Fabi與Kosinski2023年在Nature子刊紀錄的類人直覺與推理偏差，在後續針對ChatGPT的測試中已經消失，表明同一系列模型在不同產品線之間也會呈現明顯的行為差異。把這几條放在一起看，便能體會到這類智力測試的得分並非模型的固有屬性，而是測試時間、題面措辞、輸入模態與產品版本共同塑造的快照。
參考來源
本文由 AI X Tool 基於公開資料研究後原創整理，發布日期與產品資訊可能變化，請以來源網站最新內容為準。