Keenable AI Open-Sources NEEDLE: A Live Search Benchmark That Rebuilds Its Query Set Every Hour

發生了什麼

NEEDLE 這個名稱本身是一組首字母缩寫，分別對應 News、Everyday、Expert、Deep-tail、Legal Evaluation 五個垂直方向，覆蓋新闻、專家知識、長尾稀有實體與法律等檢索場景。

基準的另一項關鍵設計是查詢集會持續滚動重建。新闻與日常類查詢每小時由 RSS 訂閱源與 Google Trends 重新產生，金融、學術、法律與稀有實體類查詢则每天從 SEC XBRL、arXiv、Europe PMC、CourtListener、Wikidata、GLEIF 等來源拉取重新組装。這意味着每條查詢在被檢索時仍是真實存在的網頁或紀錄，避免了离線基準常見的答案陈旧問題。

在協議層面，NEEDLE 對 15 個搜尋 API 在同一呼叫協議下進行評測，倉庫以 MIT 協議開源，可在笔記本或持續整合流水線中直接執行，評判環節通過 OpenRouter 呼叫大模型。

針對不同類型的查詢，評測採用差異化打分：新闻與稀有實體類沒有單一正確答案，由大模型評委按 0 到 4 分逐項打分，再以加入重複 URL 惩罚的 nDCG@5 汇總；金融類按 answer-recall@5 評分；學術與法律類则通過標識符符合打分。每條證據截取長度上限為 2000 字符，評委看不到引擎名稱，不擷取頁面也不重排，並發固定為 1，以减少工程差異干扰。

基準還內建一個被称為 ultimate 的池化神谕引擎。它把同一窗口內所有被測引擎的結果合併去重，用來衡量在該垂直方向上產業整體理論上能達到的上限。各引擎得分與 ultimate 的差距，用於區分召回不足與排序不準這两類常見問題。

在 2026 年 8 月 28 日截止的 7 天均值窗口中，金融類的 answer-recall@5 排名靠前者依次為 Exa 0.910、Keenable 0.872、Perplexity 0.871、Google 0.847，同期神谕引擎得分為 0.965。同一窗口的延遲中位數顯示 Keenable-realtime 為 193 毫秒，Exa 為 1876 毫秒，Bing 為 2767 毫秒，差距來自是否即時擷取與並發上限設定。深度稀有實體類中 Exa 0.557、Keenable 0.470、Bing 0.199；學術類 Keenable 0.774、Tavily 0.310，對應神谕引擎為 0.869。

時間線與證據

報道發布於 2026 年 8 月 31 日晚，所引用的排行榜資料來自此前一周的滚動均值窗口，窗口結束日為 2026 年 8 月 28 日。這意味着上述數位反映的是基準上線初期的快照，而非全年走勢。

支撑這一時點的是 NEEDLE 自身的查詢重建機制。新闻與日常類每小時由 RSS 與 Google Trends 重新產生，金融、學術、法律與稀有實體類每日從 SEC XBRL、arXiv、Europe PMC、CourtListener 等重新組装。也就是說，窗口內的每條查詢在被檢索時都對應真實存在的網頁或紀錄，金融類查詢直接绑定到當天仍在生效的 SEC 申報條目，學術與法律類则關聯到當天刚上線的 arXiv 預印本或法院文書。由於查詢每小時或每天滚動，7 天均值實際上由 168 組新闻類小時窗口與 7 組其余垂直的日窗口拼合而成。

評測口径與證據處理也對應到具體可觀察的指標。金融類按 answer-recall@5 評分，0.910 與 0.847 的差距意味着同一組 SEC XBRL 文件中，Exa 平均多召回約六個百分點的高價值答案。新闻與稀有實體類由大模型評委按 0 到 4 評分後再以加入重複 URL 惩罚的 nDCG@5 汇總，因此深度稀有實體類中 Exa 0.557、Bing 0.199 的差距同時包含召回與排序两層差異。每條證據截取長度上限為 2000 字符，評委看不到引擎名稱，不擷取頁面也不重排，並發固定為 1，由此排除了擷取策略與並發差異對評分的干扰，使 193 毫秒與 2767 毫秒的延遲差距能夠被單獨归因到即時性差異。

需要注意的是，報道僅披露了 Exa、Keenable、Perplexity、Google、Tavily、Bing 等部分引擎的數位，15 家 API 的完整名單與其余得分未在文中給出，新闻類與法律類的窗口均值也未列出，因此横向比較只能限定在已公開的子集之內。

具體變化

相較於传統一次性基準，NEEDLE 把資料生命周期從發布那一刻延伸到了評測執行當下。新闻與日常類查詢由 RSS 訂閱源與 Google Trends 每小時重新產生，旧的連結退出，新的連結進入，查詢池的構成每小時都在變化；金融、學術、法律與稀有實體類查詢每日從 SEC XBRL、arXiv、Europe PMC、CourtListener、Wikidata、GLEIF 等來源重新拉取装配，金融題面绑定到當日生效的申報條目，學術與法律題面關聯到當日新上線的預印本或法院文書。

來源的多樣性決定了各垂直的更新節奏不同。新闻依赖 RSS 與 Google Trends 擷取熱度變化，刷新頻率最高；金融、學術、法律與稀有實體分別依赖結構化資料庫的官方更新，節奏被锁定在每日一次。稀有實體類額外引入 Wikidata 與 GLEIF 作為標識來源，使得同一類實體可以在不同維度被檢索到。

打分口径隨垂直類型變化。新闻與稀有實體類無單一正確答案，由通過 OpenRouter 呼叫的大模型評委按 0 到 4 分逐項打分，再以加入重複 URL 惩罚的 nDCG@5 汇總；金融類按 answer-recall@5 評分；學術與法律類则通過標識符符合打分。每條證據截取長度上限 2000 字符，評委看不到引擎名稱，不擷取頁面也不重排，並發固定為 1。

評測協議同時控制工程變量。統一的呼叫協議、固定的並發與截斷長度、隱藏引擎名稱的盲評方式，使不同搜尋 API 之間的差距主要反映在檢索與排序能力上，而不是擷取策略或重排實現上。神谕引擎把同一窗口內所有被測結果合併去重，得到該垂直方向上產業整體理論上限，各引擎得分與該上限的差值由此可被拆分為召回差距與排序差距两類。

對使用者的影響

對使用者的影響

對需要選型的工程團隊而言，NEEDLE 提供了一個可以本機複現的對照環境。倉庫以 MIT 協議開源，統一的呼叫協議使 15 個搜尋 API 串接同一評測流程，開發者既能在笔記本上跑完整套垂直，也能把同一段逻辑串接持續整合流水線，對候選引擎做回归比對。由於並發固定為 1、每條證據截取長度上限 2000 字符、評委看不到引擎名稱，差距主要落在檢索與排序本身，而不是擷取或重排策略。對於即時性敏感的場景，193 毫秒與 2767 毫秒的延遲中位數差距直接來自是否即時擷取與並發上限設定，可作為串接成本的參考。

對研究者而言，ultimate 池化神谕引擎把同一窗口內所有被測結果合併去重，給出該垂直方向上產業整體理論上能達到的上限。在金融類 0.965、學術類 0.869 這一參照下，Exa 0.910、Keenable 0.774 等公開數位與上限之間的距离，可被進一步拆解為召回差距與排序差距，從而區分檢索能力不足與排序不準這两類問題。

但使用者也面對公開資料的邊界。報道僅披露 Exa、Keenable、Perplexity、Google、Tavily、Bing 等部分引擎的數位，15 家 API 的完整名單與剩余得分未在文中列出，新闻類與法律類的窗口均值同樣缺席，横向比較只能限定在已公開子集內。OpenRouter 評判所用的具體模型與提示詞未披露，ultimate 方法在金融、學術、稀有實體之外的垂直上是否同樣適用也未說明，MIT 協議對 Hugging Face 資料集等附屬資產是否一併覆蓋同樣未明確。

限制與未知

首先是被測引擎覆蓋範圍的缺口。報道僅披露 Exa、Keenable、Perplexity、Google、Tavily、Bing 這几家數位，15 家 API 的完整名單及其余得分未在文中給出，新闻類與法律類的窗口均值同樣缺席，横向比較只能限定在已公開子集之內，無法對全部 15 家做完整排序。

其次是評判流程的不透明。OpenRouter 評判所用的具體模型與提示詞未披露，新闻與稀有實體類 0 到 4 分的逐項打分標準、加入重複 URL 惩罚後 nDCG@5 的具體惩罚權重也未給出，外部研究者難以複現同口径評分。

再者是神谕引擎的適用範圍存疑。ultimate 池化方法在金融、學術、稀有實體三個垂直上用於衡量產業上限，但在其他垂直上是否同樣適用，報道未作說明，神谕與單引擎差距在新闻、法律等類別中的解釋力尚未驗證。

最後是協議覆蓋範圍未完全明確。MIT 協議覆蓋了倉庫程式碼，但 Hugging Face 資料集等附屬資產是否一併適用同樣開源協議，報道未明確說明，使用者在二次分發相關資料時存在邊界模糊。

如何核對

要對齊到 NEEDLE 的口径，第一步是把查詢重建機制落到具體來源。新闻與日常類查詢每小時由 RSS 訂閱源與 Google Trends 重新產生，金融、學術、法律與稀有實體類每日從 SEC XBRL、arXiv、Europe PMC、CourtListener 等資料庫重新装配，稀有實體類還引入 Wikidata 與 GLEIF 作為標識來源。在核對榜單上的某一類均值時，應先確認該均值對應的小時或日窗口與題目來源一致，再與原始 RSS 連結、SEC 申報條目、arXiv 預印本或法院文書逐條比對，排除掉因連結過期或撤稿而失效的樣本。

第二步是把評分口径對齊到具體指標。金融類使用 answer-recall@5，可直接以 SEC XBRL 標識符對召回的前五條做計數核查；學術與法律類走標識符符合，可用 arXiv 編號與法院案號在回傳結果中檢索；新闻與稀有實體類需要複現 OpenRouter 評委的 0 到 4 分打分，並按加入重複 URL 惩罚的 nDCG@5 汇總，由於提示詞與惩罚權重未披露，核對結果會有偏差。每條證據截取長度上限 2000 字符、評委看不到引擎名稱、不擷取頁面也不重排、並發固定為 1，這些約束要在複現脚本裡逐項落地，否则同一組查詢得到的得分會偏离原榜單。

第三步是核對延遲數位。報道給出的 193 毫秒、1876 毫秒、2767 毫秒都是同一窗口內的中位數，複現時應保持並發為 1，並顯式紀錄是否開啟即時擷取，因為延遲差距主要由這一開關決定，而非網络状況。Keenable-realtime 的低延遲與 Bing 的高延遲並列出現，正是用於區分即時與快取两條串接路径。

最後是與神谕上限做差距分解。神谕引擎把同一窗口內所有被測結果合併去重，給出該垂直方向上的理論上限，金融類 0.965、學術類 0.869 這两個數位應作為召回上限的參照。核對時把單引擎得分與上限逐項相减，差額可被拆分為召回差距與排序差距两類，從而判斷問題出在覆蓋範圍還是在排序品質。

讀者能做什麼

拿到這份基準的開發者可以把倉庫拉到笔記本或 CI 環境裡直接複現 15 個搜尋 API 的對照評測。統一的呼叫協議把各家引擎串接同一流程，固定並發為 1、每條證據截取長度上限 2000 字符、評委看不到引擎名稱，這些約束在脚本裡逐項落地後，候選引擎的回归比對就能在本機完成，而不必依赖外部榜單。對於關心串接成本的團隊，193 毫秒、1876 毫秒、2767 毫秒這一組同一窗口延遲中位數可以直接拿來估算即時與快取两條路径的開销差距。

選型時可以把公開數位與神谕上限並列閱讀。神谕引擎把同一窗口內所有被測結果合併去重，得到金融類 0.965、學術類 0.869 這類理論上限。把 Exa 0.910、Keenable 0.872、Perplexity 0.871、Google 0.847 這几個金融類數位與 0.965 相减，差額可以拆成召回差距與排序差距两部分，進而判斷某家引擎的短板落在覆蓋範圍還是在結果排序。深度稀有實體類 Exa 0.557 與神谕上限之間、學術類 Keenable 0.774 與 Tavily 0.310 之間，同樣可以照此分析。

使用過程中應核對查詢重建機制與自身需求是否符合。新闻與日常類依赖 RSS 與 Google Trends 每小時刷新，適合評估突發熱點的擷取能力；金融、學術、法律與稀有實體類從 SEC XBRL、arXiv、Europe PMC、CourtListener、Wikidata、GLEIF 等每日重新装配，更貼近結構化資料的核對場景。把自身業務的刷新節奏與基準的更新窗口對齊，才能讓本機複現的得分與公開榜單口径一致。

最後要注意公開資料的邊界。報道僅披露了 Exa、Keenable、Perplexity、Google、Tavily、Bing 等部分引擎的數位，15 家 API 的完整名單與剩余得分未在文中給出，新闻類與法律類的窗口均值同樣缺席，横向比較只能限定在已公開子集之內。OpenRouter 評委所用的具體模型與提示詞未披露，ultimate 池化方法在金融、學術、稀有實體之外的垂直上是否同樣適用未作說明，MIT 協議是否一併覆蓋 Hugging Face 資料集等附屬資產也未明確，二次分發與跨垂直重複使用前需要先確認這些邊界。

後續觀察

圍繞 NEEDLE 後續走向，可以從几條線索繼續跟進。

資料再發布節奏值得跟踪。報道引用的排行榜截至 2026-08-28，對應一個 7 天均值窗口，文章本身發表於 2026-08-31。新闻與日常類查詢每小時重建，金融、學術、法律與稀有實體類每日重建，因此下一個窗口的均值會隨 RSS 訂閱源、Google Trends、SEC XBRL、arXiv、Europe PMC、CourtListener、Wikidata、GLEIF 的更新而漂移，原本不在披露名單中的引擎如果進入新窗口，有可能改變 Exa 0.910、Keenable 0.872、Perplexity 0.871、Google 0.847 在金融類的相對位次。

被測引擎覆蓋範圍有望補全。報道只給出 Exa、Keenable、Perplexity、Google、Tavily、Bing 的數位，剩余引擎的具體得分未披露。隨着倉庫以 MIT 協議開源並在 Hugging Face 等平台發布，完整 15 家 API 名單與各垂直得分很可能在後續更新中陆續公布，新闻類與法律類窗口均值也有望補齐，這會直接影響横向比較的完整性。

評判流程的透明度需要等待進一步披露。OpenRouter 担任評委介面，但具體呼叫的模型與提示詞未給出，新闻與稀有實體類 0 到 4 分的逐項打分標準以及 nDCG@5 中重複 URL 惩罚的權重也未公開。如果後續倉庫或評測報告補充這些參數，外部研究者就能在統一口径下複現同一窗口的得分，否则核對只能停留在指標定義層面。

神谕引擎的適用範圍有待驗證。ultimate 池化方法在金融類 0.965、學術類 0.869、稀有實體類 0.869 上用於衡量產業上限，在其余垂直上是否同樣適用尚未說明。隨着覆蓋範圍擴大，神谕上限與單引擎差距在新闻、法律等類別的解釋力值得進一步觀察。

延遲口径也需要留意後續披露。193 毫秒、1876 毫秒、2767 毫秒均為同一窗口中位數，並發固定為 1，並顯式區分即時擷取與快取路径。在新的窗口裡，這一組數位是否會隨被測引擎調整或網络條件變化，是判斷即時與快取两條串接路径成本差距的關鍵參考。