Lowest-Latency Inference APIs for Voice and Realtime Agents: A Time to First Token TTFT-First Benchmark

發生了什麼

2026年3月，Artificial Analysis把預設负載從1,000輸入令牌改成了10,000輸入令牌，測試執行在Google Cloud us-central1-a區，並規定推理模型的TTFT指首個推理令牌而不是首個回答令牌。在最低首塊延遲榜單上，Baseten的gpt-oss-120b（high）TTFT為0.23秒、輸出速度266令牌每秒；DeepInfra的Nemotron 3 Ultra TTFT為0.28秒、輸出速度371令牌每秒；Cerebras的gpt-oss-120b（high）TTFT為0.49秒、輸出速度1,697令牌每秒為榜單最高吞吐。擴散式語言模型Mercury 2的TTFT则達到3.07秒，輸出速度770令牌每秒。OpenAI的GPT-5.6 Luna（非推理）在Amazon Bedrock上TTFT為0.59秒，在OpenAI自有API上為0.74秒。LiveKit自測顯示Gemma 4 31B在其推理產品上TTFT為192毫秒，TTFS為354毫秒。語音侧，Deepgram Flux把端點檢測整合進識別模型，廠商称可較传統STT加VAD方案將代理響應延遲降低200至600毫秒；AssemblyAI公布Universal-Streaming中位數詞條發射時間為307毫秒，Deepgram Nova-3為516毫秒。合成侧，ElevenLabs Flash v2.5的75毫秒為模型推理時間，加上20至200毫秒網络往返以及音頻播放器常見的500毫秒緩冲，官方建議即時代理使用Flash v2.5、Flash v2或Multilingual v2，不推薦v3。Cartesia Sonic-3.6聲称TTS低於90毫秒、Ink-2聲称轉寫延遲100毫秒，其Sonic 3.5此前聲称端到端首音頻時間為82毫秒。

時間線與證據

原文圍繞TTFT重新組織語音與即時代理推理介面的延遲評估。文中給出的語音代理典型轮次延遲預算為STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、網络50至150毫秒，端到端目標落在700毫秒至1.2秒區間。作者引用Pipecat聯合建立者Kwindla Hultman Kramer的工程建議：語音目標中位數800毫秒，概念驗證可放寬至1,500毫秒。文中還援引日常對話裡人類響應時間約500毫秒、停顿超過800毫秒即顯不自然的觀察，並由此推出自然對話要求語音目標低於1,500毫秒，對應文字模式下LLM的TTFT預算約為700毫秒。

榜單層面，原文紀錄最低首塊延遲組的横向對比：Baseten 0.23秒，DeepInfra 0.28秒，Cerebras 0.49秒但輸出速度1,697令牌每秒為最高吞吐。Mercury 2作為擴散式語言模型以TTFT 3.07秒、輸出770令牌每秒單獨出現。GPT-5.6 Luna以同一模型在两家供應商上0.59秒與0.74秒的差異說明基礎設施影響。LiveKit自測Gemma 4 31B在自有推理產品上TTFT 192毫秒、TTFS 354毫秒，被用作推理介面棧的對照點。

STT與TTS證據分別獨立給出。Deepgram Flux把端點檢測並入識別模型，廠商称較传統STT加VAD方案降低200至600毫秒代理響應延遲；AssemblyAI Universal-Streaming公布中位數詞條發射307毫秒，Deepgram Nova-3為516毫秒。合成侧，ElevenLabs Flash v2.5聲明75毫秒模型推理、20至200毫秒網络往返、播放器常見500毫秒緩冲，並明確建議即時代理使用Flash v2.5、Flash v2或Multilingual v2而不推薦v3。Cartesia給出Sonic-3.6低於90毫秒TTS與Ink-2 100毫秒轉寫延遲，並援引Sonic 3.5此前宣称的82毫秒端到端首音頻時間。

具體變化

評測方法層面，Artificial Analysis在2026年3月把預設輸入负載從1,000令牌上調到10,000令牌，測試仍執行於Google Cloud us-central1-a區虚擬，並將推理模型的TTFT明確為首個推理令牌而非首個回答令牌。

榜單構成層面，最低首塊延遲組出現了三類新參照：Baseten的gpt-oss-120b（high）以0.23秒居首但輸出僅266令牌每秒；DeepInfra的Nemotron 3 Ultra以0.28秒紧隨，輸出371令牌每秒；Cerebras同一gpt-oss-120b（high）TTFT為0.49秒，輸出1,697令牌每秒成為榜單吞吐最高點。擴散式架構Mercury 2單獨出現，TTFT為3.07秒，輸出770令牌每秒，作為非自回归路径的代表被並列展示。

跨供應商對比層面，OpenAI的GPT-5.6 Luna在同一模型不同底座上呈0.59秒與0.74秒的差距，被用以說明基礎設施而非模型本身對TTFT的拉動。LiveKit自測的Gemma 4 31B在自家推理產品上錄得TTFT 192毫秒、TTFS 354毫秒，作為推理介面棧的對照點出現。

STT與TTS層面，原文新增Deepgram Flux將端點檢測並入識別模型的延遲收益區間200至600毫秒，並將AssemblyAI Universal-Streaming中位數詞條發射307毫秒、Deepgram Nova-3 516毫秒並列。ElevenLabs把Flash v2.5的75毫秒模型推理時間、20至200毫秒網络往返以及播放器常見的500毫秒緩冲拆開呈現，並把推薦範圍收敛到Flash v2.5、Flash v2與Multilingual v2，明確不推薦v3。Cartesia则給出Sonic-3.6低於90毫秒TTS、Ink-2 100毫秒轉寫延遲，並回溯Sonic 3.5端到端首音頻82毫秒的旧聲明。

對使用者的影響

把延遲預算平移到工程選型上，使用者面對的是一個被多環節切分的預算。STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、網络50至150毫秒的單轮預算，意味着任何一個模塊超出區間都會挤占其它環節的空間，端到端700毫秒至1.2秒的總目標很難靠單點最佳化達成。人類響應時間約500毫秒、停顿超過800毫秒即顯不自然的對照，也讓1,500毫秒被視為可接受的上限，對應文字模式下LLM的TTFT預算被收窄到約700毫秒。

榜單資料進一步压缩了選型空間。Baseten 0.23秒與DeepInfra 0.28秒的TTFT虽然领先，但輸出僅266與371令牌每秒，吞吐受限；Cerebras 0.49秒配合1,697令牌每秒则把延遲略增換成了顯著更高的吞吐，使用者需在首字快與持續產生快之間做取舍。Mercury 2的3.07秒TTFT和770令牌每秒提示擴散式語言模型目前在首字延遲上尚不具備競争力。GPT-5.6 Luna在Amazon Bedrock上0.59秒、OpenAI自有API上0.74秒的同模型差異，讓基礎設施而非模型權重成為TTFT的關鍵變量。LiveKit自測的Gemma 4 31B以TTFT 192毫秒、TTFS 354毫秒進入對照，展示了垂直整合推理棧可能帶來的首字與首段压缩。

STT與TTS層面同樣需要權衡。Deepgram Flux聲称較传統STT加VAD方案降低200至600毫秒代理響應延遲，AssemblyAI Universal-Streaming中位數詞條發射307毫秒、Deepgram Nova-3為516毫秒，使用者要在整合度與中位數表現之間選擇。ElevenLabs把75毫秒模型推理、20至200毫秒網络往返與播放器常見500毫秒緩冲拆開後，建議即時代理使用Flash v2.5、Flash v2或Multilingual v2，明確不推薦v3，意味着追求最低延遲的使用者需繞過最新版本。Cartesia給出Sonic-3.6低於90毫秒TTS、Ink-2 100毫秒轉寫延遲，並把Sonic 3.5端到端首音頻82毫秒的旧聲称作並列參考。

限制與未知

評測的可重複性受Artificial Analysis在2026年3月上調預設负載的直接影響，從1,000輸入令牌改為10,000輸入令牌後，TTFT讀數對應的上下文規模發生迁移，旧榜與新榜不能直接對齊。測試環境被固定在Google Cloud us-central1-a區虚擬，意味着該榜單只覆蓋單一區域與單一云提供商的路径，其它區域或自建機房的延遲表現沒有被納入。推理模型的TTFT被明確定義為首個推理令牌而非首個回答令牌，鏈條更長，非推理模型则按首個回答令牌起算，跨類別比較時存在定義差。

供應商自報資料存在不可比風險。LiveKit自測的Gemma 4 31B TTFT 192毫秒、TTFS 354毫秒來自廠商自家推理產品，與第三方榜單口径未必一致。Deepgram Flux聲称較传統STT加VAD方案降低200至600毫秒代理響應延遲，AssemblyAI Universal-Streaming 307毫秒、Deepgram Nova-3 516毫秒均為廠商公布的數值，缺少獨立測試交叉驗證。ElevenLabs Flash v2.5的75毫秒僅指模型推理時間，未計入網络往返與播放器緩冲；Cartesia Sonic-3.6低於90毫秒、Ink-2 100毫秒、Sonic 3.5的82毫秒端到端首音頻均屬廠商聲称，缺乏第三方複現。

榜單對架構差異的處理也有限。Mercury 2作為擴散式語言模型以3.07秒TTFT、770令牌每秒單獨列入，與自回归模型並列展示時，首字定義與產生節奏不同，讀者需自行換算可比指標。GPT-5.6 Luna在Amazon Bedrock上0.59秒與OpenAI自有API上0.74秒的同模型差距虽被用以說明基礎設施影響，但未進一步拆解網络、調度與推理後端各自的贡献。文中給出的STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、網络50至150毫秒的預算區間，以及語音目標中位數800毫秒、概念驗證1,500毫秒的工程建議，來源於Pipecat聯合建立者Kwindla Hultman Kramer的經驗之談，並非來自受控實驗。

如何核對

在引用這些數位之前，使用者需要先核對几個口径。Artificial Analysis將推理模型的TTFT定義為首個推理令牌，而非首個回答令牌，且在2026年3月把預設輸入负載從1,000令牌上調到10,000令牌，測試又固定在Google Cloud us-central1-a區虚擬機上。任何引用其TTFT讀數的結論，都應同時交代這三項前提，否则上下文規模與推理鏈路長度都會被误讀。

榜單內部還需做一次同模型横切。GPT-5.6 Luna在Amazon Bedrock上為0.59秒，在OpenAI自有API上為0.74秒，同一模型不同底座的差距說明TTFT會被基礎設施拉動，引用單點數位時應注明底座與區域。同樣的核對也適用於跨架構比較，Mercury 2作為擴散式語言模型，TTFT 3.07秒與輸出770令牌每秒的組合，與自回归模型的首字定義並不等價，直接對照會高估其落後幅度。

STT與TTS侧的廠商聲称更需逐項拆開。Deepgram Flux的200至600毫秒是相對传統STT加VAD方案的代理響應延遲差，AssemblyAI Universal-Streaming的307毫秒與Deepgram Nova-3的516毫秒是各自公布的中位數詞條發射時間，三者口径並不相同，混用會模糊收益來源。ElevenLabs Flash v2.5的75毫秒僅覆蓋模型推理，還需叠加20至200毫秒網络往返和音頻播放器常見的500毫秒緩冲，端到端數位因此與廠商標註差距明顯。Cartesia Sonic-3.6低於90毫秒TTS、Ink-2 100毫秒轉寫延遲、Sonic 3.5的82毫秒端到端首音頻同樣屬廠商聲称，應與第三方複現結果區分引用。

最後核對的是工程預算與目標值的來源。STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、網络50至150毫秒的端到端預算，以及語音目標中位數800毫秒、概念驗證上限1,500毫秒的建議，來自Pipecat聯合建立者Kwindla Hultman Kramer的經驗之談，並非受控實驗結論，引用時應注明出處屬性。人類響應約500毫秒、停顿超800毫秒即顯不自然的對照，屬於日常對話觀察，同樣不宜作為严格基準。

讀者能做什麼

使用者把上述資料落到工程時，可按三個方向操作。第一，按預算拆分每一段鏈路的延遲。端到端700毫秒至1.2秒的語音目標被切成STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、網络50至150毫秒，任一環節溢出都會挤压其它環節，單點最佳化無法獨立達成總目標。人類響應約500毫秒、停顿超800毫秒即顯不自然的對照，把1,500毫秒的語音上限與文字模式下LLM約700毫秒的TTFT預算绑在一起，使用者據此可反向核算各模塊的最大可用時間。

第二，按榜單讀數做選型權衡。Baseten 0.23秒與DeepInfra 0.28秒的TTFT领先但吞吐僅266與371令牌每秒，Cerebras 0.49秒換得1,697令牌每秒的最高吞吐，使用者要在首字更快與持續產生更快之間做取舍。Mercury 2擴散式語言模型3.07秒TTFT、770令牌每秒在目前榜單中首字侧競争力不足。GPT-5.6 Luna在Amazon Bedrock上0.59秒、OpenAI自有API上0.74秒的同模型差距提示基礎設施對首字的影響可能超過模型權重本身。LiveKit自測的Gemma 4 31B以TTFT 192毫秒、TTFS 354毫秒展示垂直整合推理棧的潜力。

第三，按廠商聲称挑選STT與TTS並複核口径。Deepgram Flux聲称相對传統STT加VAD方案節省200至600毫秒代理響應延遲，AssemblyAI Universal-Streaming 307毫秒、Deepgram Nova-3 516毫秒為各自公布的中位數詞條發射時間，三者口径並不一致。ElevenLabs Flash v2.5的75毫秒僅是模型推理時間，還需叠加20至200毫秒網络往返和音頻播放器常見的500毫秒緩冲，平台建議即時代理使用Flash v2.5、Flash v2或Multilingual v2，不推薦v3。Cartesia給出Sonic-3.6低於90毫秒TTS、Ink-2 100毫秒轉寫延遲，並列回溯Sonic 3.5端到端首音頻82毫秒的旧聲称。引用上述數位時，應同時注明評測環境、口径與廠商來源。

後續觀察

榜單隨時間漂移的風險被預設负載調整放大。Artificial Analysis在2026年3月把預設輸入從1,000令牌改為10,000令牌後，TTFT讀數對應的上下文規模整體後移，引用旧榜數位時若不說明這一變更，前後两期資料會被误讀為可比序列。

榜單還有區域與底座單一的問題。Artificial Analysis測試固定在Google Cloud us-central1-a區虚擬機，榜單只覆蓋單一區域與單一云廠商的路径，其它區域或自建機房的延遲表現未被納入。GPT-5.6 Luna在Amazon Bedrock上0.59秒、OpenAI自有API上0.74秒的同模型差距虽說明基礎設施對TTFT有拉動，讀者在跨云迁移時還需自行複測目標區域。

跨架構比較時需注意TTFT定義差。推理模型的TTFT被定義為首個推理令牌而非首個回答令牌，鏈條更長，非推理模型按首個回答令牌起算。Mercury 2以擴散式語言模型身份列入榜單，3.07秒TTFT與770令牌每秒的組合與自回归模型直接對照會高估其落後幅度，引用時應注明模型類別。

廠商自報資料與第三方榜單口径不齐。LiveKit自測的Gemma 4 31B TTFT 192毫秒、TTFS 354毫秒來自廠商自家推理產品，Deepgram Flux聲称相對传統STT加VAD方案節省200至600毫秒代理響應延遲，AssemblyAI Universal-Streaming 307毫秒、Deepgram Nova-3 516毫秒均為廠商公布的數值，缺少獨立測試交叉驗證。

引用TTS數位時還應把隱含開销拆開。ElevenLabs Flash v2.5的75毫秒僅指模型推理時間，網络往返通常20至200毫秒，音頻播放器常加入500毫秒緩冲，廠商標註與端到端數位差距明顯。Cartesia Sonic-3.6低於90毫秒TTS、Ink-2 100毫秒轉寫延遲、Sonic 3.5端到端首音頻82毫秒均屬廠商聲称，缺乏第三方複現。

工程建議的目標值來源屬性也需標註。STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、網络50至150毫秒的端到端預算，以及語音目標中位數800毫秒、概念驗證上限1,500毫秒的建議，來自Pipecat聯合建立者Kwindla Hultman Kramer的經驗之談，並非受控實驗結論。人類響應約500毫秒、停顿超800毫秒即顯不自然的對照，屬於日常對話觀察，引用時應注明出處屬性。