Lowest-Latency Inference APIs for Voice and Realtime Agents: A Time to First Token TTFT-First Benchmark

发生了什么

2026年3月，Artificial Analysis把默认负载从1,000输入令牌改成了10,000输入令牌，测试运行在Google Cloud us-central1-a区，并规定推理模型的TTFT指首个推理令牌而不是首个回答令牌。在最低首块延迟榜单上，Baseten的gpt-oss-120b（high）TTFT为0.23秒、输出速度266令牌每秒；DeepInfra的Nemotron 3 Ultra TTFT为0.28秒、输出速度371令牌每秒；Cerebras的gpt-oss-120b（high）TTFT为0.49秒、输出速度1,697令牌每秒为榜单最高吞吐。扩散式语言模型Mercury 2的TTFT则达到3.07秒，输出速度770令牌每秒。OpenAI的GPT-5.6 Luna（非推理）在Amazon Bedrock上TTFT为0.59秒，在OpenAI自有API上为0.74秒。LiveKit自测显示Gemma 4 31B在其推理产品上TTFT为192毫秒，TTFS为354毫秒。语音侧，Deepgram Flux把端点检测集成进识别模型，厂商称可较传统STT加VAD方案将代理响应延迟降低200至600毫秒；AssemblyAI公布Universal-Streaming中位数词条发射时间为307毫秒，Deepgram Nova-3为516毫秒。合成侧，ElevenLabs Flash v2.5的75毫秒为模型推理时间，加上20至200毫秒网络往返以及音频播放器常见的500毫秒缓冲，官方建议实时代理使用Flash v2.5、Flash v2或Multilingual v2，不推荐v3。Cartesia Sonic-3.6声称TTS低于90毫秒、Ink-2声称转写延迟100毫秒，其Sonic 3.5此前声称端到端首音频时间为82毫秒。

时间线与证据

原文围绕TTFT重新组织语音与实时代理推理接口的延迟评估。文中给出的语音代理典型轮次延迟预算为STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、网络50至150毫秒，端到端目标落在700毫秒至1.2秒区间。作者引用Pipecat联合创建者Kwindla Hultman Kramer的工程建议：语音目标中位数800毫秒，概念验证可放宽至1,500毫秒。文中还援引日常对话里人类响应时间约500毫秒、停顿超过800毫秒即显不自然的观察，并由此推出自然对话要求语音目标低于1,500毫秒，对应文本模式下LLM的TTFT预算约为700毫秒。

榜单层面，原文记录最低首块延迟组的横向对比：Baseten 0.23秒，DeepInfra 0.28秒，Cerebras 0.49秒但输出速度1,697令牌每秒为最高吞吐。Mercury 2作为扩散式语言模型以TTFT 3.07秒、输出770令牌每秒单独出现。GPT-5.6 Luna以同一模型在两家供应商上0.59秒与0.74秒的差异说明基础设施影响。LiveKit自测Gemma 4 31B在自有推理产品上TTFT 192毫秒、TTFS 354毫秒，被用作推理接口栈的对照点。

STT与TTS证据分别独立给出。Deepgram Flux把端点检测并入识别模型，厂商称较传统STT加VAD方案降低200至600毫秒代理响应延迟；AssemblyAI Universal-Streaming公布中位数词条发射307毫秒，Deepgram Nova-3为516毫秒。合成侧，ElevenLabs Flash v2.5声明75毫秒模型推理、20至200毫秒网络往返、播放器常见500毫秒缓冲，并明确建议实时代理使用Flash v2.5、Flash v2或Multilingual v2而不推荐v3。Cartesia给出Sonic-3.6低于90毫秒TTS与Ink-2 100毫秒转写延迟，并援引Sonic 3.5此前宣称的82毫秒端到端首音频时间。

具体变化

评测方法层面，Artificial Analysis在2026年3月把默认输入负载从1,000令牌上调到10,000令牌，测试仍运行于Google Cloud us-central1-a区虚拟，并将推理模型的TTFT明确为首个推理令牌而非首个回答令牌。

榜单构成层面，最低首块延迟组出现了三类新参照：Baseten的gpt-oss-120b（high）以0.23秒居首但输出仅266令牌每秒；DeepInfra的Nemotron 3 Ultra以0.28秒紧随，输出371令牌每秒；Cerebras同一gpt-oss-120b（high）TTFT为0.49秒，输出1,697令牌每秒成为榜单吞吐最高点。扩散式架构Mercury 2单独出现，TTFT为3.07秒，输出770令牌每秒，作为非自回归路径的代表被并列展示。

跨供应商对比层面，OpenAI的GPT-5.6 Luna在同一模型不同底座上呈0.59秒与0.74秒的差距，被用以说明基础设施而非模型本身对TTFT的拉动。LiveKit自测的Gemma 4 31B在自家推理产品上录得TTFT 192毫秒、TTFS 354毫秒，作为推理接口栈的对照点出现。

STT与TTS层面，原文新增Deepgram Flux将端点检测并入识别模型的延迟收益区间200至600毫秒，并将AssemblyAI Universal-Streaming中位数词条发射307毫秒、Deepgram Nova-3 516毫秒并列。ElevenLabs把Flash v2.5的75毫秒模型推理时间、20至200毫秒网络往返以及播放器常见的500毫秒缓冲拆开呈现，并把推荐范围收敛到Flash v2.5、Flash v2与Multilingual v2，明确不推荐v3。Cartesia则给出Sonic-3.6低于90毫秒TTS、Ink-2 100毫秒转写延迟，并回溯Sonic 3.5端到端首音频82毫秒的旧声明。

对使用者的影响

把延迟预算平移到工程选型上，使用者面对的是一个被多环节切分的预算。STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、网络50至150毫秒的单轮预算，意味着任何一个模块超出区间都会挤占其它环节的空间，端到端700毫秒至1.2秒的总目标很难靠单点优化达成。人类响应时间约500毫秒、停顿超过800毫秒即显不自然的对照，也让1,500毫秒被视为可接受的上限，对应文本模式下LLM的TTFT预算被收窄到约700毫秒。

榜单数据进一步压缩了选型空间。Baseten 0.23秒与DeepInfra 0.28秒的TTFT虽然领先，但输出仅266与371令牌每秒，吞吐受限；Cerebras 0.49秒配合1,697令牌每秒则把延迟略增换成了显著更高的吞吐，使用者需在首字快与持续生成快之间做取舍。Mercury 2的3.07秒TTFT和770令牌每秒提示扩散式语言模型当前在首字延迟上尚不具备竞争力。GPT-5.6 Luna在Amazon Bedrock上0.59秒、OpenAI自有API上0.74秒的同模型差异，让基础设施而非模型权重成为TTFT的关键变量。LiveKit自测的Gemma 4 31B以TTFT 192毫秒、TTFS 354毫秒进入对照，展示了垂直整合推理栈可能带来的首字与首段压缩。

STT与TTS层面同样需要权衡。Deepgram Flux声称较传统STT加VAD方案降低200至600毫秒代理响应延迟，AssemblyAI Universal-Streaming中位数词条发射307毫秒、Deepgram Nova-3为516毫秒，使用者要在集成度与中位数表现之间选择。ElevenLabs把75毫秒模型推理、20至200毫秒网络往返与播放器常见500毫秒缓冲拆开后，建议实时代理使用Flash v2.5、Flash v2或Multilingual v2，明确不推荐v3，意味着追求最低延迟的使用者需绕过最新版本。Cartesia给出Sonic-3.6低于90毫秒TTS、Ink-2 100毫秒转写延迟，并把Sonic 3.5端到端首音频82毫秒的旧声称作并列参考。

限制与未知

评测的可重复性受Artificial Analysis在2026年3月上调默认负载的直接影响，从1,000输入令牌改为10,000输入令牌后，TTFT读数对应的上下文规模发生迁移，旧榜与新榜不能直接对齐。测试环境被固定在Google Cloud us-central1-a区虚拟，意味着该榜单只覆盖单一区域与单一云提供商的路径，其它区域或自建机房的延迟表现没有被纳入。推理模型的TTFT被明确定义为首个推理令牌而非首个回答令牌，链条更长，非推理模型则按首个回答令牌起算，跨类别比较时存在定义差。

供应商自报数据存在不可比风险。LiveKit自测的Gemma 4 31B TTFT 192毫秒、TTFS 354毫秒来自厂商自家推理产品，与第三方榜单口径未必一致。Deepgram Flux声称较传统STT加VAD方案降低200至600毫秒代理响应延迟，AssemblyAI Universal-Streaming 307毫秒、Deepgram Nova-3 516毫秒均为厂商公布的数值，缺少独立测试交叉验证。ElevenLabs Flash v2.5的75毫秒仅指模型推理时间，未计入网络往返与播放器缓冲；Cartesia Sonic-3.6低于90毫秒、Ink-2 100毫秒、Sonic 3.5的82毫秒端到端首音频均属厂商声称，缺乏第三方复现。

榜单对架构差异的处理也有限。Mercury 2作为扩散式语言模型以3.07秒TTFT、770令牌每秒单独列入，与自回归模型并列展示时，首字定义与生成节奏不同，读者需自行换算可比指标。GPT-5.6 Luna在Amazon Bedrock上0.59秒与OpenAI自有API上0.74秒的同模型差距虽被用以说明基础设施影响，但未进一步拆解网络、调度与推理后端各自的贡献。文中给出的STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、网络50至150毫秒的预算区间，以及语音目标中位数800毫秒、概念验证1,500毫秒的工程建议，来源于Pipecat联合创建者Kwindla Hultman Kramer的经验之谈，并非来自受控实验。

如何核对

在引用这些数字之前，使用者需要先核对几个口径。Artificial Analysis将推理模型的TTFT定义为首个推理令牌，而非首个回答令牌，且在2026年3月把默认输入负载从1,000令牌上调到10,000令牌，测试又固定在Google Cloud us-central1-a区虚拟机上。任何引用其TTFT读数的结论，都应同时交代这三项前提，否则上下文规模与推理链路长度都会被误读。

榜单内部还需做一次同模型横切。GPT-5.6 Luna在Amazon Bedrock上为0.59秒，在OpenAI自有API上为0.74秒，同一模型不同底座的差距说明TTFT会被基础设施拉动，引用单点数字时应注明底座与区域。同样的核对也适用于跨架构比较，Mercury 2作为扩散式语言模型，TTFT 3.07秒与输出770令牌每秒的组合，与自回归模型的首字定义并不等价，直接对照会高估其落后幅度。

STT与TTS侧的厂商声称更需逐项拆开。Deepgram Flux的200至600毫秒是相对传统STT加VAD方案的代理响应延迟差，AssemblyAI Universal-Streaming的307毫秒与Deepgram Nova-3的516毫秒是各自公布的中位数词条发射时间，三者口径并不相同，混用会模糊收益来源。ElevenLabs Flash v2.5的75毫秒仅覆盖模型推理，还需叠加20至200毫秒网络往返和音频播放器常见的500毫秒缓冲，端到端数字因此与厂商标注差距明显。Cartesia Sonic-3.6低于90毫秒TTS、Ink-2 100毫秒转写延迟、Sonic 3.5的82毫秒端到端首音频同样属厂商声称，应与第三方复现结果区分引用。

最后核对的是工程预算与目标值的来源。STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、网络50至150毫秒的端到端预算，以及语音目标中位数800毫秒、概念验证上限1,500毫秒的建议，来自Pipecat联合创建者Kwindla Hultman Kramer的经验之谈，并非受控实验结论，引用时应注明出处属性。人类响应约500毫秒、停顿超800毫秒即显不自然的对照，属于日常对话观察，同样不宜作为严格基准。

读者能做什么

使用者把上述数据落到工程时，可按三个方向操作。第一，按预算拆分每一段链路的延迟。端到端700毫秒至1.2秒的语音目标被切成STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、网络50至150毫秒，任一环节溢出都会挤压其它环节，单点优化无法独立达成总目标。人类响应约500毫秒、停顿超800毫秒即显不自然的对照，把1,500毫秒的语音上限与文本模式下LLM约700毫秒的TTFT预算绑在一起，使用者据此可反向核算各模块的最大可用时间。

第二，按榜单读数做选型权衡。Baseten 0.23秒与DeepInfra 0.28秒的TTFT领先但吞吐仅266与371令牌每秒，Cerebras 0.49秒换得1,697令牌每秒的最高吞吐，使用者要在首字更快与持续生成更快之间做取舍。Mercury 2扩散式语言模型3.07秒TTFT、770令牌每秒在当前榜单中首字侧竞争力不足。GPT-5.6 Luna在Amazon Bedrock上0.59秒、OpenAI自有API上0.74秒的同模型差距提示基础设施对首字的影响可能超过模型权重本身。LiveKit自测的Gemma 4 31B以TTFT 192毫秒、TTFS 354毫秒展示垂直整合推理栈的潜力。

第三，按厂商声称挑选STT与TTS并复核口径。Deepgram Flux声称相对传统STT加VAD方案节省200至600毫秒代理响应延迟，AssemblyAI Universal-Streaming 307毫秒、Deepgram Nova-3 516毫秒为各自公布的中位数词条发射时间，三者口径并不一致。ElevenLabs Flash v2.5的75毫秒仅是模型推理时间，还需叠加20至200毫秒网络往返和音频播放器常见的500毫秒缓冲，平台建议实时代理使用Flash v2.5、Flash v2或Multilingual v2，不推荐v3。Cartesia给出Sonic-3.6低于90毫秒TTS、Ink-2 100毫秒转写延迟，并列回溯Sonic 3.5端到端首音频82毫秒的旧声称。引用上述数字时，应同时注明评测环境、口径与厂商来源。

后续观察

榜单随时间漂移的风险被默认负载调整放大。Artificial Analysis在2026年3月把默认输入从1,000令牌改为10,000令牌后，TTFT读数对应的上下文规模整体后移，引用旧榜数字时若不说明这一变更，前后两期数据会被误读为可比序列。

榜单还有区域与底座单一的问题。Artificial Analysis测试固定在Google Cloud us-central1-a区虚拟机，榜单只覆盖单一区域与单一云厂商的路径，其它区域或自建机房的延迟表现未被纳入。GPT-5.6 Luna在Amazon Bedrock上0.59秒、OpenAI自有API上0.74秒的同模型差距虽说明基础设施对TTFT有拉动，读者在跨云迁移时还需自行复测目标区域。

跨架构比较时需注意TTFT定义差。推理模型的TTFT被定义为首个推理令牌而非首个回答令牌，链条更长，非推理模型按首个回答令牌起算。Mercury 2以扩散式语言模型身份列入榜单，3.07秒TTFT与770令牌每秒的组合与自回归模型直接对照会高估其落后幅度，引用时应注明模型类别。

厂商自报数据与第三方榜单口径不齐。LiveKit自测的Gemma 4 31B TTFT 192毫秒、TTFS 354毫秒来自厂商自家推理产品，Deepgram Flux声称相对传统STT加VAD方案节省200至600毫秒代理响应延迟，AssemblyAI Universal-Streaming 307毫秒、Deepgram Nova-3 516毫秒均为厂商公布的数值，缺少独立测试交叉验证。

引用TTS数字时还应把隐含开销拆开。ElevenLabs Flash v2.5的75毫秒仅指模型推理时间，网络往返通常20至200毫秒，音频播放器常加入500毫秒缓冲，厂商标注与端到端数字差距明显。Cartesia Sonic-3.6低于90毫秒TTS、Ink-2 100毫秒转写延迟、Sonic 3.5端到端首音频82毫秒均属厂商声称，缺乏第三方复现。

工程建议的目标值来源属性也需标注。STT 100至200毫秒、LLM 300至500毫秒、TTS 100至200毫秒、网络50至150毫秒的端到端预算，以及语音目标中位数800毫秒、概念验证上限1,500毫秒的建议，来自Pipecat联合创建者Kwindla Hultman Kramer的经验之谈，并非受控实验结论。人类响应约500毫秒、停顿超800毫秒即显不自然的对照，属于日常对话观察，引用时应注明出处属性。