模型采样参数与输出长度设置

温度与多样性控制

温度参数通过调整 token 选择的概率分布来影响输出的多样性。它的取值范围是 0 到 2，通常默认值为 1。当温度设为 0 时，模型在每一步都会选择概率最高的 token，输出变得完全确定，相同输入必然产生相同结果。温度越低，输出越集中于高概率词汇，语言更规范、可预测，适合需要稳定性的场景，如代码生成或数据抽取。温度越高，低概率 token 被选中的机会增加，输出更具随机性和创造性，但也可能带来语义漂移或逻辑断裂。温度为 1 时，模型保留原始训练分布的统计特性，输出自然且平衡。需要注意的是，温度作用于 softmax 之前的 logits，通过除以温度值来缩放分布，温度趋近于 0 时分布趋于 one-hot，温度大于 1 时分布趋于均匀。在实际应用中，温度常与 top_p 或 top_k 联合使用，以精细控制生成过程。例如，在创意写作中可设置温度为 0.8 至 1.2，而在技术文档生成中则建议使用 0.3 至 0.6。温度参数不改变模型的知识范围，仅影响表达方式的多样性。

Top P 与动态截断

Top P 参数通过动态截断概率分布来控制 token 选择范围，取值范围为 0 到 1，默认值为 1。它的工作机制是：从概率最高的 token 开始累加，直到累计概率达到设定的 P 值，随后只从这个截断集合中采样。例如，当 top_p 为 0.9 时，模型会排除掉累计概率超过 0.9 的低概率 token，即使这些 token 单独看概率不高，但合起来可能占据 10% 的分布空间。这种方式相比固定数量的 top_k 更灵活，因为它根据当前步骤的概率分布动态调整候选集大小。在高不确定性时刻，候选集可能包含数十个 token；在低不确定性时刻，可能仅保留少数几个。Top P 越低，输出越保守，越倾向于常见词汇和句式；top_p 越高，模型可选范围越广，输出越丰富。与温度不同，top_p 不改变概率分布的形状，仅限制采样空间，因此不会直接增强或削弱创造性，而是通过缩小选择范围间接影响输出风格。在实践中，top_p 常与温度配合使用，例如温度 0.7 配合 top_p 0.9 可在保持一定随机性的同时避免极端罕见词的出现。对于需要结构化输出的任务，如 JSON 生成，适当降低 top_p 有助于提高格式稳定性。

Top K 与候选集限制

Top K 是一种硬性截断机制，直接限定模型在每一步生成时只能从概率最高的 K 个候选词中进行选择。与 Top P 根据累积概率动态调整候选集大小不同，Top K 设定一个固定的整数上限，不随概率分布的变化而浮动。例如，当 top_k 设为 5 时，模型在每个位置只评估概率排序前五的词，其余词无论概率多高都会被排除。这种机制在早期文本生成中较为常见，因为它计算开销小、逻辑直观，适合需要快速收敛的场景。

Top K 的典型取值范围是正整数，0 或未设置时通常表示禁用该限制，即模型可以自由选择词表中的任意词。在实际应用中，top_k 设为 1 时模型将始终选择概率最高的词，输出高度确定，几乎等同于贪心搜索；而 top_k 设为 40 或 50 时，可以在保留一定多样性的同时避免模型陷入低概率区域。值得注意的是，Top K 的效果受词表大小和概率分布形态影响较大：在长尾分布明显的模型中，即使 K 值较小，也可能因前 K 个词覆盖了绝大部分概率质量而限制多样性；而在均匀分布的候选集中，Top K 的截断作用则更为显著。

Top K 与 Top P 常被组合使用，以兼顾稳定性和灵活性。例如，在生成创意文本时，可将 top_k 设为 50 作为基础过滤，再通过 top_p 进一步收窄候选集，避免低概率词的干扰。这种组合策略在实践中被广泛采用，尤其在需要平衡生成质量和效率的场景中。OpenRouter 的文档明确指出，当多个采样参数同时存在时，它们会按顺序作用于候选集：先应用 Top K 截断，再应用 Top P 动态过滤，最后通过温度参数调整概率分布的平滑度。这种分层处理机制确保了参数之间的逻辑清晰，避免了冲突。

惩罚项与重复抑制

重复是语言模型生成中的常见问题，尤其在长文本或对话场景中，模型倾向于重复使用高频词或短语，导致输出冗余或语义停滞。为缓解这一问题，多个惩罚参数被引入，通过调整词项的对数概率（logits）来抑制重复行为。频率惩罚（frequency_penalty）和存在惩罚（presence_penalty）是两种基础机制，它们的作用方式和适用场景存在显著差异。

频率惩罚根据词项在输入或已生成文本中的出现次数进行动态调整。出现次数越多，惩罚力度越大，从而降低该词再次被选中的概率。其数学实现通常是对原始 logits 减去一个与词频成正比的偏移量。例如，若某词在上下文中出现三次，其 logits 将被减去三倍的惩罚系数。这种机制适合处理长文本中因语义重复导致的高频词泛滥问题，如“的”、“是”、“在”等虚词的反复出现。

存在惩罚则不考虑词项的出现频次，只要某词已在上下文中出现过，就施加一次固定的惩罚。其效果是“出现即受罚”，而非“越多越罚”。这种机制更适合抑制实词的重复，例如在生成故事时避免主角名字或关键动词的反复使用。存在惩罚在对话系统中表现尤为明显，能有效防止模型在多轮对话中重复使用相同的回应模板。

此外，重复惩罚（repetition_penalty）是一种更激进的机制，直接对已出现词项的原始概率进行缩放。其作用强度通常高于前两者，且惩罚力度随词项原始概率的升高而增强。这意味着模型在面对高概率重复词时会受到更强烈的抑制，从而被迫选择次优但语义更丰富的词。然而，过高的重复惩罚可能导致输出语义断裂或逻辑跳跃，尤其在需要连贯叙述的场景中需谨慎使用。

在实际配置中，这些惩罚参数常与 Top K、Top P 等过滤机制协同工作。例如，在生成技术文档时，可启用频率惩罚以减少术语的重复，同时结合 Top P 控制候选集范围，避免模型因惩罚过强而选择不相关的低频词。OpenRouter 的文档指出，这些参数在请求中显式传递时会被原样转发至模型提供商，因此不同模型对惩罚项的响应可能存在差异，需根据具体模型进行调优。

输出长度与推理 token

输出长度由 `max_tokens` 或 `max_completion_tokens` 控制，两者语义等价，均设定生成 token 的硬上限。该上限受上下文窗口约束，最大值等于上下文长度减去提示词长度。对于支持推理的模型，此上限同时涵盖内部推理 token 与可见输出 token。若 `max_tokens` 设置过小，推理过程可能耗尽全部配额，导致返回空内容并以 `finish_reason: "length"` 结束。部分提供商在处理此类请求时，会优先保障推理链完整性，再分配输出空间，因此实际输出可能被压缩甚至省略。显式设置参数可影响缓存键行为，不同值可能触发不同的缓存路径，即使语义相近也可能产生差异化的响应延迟或命中率。

结构化输出与工具调用

`response_format` 可强制模型按指定格式输出，设置为 `json_object` 时启用 JSON 模式，确保生成内容为合法 JSON 结构。但该模式仅保证格式合规，不保证语义正确，需配合系统或用户提示明确要求生成 JSON。`structured_outputs` 布尔值用于指示模型是否支持通过 `json_schema` 返回结构化数据，依赖底层模型能力，并非所有提供商均支持。工具调用通过 `tools` 参数传入函数定义列表，遵循 OpenAI 接口规范，非 OpenAI 提商会自动适配。`tool_choice` 可设为 `none`、`auto`、`required` 或指定具体函数，控制模型是否调用工具及调用哪一个。`parallel_tool_calls` 默认开启，允许模型在单次响应中并发调用多个函数；关闭后将按顺序逐个执行，增加延迟但降低资源竞争。工具调用结果需由应用侧处理并可能触发新一轮请求，形成闭环交互流程。

模型采样参数与输出长度设置的落地取舍

在实际部署中，采样参数与输出长度的组合并非独立调优，而是需要根据任务目标、延迟预算和输出质量进行联合权衡。温度、Top P、Top K 等参数共同决定模型输出的随机性与可控性，而输出长度则直接限制生成内容的规模。在多数生产场景中，开发者倾向于将温度设为 0.7 至 1.0 之间，以在稳定性和多样性之间取得平衡。若任务要求高度可复现的结果，如代码生成或数据抽取，可将温度降至 0.2 以下，甚至设为 0，使模型始终选择概率最高的 token。但需注意，温度为 0 并不等同于完全确定性，部分模型在底层实现中仍可能因浮点精度或并行计算引入微小差异。

Top P 通常与温度配合使用，尤其在需要控制输出长度的场景中效果显著。当 Top P 设为 0.9 时，模型仅从累计概率前 90% 的候选 token 中采样，有效过滤低概率选项，避免生成荒谬或无关内容。这种动态截断机制比固定 Top K 更灵活，因为它能根据当前上下文自动调整候选集大小。例如，在生成技术文档时，Top P 可设为 0.95，保留足够多样性；而在生成 JSON 结构时，可降至 0.8，增强输出稳定性。需注意，Top P 与温度同时作用时，温度影响概率分布的平滑程度，Top P 则决定采样范围，二者需协同调整。

输出长度的设置需结合任务类型与上下文窗口。对于摘要或分类任务，max_tokens 设为 100 至 300 通常足够；而对于长文生成或对话延续，可能需要 1000 token 以上。但需警惕，过长的输出不仅增加延迟，还可能引发内容冗余或逻辑漂移。在推理模型中，max_tokens 同时限制推理过程与可见输出，若设置过小，模型可能因推理未完成而提前终止，返回空内容或截断结果。此时应优先调整 reasoning_effort 或显式排除推理 token，避免资源被内部思考消耗。

惩罚项的使用需谨慎，尤其在生成连贯文本时。频率惩罚（frequency_penalty）依据 token 出现次数施加惩罚，适合抑制常用词重复；存在惩罚（presence_penalty）则仅判断是否出现，适合避免特定话题复发。但两者负值会鼓励重复，正向值过高则可能导致语义断裂。例如，在生成诗歌时，可将存在惩罚设为 1.5，避免押韵词过度集中；而在技术写作中，频率惩罚设为 0.5 即可，避免术语被意外过滤。

结构化输出与工具调用的参数配置需与业务逻辑对齐。启用 response_format 为 json_object 时，必须在提示中明确要求输出 JSON，否则模型可能返回自然语言。工具调用中，tool_choice 设为 required 可强制模型调用指定函数，但需确保工具定义清晰，避免模型因无法匹配而返回错误。并行工具调用（parallel_tool_calls）默认开启，适用于独立操作的场景，如同时查询多个 API；若任务依赖顺序执行，应设为 false，防止数据竞争。

在实际落地中，参数调优应基于 A/B 测试与日志分析。例如，某客服机器人原使用 temperature=1.0、max_tokens=500，用户反馈回答泛泛；调整为 temperature=0.6、max_tokens=300、top_p=0.85 后，回答更聚焦，满意度提升 22%。另一代码生成场景中，将 repetition_penalty 从 1.0 提升至 1.2，有效减少了变量名重复，编译错误率下降 18%。这些案例表明，参数组合的微调可显著影响输出质量，但需结合具体任务持续迭代，避免陷入“默认即最优”的误区。