模型採樣參數與輸出長度設定

温度與多樣性控制

温度參數通過調整 token 選擇的概率分布來影響輸出的多樣性。它的取值範圍是 0 到 2，通常預設值為 1。當温度設為 0 時，模型在每一步都會選擇概率最高的 token，輸出變得完全確定，相同輸入必然產生相同結果。温度越低，輸出越集中於高概率詞彙，語言更規範、可預測，適合需要穩定性的場景，如程式碼產生或資料抽取。温度越高，低概率 token 被選中的機會增加，輸出更具隨機性和創造性，但也可能帶來語義漂移或逻辑斷裂。温度為 1 時，模型保留原始訓練分布的統計特性，輸出自然且平衡。需要注意的是，温度作用於 softmax 之前的 logits，通過除以温度值來缩放分布，温度趋近於 0 時分布趋於 one-hot，温度大於 1 時分布趋於均匀。在實際應用中，温度常與 top_p 或 top_k 聯合使用，以精细控制產生過程。例如，在創意寫作中可設定温度為 0.8 至 1.2，而在技術文件產生中则建議使用 0.3 至 0.6。温度參數不改變模型的知識範圍，僅影響表達方式的多樣性。

Top P 與動態截斷

Top P 參數通過動態截斷概率分布來控制 token 選擇範圍，取值範圍為 0 到 1，預設值為 1。它的工作機制是：從概率最高的 token 開始累加，直到累計概率達到設定的 P 值，隨後只從這個截斷集合中採樣。例如，當 top_p 為 0.9 時，模型會排除掉累計概率超過 0.9 的低概率 token，即使這些 token 單獨看概率不高，但合起來可能占據 10% 的分布空間。這種方式相比固定數量的 top_k 更靈活，因為它根據目前步驟的概率分布動態調整候選集大小。在高不確定性時刻，候選集可能包含數十個 token；在低不確定性時刻，可能僅保留少數几個。Top P 越低，輸出越保守，越倾向於常見詞彙和句式；top_p 越高，模型可選範圍越廣，輸出越丰富。與温度不同，top_p 不改變概率分布的形状，僅限制採樣空間，因此不會直接增強或削弱創造性，而是通過缩小選擇範圍間接影響輸出風格。在實踐中，top_p 常與温度配合使用，例如温度 0.7 配合 top_p 0.9 可在保持一定隨機性的同時避免极端罕見詞的出現。對於需要結構化輸出的任務，如 JSON 產生，適當降低 top_p 有助於提高格式穩定性。

Top K 與候選集限制

Top K 是一種硬性截斷機制，直接限定模型在每一步產生時只能從概率最高的 K 個候選詞中進行選擇。與 Top P 根據累积概率動態調整候選集大小不同，Top K 設定一個固定的整數上限，不隨概率分布的變化而浮動。例如，當 top_k 設為 5 時，模型在每個位置只評估概率排序前五的詞，其余詞無論概率多高都會被排除。這種機制在早期文字產生中較為常見，因為它計算開销小、逻辑直觀，適合需要快速收敛的場景。

Top K 的典型取值範圍是正整數，0 或未設定時通常表示禁用該限制，即模型可以自由選擇詞表中的任意詞。在實際應用中，top_k 設為 1 時模型將始終選擇概率最高的詞，輸出高度確定，几乎等同於贪心搜尋；而 top_k 設為 40 或 50 時，可以在保留一定多樣性的同時避免模型陷入低概率區域。值得注意的是，Top K 的效果受詞表大小和概率分布形態影響較大：在長尾分布明顯的模型中，即使 K 值較小，也可能因前 K 個詞覆蓋了绝大部分概率品質而限制多樣性；而在均匀分布的候選集中，Top K 的截斷作用则更為顯著。

Top K 與 Top P 常被組合使用，以兼顾穩定性和靈活性。例如，在產生創意文字時，可將 top_k 設為 50 作為基礎過濾，再通過 top_p 進一步收窄候選集，避免低概率詞的干扰。這種組合策略在實踐中被廣泛採用，尤其在需要平衡產生品質和效率的場景中。OpenRouter 的文件明確指出，當多個採樣參數同時存在時，它們會按順序作用於候選集：先應用 Top K 截斷，再應用 Top P 動態過濾，最後通過温度參數調整概率分布的平滑度。這種分層處理機制確保了參數之間的逻辑清晰，避免了冲突。

惩罚項與重複抑制

重複是語言模型產生中的常見問題，尤其在長文字或對話場景中，模型倾向於重複使用高頻詞或短語，導致輸出冗余或語義停滞。為緩解這一問題，多個惩罚參數被引入，通過調整詞項的對數概率（logits）來抑制重複行為。頻率惩罚（frequency_penalty）和存在惩罚（presence_penalty）是两種基礎機制，它們的作用方式和適用場景存在顯著差異。

頻率惩罚根據詞項在輸入或已產生文字中的出現次數進行動態調整。出現次數越多，惩罚力度越大，從而降低該詞再次被選中的概率。其數學實現通常是對原始 logits 减去一個與詞頻成正比的偏移量。例如，若某詞在上下文中出現三次，其 logits 將被减去三倍的惩罚系數。這種機制適合處理長文字中因語義重複導致的高頻詞泛滥問題，如“的”、“是”、“在”等虚詞的反複出現。

存在惩罚则不考虑詞項的出現頻次，只要某詞已在上下文中出現過，就施加一次固定的惩罚。其效果是“出現即受罚”，而非“越多越罚”。這種機制更適合抑制實詞的重複，例如在產生故事時避免主角名字或關鍵動詞的反複使用。存在惩罚在對話系統中表現尤為明顯，能有效防止模型在多輪對話中重複使用相同的回應模板。

此外，重複惩罚（repetition_penalty）是一種更激進的機制，直接對已出現詞項的原始概率進行缩放。其作用強度通常高於前两者，且惩罚力度隨詞項原始概率的升高而增強。這意味着模型在面對高概率重複詞時會受到更強烈的抑制，從而被迫選擇次優但語義更丰富的詞。然而，過高的重複惩罚可能導致輸出語義斷裂或逻辑跳跃，尤其在需要連贯叙述的場景中需谨慎使用。

在實際設定中，這些惩罚參數常與 Top K、Top P 等過濾機制協同工作。例如，在產生技術文件時，可啟用頻率惩罚以减少術語的重複，同時結合 Top P 控制候選集範圍，避免模型因惩罚過強而選擇不相關的低頻詞。OpenRouter 的文件指出，這些參數在請求中顯式传递時會被原樣轉發至模型提供商，因此不同模型對惩罚項的響應可能存在差異，需根據具體模型進行調優。

輸出長度與推理 token

輸出長度由 `max_tokens` 或 `max_completion_tokens` 控制，两者語義等價，均設定產生 token 的硬上限。該上限受上下文視窗約束，最大值等於上下文長度减去提示詞長度。對於支援推理的模型，此上限同時涵蓋內部推理 token 與可見輸出 token。若 `max_tokens` 設定過小，推理過程可能耗尽全部配額，導致回傳空內容並以 `finish_reason: "length"` 結束。部分提供商在處理此類請求時，會優先保障推理鏈完整性，再分配輸出空間，因此實際輸出可能被压缩甚至省略。顯式設定參數可影響快取鍵行為，不同值可能触發不同的快取路径，即使語義相近也可能產生差異化的響應延遲或命中率。

結構化輸出與工具呼叫

`response_format` 可強制模型按指定格式輸出，設定為 `json_object` 時啟用 JSON 模式，確保產生內容為合法 JSON 結構。但該模式僅保證格式合規，不保證語義正確，需配合系統或使用者提示明確要求產生 JSON。`structured_outputs` 布爾值用於指示模型是否支援通過 `json_schema` 回傳結構化資料，依赖底層模型能力，並非所有提供商均支援。工具呼叫通過 `tools` 參數传入函數定義清單，遵循 OpenAI 介面規範，非 OpenAI 提商會自動適配。`tool_choice` 可設為 `none`、`auto`、`required` 或指定具體函數，控制模型是否呼叫工具及呼叫哪一個。`parallel_tool_calls` 預設開啟，允許模型在單次響應中並發呼叫多個函數；關閉後將按順序逐個執行，增加延遲但降低資源競争。工具呼叫結果需由應用侧處理並可能触發新一轮請求，形成閉環互動流程。

模型採樣參數與輸出長度設定的落地取舍

在實際部署中，採樣參數與輸出長度的組合併非獨立調優，而是需要根據任務目標、延遲預算和輸出品質進行聯合權衡。温度、Top P、Top K 等參數共同決定模型輸出的隨機性與可控性，而輸出長度则直接限制產生內容的規模。在多數生產場景中，開發者倾向於將温度設為 0.7 至 1.0 之間，以在穩定性和多樣性之間取得平衡。若任務要求高度可複現的結果，如程式碼產生或資料抽取，可將温度降至 0.2 以下，甚至設為 0，使模型始終選擇概率最高的 token。但需注意，温度為 0 並不等同於完全確定性，部分模型在底層實現中仍可能因浮點精度或並行計算引入微小差異。

Top P 通常與温度配合使用，尤其在需要控制輸出長度的場景中效果顯著。當 Top P 設為 0.9 時，模型僅從累計概率前 90% 的候選 token 中採樣，有效過濾低概率選項，避免產生荒谬或無關內容。這種動態截斷機制比固定 Top K 更靈活，因為它能根據目前上下文自動調整候選集大小。例如，在產生技術文件時，Top P 可設為 0.95，保留足夠多樣性；而在產生 JSON 結構時，可降至 0.8，增強輸出穩定性。需注意，Top P 與温度同時作用時，温度影響概率分布的平滑程度，Top P 则決定採樣範圍，二者需協同調整。

輸出長度的設定需結合任務類型與上下文視窗。對於摘要或分類任務，max_tokens 設為 100 至 300 通常足夠；而對於長文產生或對話延續，可能需要 1000 token 以上。但需警惕，過長的輸出不僅增加延遲，還可能引發內容冗余或逻辑漂移。在推理模型中，max_tokens 同時限制推理過程與可見輸出，若設定過小，模型可能因推理未完成而提前終止，回傳空內容或截斷結果。此時應優先調整 reasoning_effort 或顯式排除推理 token，避免資源被內部思考消耗。

惩罚項的使用需谨慎，尤其在產生連贯文字時。頻率惩罚（frequency_penalty）依據 token 出現次數施加惩罚，適合抑制常用詞重複；存在惩罚（presence_penalty）则僅判斷是否出現，適合避免特定話題複發。但两者负值會鼓励重複，正向值過高则可能導致語義斷裂。例如，在產生诗歌時，可將存在惩罚設為 1.5，避免押韵詞過度集中；而在技術寫作中，頻率惩罚設為 0.5 即可，避免術語被意外過濾。

結構化輸出與工具呼叫的參數設定需與業務逻辑對齊。啟用 response_format 為 json_object 時，必須在提示中明確要求輸出 JSON，否则模型可能回傳自然語言。工具呼叫中，tool_choice 設為 required 可強制模型呼叫指定函數，但需確保工具定義清晰，避免模型因無法符合而回傳錯誤。並行工具呼叫（parallel_tool_calls）預設開啟，適用於獨立操作的場景，如同時查詢多個 API；若任務依赖順序執行，應設為 false，防止資料競争。

在實際落地中，參數調優應基於 A/B 測試與日志分析。例如，某客服機器人原使用 temperature=1.0、max_tokens=500，使用者回饋回答泛泛；調整為 temperature=0.6、max_tokens=300、top_p=0.85 後，回答更聚焦，满意度提升 22%。另一程式碼產生場景中，將 repetition_penalty 從 1.0 提升至 1.2，有效减少了變量名重複，編譯錯誤率下降 18%。這些案例表明，參數組合的微調可顯著影響輸出品質，但需結合具體任務持續迭代，避免陷入“預設即最優”的误區。