返回工具目錄

Resource detail

TensorRT-LLM

NVIDIA 的 LLM 推理最佳化與部署工具，面向 NVIDIA GPU 提供高效能執行時。

全球免費開源

前往官網更多類似資源

官網首頁

由 Microlink 自動擷取

TensorRT-LLM homepage

一起维护资源信息

资源负责人可以认领条目，任何人都可以报告事实错误或申请下架。

選型速覽

tensorrt-llm

價格模式

免費

存取方式

免登入

支援平台

Python · Linux · Self-hosted

支援中文

未核實

最近驗證

未核實

熱門指數

未核實

定價證據

未核實

驗證與來源

未核實

未核實

未核實

標籤

推理最佳化GPU開源

適用對象

開發者企業

更新資訊

更新時間：2026-09-04

未核實

典型用途

GPU 推理部署LLM 效能最佳化

引用卡片

TensorRT-LLM

NVIDIA 的 LLM 推理最佳化與部署工具，面向 NVIDIA GPU 提供高效能執行時。

AI X Tool · https://aixtool.xyz/resources/tensorrt-llm

變更紀錄

目錄更新時間

2026-09-04

最近核驗

未核實

待複核說明

未核實

相關資源

按相近用途整理

Hugging Face

全球最大的開源模型與資料集社群。

全球免費增值開源+3

更新時間：2026-08-28

Ollama

一條命令在在本機執行開源大模型的工具。

全球免費開源+2

更新時間：2026-08-28

vLLM

高吞吐 LLM 推理引擎，生產環境部署首選。

全球免費開源+2

更新時間：2026-08-28

llama.cpp

纯 C/C++ 的輕量推理框架，消費級硬件也能跑大模型。

全球免費開源+2

更新時間：2026-08-28

ComfyUI

節點式圖像影片生成工作流程工具，可控性极強。

全球免費開源+2

更新時間：2026-08-28

Stable Diffusion WebUI

經典的本機圖像產生介面，外掛程式生態庞大。

全球免費開源+2

更新時間：2026-08-28