返回工具目录

Resource detail

TensorRT-LLM

NVIDIA 的 LLM 推理优化与部署工具，面向 NVIDIA GPU 提供高性能运行时。

全球免费开源

访问官网更多类似资源

官网主页

由 Microlink 自动抓取

TensorRT-LLM homepage

一起维护资源信息

资源负责人可以认领条目，任何人都可以报告事实错误或申请下架。

选型速览

tensorrt-llm

价格模式

免费

访问方式

免登录

支持平台

Python · Linux · Self-hosted

支持中文

未核实

最近核对

未核实

热门指数

未核实

定价证据

未核实

验证与来源

未核实

未核实

未核实

标签

推理优化GPU开源

适合人群

开发者企业

更新信息

更新于 2026-09-04

未核实

典型用途

GPU 推理部署LLM 性能优化

引用卡片

TensorRT-LLM

NVIDIA 的 LLM 推理优化与部署工具，面向 NVIDIA GPU 提供高性能运行时。

AI X Tool · https://aixtool.xyz/resources/tensorrt-llm

变更记录

目录更新时间

2026-09-04

最近核验

未核实

待复核说明

未核实

相关资源

按相近用途整理

Hugging Face

全球最大的开源模型与数据集社区。

全球免费增值开源+3

更新于 2026-08-28

Ollama

一条命令在本地运行开源大模型的工具。

全球免费开源+2

更新于 2026-08-28

vLLM

高吞吐 LLM 推理引擎，生产环境部署首选。

全球免费开源+2

更新于 2026-08-28

llama.cpp

纯 C/C++ 的轻量推理框架，消费级硬件也能跑大模型。

全球免费开源+2

更新于 2026-08-28

ComfyUI

节点式图像视频生成工作流工具，可控性极强。

全球免费开源+2

更新于 2026-08-28

Stable Diffusion WebUI

经典的本地图像生成界面，插件生态庞大。

全球免费开源+2

更新于 2026-08-28