部署与推理
★ 29.2k
9router
一层路由，让某个供应商限流时你的编码 Agent 还能继续跑——光是自动回退这一项就值。
重度使用 Agent 时经常被供应商限流的个人与小团队
阅读全文 →
部署与推理
推理服务栈、推理引擎、GPU 编排与成本控制工具。
该分类下的工具
TensorRT-LLM
GPU 吞吐的最后几个百分点，代价是构建复杂度和硬件锁定。
在固定 NVIDIA 硬件上高流量服务一组稳定模型
阅读全文 →
部署与推理
★ 152.3k
Open WebUI
模型层搞定之后，你交给用户的那个前端。
基于自托管模型的内部对话系统，需要真实账号体系
阅读全文 →
部署与推理
★ 44.2k
LibreChat
已经把 Agent 和 MCP 接好的多用户、多供应商对话平台。
需要跨多个模型供应商共用一套部署的团队或部门
阅读全文 →
部署与推理
★ 62.0k
vLLM
基于 PagedAttention 的高吞吐推理引擎——要在同一张卡上压出更多吞吐，通常就是它。
NVIDIA / AMD 显卡上的自托管生产推理
阅读全文 →
部署与推理
★ 118.0k
Ollama
一条命令在笔记本上跑起大模型——把模型摆到客户面前最快的方式。
本地演示、隔离网试点、开发机
阅读全文 →
部署与推理
★ 87.0k
llama.cpp
纯 C/C++ 的推理实现，优先面向 CPU——GPU 去不了的地方它能去。
纯 CPU、边缘与嵌入式推理
阅读全文 →
部署与推理
★ 12.0k
Text Generation Inference
HuggingFace 用 Rust 写的推理服务栈，内置张量并行与流式输出。
HuggingFace 生态内的多卡推理服务
阅读全文 →
部署与推理
★ 19.0k
SGLang
为结构化输出与大量前缀复用设计的推理引擎。
结构化输出、共享前缀场景、Agent
阅读全文 →
部署与推理
★ 24.0k
LiteLLM
用一套 OpenAI 接口对接 100+ 模型厂商，附带按 key 统计花费的代理。
多厂商路由、成本管控、故障降级
阅读全文 →
该分类下的文章
多租户隔离：演示之后才到达的那个需求
每个多租户 RAG 最终都会发现同一件事：检索之后过滤结果不是隔离。过滤必须约束搜索本身，而不是裁剪它的输出。
在 Agent 触碰生产数据之前：护栏检查清单
风险不在于模型说错了什么，而在于 Agent 做错了什么——而且是带着凭证，在一个没有撤销按钮的系统里做错。
自托管 vs 托管推理：成本曲线的真实交叉点在哪
「自托管更便宜」只有在利用率超过某个水平之后才成立。低于这个水平，你在为闲置的 GPU 和工程师的注意力付费——而第二项，几乎没人写进表格。
毫秒都去哪了：一份 RAG 的延迟预算表
用户感受到的不是你的架构，而是一个数字。多数团队说不清这个数字是从哪来的。在它真的变慢之前，用户早就觉得它慢了。