8.8 萬星開源項目：vLLM — 高吞吐、低成本的 LLM 推理引擎

vLLM 是 GitHub 上星標逾 88,000 顆的開源大型語言模型推理與服務引擎，源自加州大學柏克萊分校 Sky Computing Lab，以 PagedAttention 與連續批處理等技術實現高吞吐、記憶體高效的模型部署，採用 Apache 2.0 授權。 此項目自 2023 年 2 月創立以來，累積逾 20,300 次 fork 與超過 3,000 名貢獻者，核心論文「Efficient Memory Management for Large Language Model Serving with PagedAttention」發表於 2023 年 SOSP 學術會議，現已成為企業部署 Llama、Qwen、DeepSeek 等主流模型時最常採用的開源推理引擎之一。本文將從官方 README 與公開技術資料出發，分析 vLLM 的技術架構、性能優勢與生態影響。

vLLM 是什麼？

vLLM 是開源的大型語言模型推理與服務引擎，源自加州大學柏克萊分校 Sky Computing Lab，透過 PagedAttention 與連續批處理技術提升推理吞吐量並降低記憶體消耗，採用 Apache 2.0 授權，以 Python 撰寫。

vLLM 誕生於大型語言模型進入產業應用的關鍵時期。2023 年 2 月，柏克萊 Sky Computing Lab 的研究團隊建立此項目，目標是解決 LLM 推理服務中的核心瓶頸：GPU 記憶體不足以容納長序列的注意力鍵值快取（KV cache），導致請求處理速度緩慢、成本高昂。研究團隊提出的 PagedAttention 技術借鑒作業系統的虛擬記憶體分頁概念，將 KV cache 分割為固定大小的區塊進行動態管理，顯著提升記憶體利用率，此設計於同年 9 月以論文形式發表並獲學術界廣泛關注。

項目定位清晰且專注：提供「快速、簡單、低成本」的 LLM 推理與服務能力。官方標語「Easy, fast, and cheap LLM serving for everyone」直接點出其核心承諾，而其實現方式包括狀態領先的服務吞吐量、連續批處理、分段預填充（chunked prefill）、前綴快取（prefix caching）以及多種量化格式支援，涵蓋從實驗室原型到生產環境部署的完整需求。

vLLM 有哪些核心技術亮點？

vLLM 以 PagedAttention 分頁管理注意力快取、連續批處理與分段預填充提升吞吐，支援 FP8、INT4、GPTQ、AWQ、GGUF 等多種量化格式，並提供推測解碼與 torch.compile 圖級優化，大幅降低推理延遲與記憶體開銷。

技術層面，vLLM 最核心的創新是 PagedAttention。傳統推理引擎在請求到達時為整個序列預留連續記憶體，記憶體碎片化嚴重；PagedAttention 將注意力鍵值快取分割為固定大小的頁面，按需分配、非連續儲存，記憶體利用率可提升至接近理論上限，使單一 GPU 能夠同時服務更多請求，直接轉化為更高的吞吐量與更低的每請求成本。

第二項關鍵能力是請求級別的連續批處理（continuous batching）。與傳統靜態批處理不同，vLLM 允許新請求即時加入正在執行的批次，並在單個請求完成後立即釋放其計算資源，配合分段預填充將長提示詞拆分處理、前綴快取重用重複的提示詞片段，從而在高併發場景下維持穩定且領先的服務吞吐表現。

第三項亮點是極其豐富的量化與優化生態。vLLM 支援 FP8、MXFP8、MXFP4、NVFP4、INT8、INT4、GPTQ、AWQ、GGUF 等主流量化格式，並整合 FlashAttention、FlashInfer 等優化注意力內核；推測解碼（speculative decoding）支援 n-gram、suffix、EAGLE 等多種演算法，配合 torch.compile 的自動內核生成與圖級轉換，讓模型推理在精度與速度之間取得靈活平衡。

vLLM 支援哪些模型與硬件平台？

vLLM 支援 Hugging Face 上逾 200 種模型架構，涵蓋 Llama、Qwen、DeepSeek 等解碼器模型與多模態、嵌入、獎勵模型，並兼容 NVIDIA、AMD、Intel GPU 及 CPU、Google TPU、華為昇騰等硬件平台。

vLLM 的模型相容性是其生態影響力的重要基礎。官方文件顯示，項目無縫支援 Hugging Face 上逾 200 種模型架構，包括 Llama、Qwen、Gemma 等解碼器專用模型，Mixtral、DeepSeek-V3、Qwen-MoE 等混合專家（MoE）模型，Mamba、Qwen3.5 等混合注意力與狀態空間模型，以及 LLaVA、Qwen-VL、Pixtral 等多模態模型，還有嵌入檢索與獎勵分類模型，覆蓋當前開源模型生態的主要類型。

硬件支援方面，vLLM 的適配範圍同樣廣泛。項目原生支援 NVIDIA GPU、AMD GPU、Intel GPU 以及 x86、ARM、PowerPC CPU，並透過硬件外掛支援 Google TPU、Intel Gaudi、IBM Spyre、華為昇騰、Apple Silicon 等平台，配合張量、管線、資料、專家與上下文五種并行策略，滿足從單卡原型到超大規模叢集的不同部署需求。服務層面，vLLM 提供 OpenAI 兼容的 API 伺服器，並支援 Anthropic Messages API 與 gRPC 介面，開發者可無痛遷移既有應用。

vLLM 的關鍵數據表現如何？

vLLM 累積逾 8.8 萬星標與 2 萬次 fork，超過 3,000 名貢獻者參與開發，Python 佔程式碼比例 83.7%，採用 Apache 2.0 授權，支援逾 200 種模型架構，是 GitHub 上最活躍的開源 AI 項目之一。

建立日期：2023-02-09｜最近 commit：2026-08-06｜開發者：vLLM Project（柏克萊 Sky Computing Lab 起源）｜官方網站：https://vllm.ai｜核心論文：https://arxiv.org/abs/2309.06180

如何快速開始使用 vLLM？

透過 uv pip install vllm 一行指令完成安裝，再執行 vllm serve 指令指定模型名稱，即可啟動 OpenAI 兼容的推理伺服器，數分鐘內完成本地模型部署。

根據官方 README，開發者使用 uv 或 pip 安裝 vLLM 後，即可透過指令列工具快速啟動服務。安裝完成後執行 vllm serve 並指定模型名稱，例如 vllm serve meta-llama/Llama-3.1-8B-Instruct，vLLM 會自動下載模型並啟動一個與 OpenAI API 格式相容的本地伺服器，開發者原有的 OpenAI SDK 程式碼只需修改 base URL 即可直接對接，遷移成本極低。

對於需要進階控制的場景，官方文件提供完整的 Quickstart 指引、支援模型清單與各類硬件的安裝說明；需要從原始碼建構或針對特定硬件平台調校的團隊，亦可以依照文件進行編譯部署。vLLM 同時提供活躍的使用者論壇、開發者 Slack 與定期更新的部落格，社群資源豐富，新使用者可以循文件、論壇與範例三條路徑快速上手。

出處

vLLM 值得一試嗎？

值得。Apache 2.0 授權、逾 8.8 萬星標與 3,000 多名貢獻者，使 vLLM 成為 LLM 推理部署的主流選擇，特別適合需要高吞吐、低成本運行大模型的團隊與企業。