llama.cpp 開源:126K 星 C++ 本地 LLM 推理引擎
llama.cpp 是 GitHub 上 126,107 顆星的開源專案,以純 C/C++ 實作本地 LLM 推理,支援從 1.5-bit 到 8-bit 的整數量化與 CPU、GPU、NPU 等多元硬件後端。本文...
llama.cpp 是 GitHub 上 126,107 顆星的開源專案,以純 C/C++ 實作本地 LLM 推理,支援從 1.5-bit 到 8-bit 的整數量化與 CPU、GPU、NPU 等多元硬件後端。本文...
FAISS 是 Meta 開發的高效能向量相似度搜索庫,在 GitHub 獲得 40,813 顆星與 4,508 個 fork。本文深入分析其核心架構、十億級索引技術、GPU 加速原理,以及 Meta FAIR 團...
OpenAI Agents SDK 是 OpenAI 官方推出的開源多智能體框架,GitHub 累積逾 2.9 萬星標,支援 100 多種 LLM,提供 Agents、Guardrails、Handoffs 等核心...
LlamaIndex 是 GitHub 上擁有 5.19 萬星標的開源資料框架,專為大型語言模型應用設計,提供資料連接器、索引結構與檢索查詢介面,可串接 OpenAI、Ollama 等模型及超過 300 個整合套件...
Open WebUI 是 GitHub 上 15 萬星標的自託管 AI 介面平台,支援 Ollama 與所有 OpenAI 相容 API,提供本地 RAG、插件系統、多模型對話與企業級權限管理,被視為本地 AI 部...
One API 是 36,590 星的開源 LLM API 管理系統,以統一 OpenAI 格式訪問 OpenAI、Claude、Gemini、DeepSeek 等主流大模型,支援負載均衡、令牌管理與多機部署,是開...
6.8 萬星開源項目 Oh My OpenAgent 以 ultrawork 單一指令協調多個專業 AI 代理並行完成複雜程式任務。支援 OpenCode、Codex CLI 與獨立三種版本,內建 Team Mod...
OpenAI 公布自研推理晶片 Jalapeño 首批測試結果,每瓦效能比業界領先系統高 1.5 至 1.9 倍,端到端延遲低 1.7 至 3.6 倍。晶片針對語言模型推理設計,在 GPT-OSS、DeepSeek...
智譜 AI 今日突襲發佈 GLM-5.3-Flash:GLM-5 系列首個原生多模態模型,320B 總參數、僅 18B 活躍參數,效能超越 GLM-5.2 之餘價格只需十分之一,編程與 Agent 能力逼近 Cla...
X 於 2026 年 8 月 24 日向開源項目 Nitter 發出停止函,要求永久關閉所有實例與儲存庫。Nitter 提供無登入、無廣告閱讀 X 帖文的方式,運行七年後正式下線。創作者 Zedeus 正在尋求法律...