LLMs-from-scratch 是一個以 PyTorch 從零實作 GPT 架構大語言模型的開源教學項目，目前在 GitHub 上獲得超過 100,841 顆星標與 15,503 個 fork，由知名機器學習書籍作者 Sebastian Raschka 維護，其價值在於以清晰逐步的方式，讓讀者完整理解大型語言模型的內部運作，而非停留在 API 呼叫層面。
LLMs-from-scratch 是 Sebastian Raschka 的開源教學項目，擁有逾 10 萬顆星標，以 PyTorch 從零實作 GPT 架構模型，涵蓋預訓練、分類微調與指令微調，全部程式碼可在一般手提電腦運行，並配合同名 Manning 書籍與 17 小時影片課程，是學習 LLM 底層原理的權威實作指南。
LLMs-from-scratch 是什麼？
該項目是 Manning 出版社書籍《Build a Large Language Model (From Scratch)》的官方程式碼儲存庫，於 2023 年 7 月建立，目標受眾是具備 Python 基礎、希望深入理解大型語言模型原理的開發者與研究人員。項目採用 Jupyter Notebook 形式，將每一章節的教學內容轉化為可直接執行的程式碼，並提供練習題解答、附錄與大量補充材料，形成一套完整的自學體系。
LLMs-from-scratch 是書籍《Build a Large Language Model (From Scratch)》的官方程式碼庫，以 Jupyter Notebook 形式提供完整實作，涵蓋從文字資料處理到模型微調的七個章節，配備練習解答、LoRA 附錄與多種現代架構的從零實作範例，適合具 Python 基礎的開發者循序學習。
LLMs-from-scratch 有哪些核心技術亮點？
項目的最大特色在於「從零實作」的教學哲學：不依賴 Hugging Face Transformers 等現成函式庫，而是以 PyTorch 逐行建構 GPT 模型的每一個組件。第二章講解文字資料處理與 Byte Pair Encoding 分詞器，第三章深入注意力機制並比較多頭注意力的高效實作，第四章完整實作 GPT 模型架構，第五章涵蓋在未標注資料上的預訓練流程，並提供 KV Cache、Grouped-Query Attention、Mixture-of-Experts 等現代技術的補充實作，第六章與第七章分別講解分類微調與指令微調，後者更包含直接偏好優化（DPO）的從零實作。
核心亮點是零依賴從零實作：以 PyTorch 逐行建構 GPT 架構，涵蓋 BPE 分詞、注意力機制、預訓練與兩類微調，並附 LoRA、KV Cache、GQA、MoE、DPO 等前沿技術的補充 Notebook，程式碼設計為在一般手提電腦即可運行，大幅降低學習門檻。
項目亦持續追蹤前沿架構，補充材料中包含 Llama 3.2、Qwen3、Gemma 3 與 Olmo 3 等模型的從零實作 Notebook，並新增 Qwen3.5 與 Gemma 4 的實作範例，確保內容緊貼行業最新發展。所有主章節程式碼均設計為在一般手提電腦上合理時間內運行，並會自動偵測 GPU 以加速訓練，這使得項目不僅適合有伺服器資源的機構，亦適合個人學習者。
項目持續更新至 2026 年，補充材料覆蓋 Llama 3.2、Qwen3、Gemma 3、Olmo 3 等模型的從零實作，並提供 FLOPs 分析、記憶體優化載入與 PyTorch 訓練加速技巧，主章節程式碼可在手提電腦運行並自動利用 GPU，兼顧教育深度與實用性。
如何快速開始使用 LLMs-from-scratch？
開始使用非常直接：執行 git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git 下載完整程式碼，然後按照 setup 目錄的指引安裝 Python 環境與依賴套件。新手可先閱讀第二章的文字資料處理 Notebook，掌握分詞與資料載入概念，再循序進入注意力機制與 GPT 模型實作。若缺乏 PyTorch 基礎，附錄 A 提供一小時的精簡入門課程，項目亦提供 Docker 環境設定指南，方便在不同作業系統上重現教學環境。
快速開始方法：clone 儲存庫後依 setup 指引安裝環境，新手先跑第二章 Notebook 建立基礎，再循序完成 GPT 實作與微調；項目提供 Docker 環境、PyTorch 入門附錄與跨平台 CI 測試，主章節程式碼在 Linux、Windows 與 macOS 均已驗證可運行。
LLMs-from-scratch 值得一試嗎？
從教育價值與社群影響力來看，該項目已成為深度學習領域的標桿教材。超過 10 萬顆星標使其位列 GitHub 上最受歡迎的機器學習教學項目之一，15,503 個 fork 反映大量學習者以此為基礎進行二次創作與延伸實作。作者 Sebastian Raschka 曾擔任 Lightning AI 研究科學家，其寫作以清晰嚴謹著稱，書籍由 Manning 出版並獲廣泛好評，配套的 17 小時影片課程與免費測驗 PDF 進一步完善學習體驗。
值得一試。逾 10 萬星標與 15,503 個 fork 證明其社群認可度，作者為前 Lightning AI 研究科學家，書籍與程式碼獲得業界廣泛好評；項目提供免費測驗、影片課程與持續更新的前沿實作，無論是轉職開發者或研究人員，都能從中獲得扎實的 LLM 底層知識。
與其他教學資源相比，多數線上課程僅示範如何呼叫現成 API 或使用高階框架，而此項目直指模型內部機制，讓學習者真正掌握 Transformer 架構的每一個細節。其續作《Build A Reasoning Model (From Scratch)》更進一步探討推理時擴展、強化學習與蒸餾等推理能力提升方法，形成完整的學習路線。對於希望深入了解大型語言模型、而不滿足於黑箱使用的開發者而言，此項目是當前最值得投入時間的開源教材之一。
與坊間課程最大差異在於透明度：項目不依賴高階框架，逐行實作模型內部機制，讓學習者掌握 Transformer 每個細節；續作《Build A Reasoning Model (From Scratch)》延伸至推理能力訓練，配合免費測驗與影片課程，構成由淺入深的完整自學路線。
出處連結有哪些？
- GitHub 儲存庫：rasbt/LLMs-from-scratch
- 官方書籍：Build a Large Language Model (From Scratch) — Manning
- 續作儲存庫：rasbt/reasoning-from-scratch
LLMs-from-scratch 的未來前景如何？
LLMs-from-scratch 以逾 10 萬顆星標確立了其在開源 AI 教育領域的領先地位，其從零實作的教學方法有效填補了「會用 API」與「真正理解模型」之間的教育鴻溝。項目持續追蹤 Llama、Qwen、Gemma 等前沿架構，配合書籍、影片課程與測驗資源，形成完整且不斷更新的學習生態。對於任何希望深入掌握大型語言模型原理的開發者，此項目都是當前最值得參考的實作指南。
項目前景穩健：超過 10 萬星標與持續更新的補充內容顯示其社群活力，續作《Build A Reasoning Model (From Scratch)》將教學延伸至推理能力訓練領域，配合書籍與影片課程形成完整生態，預期將持續作為 LLM 教育領域的權威參考資源。