訓練階段 · 一次
預訓練+後訓練
- 讀入大量文字與資料
- 反覆預測下一個 Token
- 調整參數與權重
- 用指令與回饋做後訓練
成本高、時間長,通常離線進行;權重會更新。
PART 01 · 看懂 AI
UNIT 01
從文字到生成答案
先從最基本的問題開始:當你送出一句話,模型到底做了哪些事?這個單元建立「文字 → Token → 模型運算 → 下一個 Token」的地基,後面的模型規模、硬體與效能都會接在這裡。
1-1
你打開 ChatGPT 問問題,畫面背後其實不是一個巨大的應用程式,而是一個模型在產生文字。很多人把 AI、機器學習、生成式 AI、大型語言模型(LLM)混在一起講,但它們是範圍一層比一層小的集合。
人工智慧(AI)是最大的領域;機器學習(Machine Learning)是讓電腦從資料中學規律的方法;生成式 AI(Generative AI)是其中能產生文字、圖片、聲音的一支;LLM 則是專門處理語言的生成式模型。ChatGPT、LM Studio、Ollama 這類產品是「使用模型的應用程式」;寫作、客服、程式助手等其他應用也可能呼叫同一個模型。模型本身可以被替換,也可以被不同軟體呼叫。
把「模型」和「產品」分開,是後面理解模型大小、記憶體與速度的起點。
LLM 是模型;ChatGPT 是使用模型的產品。搞清楚這件事,才不會把「換一個 App」誤當成「換一個模型」。
1-2
你有沒有想過,為什麼模型回答問題時不用再「學」一次?因為學習發生在訓練階段,回答發生在推理階段,兩件事完全不同。
預訓練(Pre-training)時,模型讀進大量文字,反覆練習預測下一個詞元(Token),把語言規律調整進參數(Parameters)與權重(Weights)。後訓練(Post-training)再用指令與人類回饋調整行為,InstructGPT 就是這類做法 [3]。
當你送出提示詞(Prompt),發生的是推理(Inference):參數固定不變,模型只做計算並產生輸出。訓練一次、推理很多次,這是理解成本與速度的第一個關鍵。
訓練階段 · 一次
成本高、時間長,通常離線進行;權重會更新。
推理階段 · 每一次使用
每次提問都重新計算,但不會更新權重;可以發生很多次。
相對量級為教學示意,不是實測數據;實際時間、資料量與硬體依模型與設定而異。重點是:訓練一次、推理很多次。
所以「模型學到東西」是訓練階段的事;你在對話框裡教的臨時規則,不會自動寫回權重。除非系統另外設計了記憶或微調機制,否則下一次對話仍是從同一組參數出發。
1-3
對模型來說,文字不是文字,而是一串數字。詞元化(Tokenization)就是把輸入切成詞元(Token),再對應到詞表中的編號。
Token 不等於字。中文可能一個 Token 對應一到多個字,也可能一個字被切成多個 Token;英文與程式碼的切法又不同。常見做法是子詞(subword)切分,例如 BPE [11]。不同模型有自己的詞表,同一個詞在 Qwen3.8 與 Gemma 4 的 Token 與 ID 也可能不同 [9][10]。
點下面的 Token,看看示意編號。記住:Token 數量會影響上下文長度與成本,但「幾個字等於幾個 Token」沒有通用答案。
請用簡單的話解釋什麼是大型語言模型
點選任一個 Token,看看它的示意 ID。
␣ 代表空白;ID 為示意值,不同模型、不同 Tokenizer 的切法與編號都不同。本圖不支援任意文字即時切詞。
目前示例的示意數量:中文 11 個、英文 7 個、程式碼 14 個 Token。數量依 Tokenizer 與模型而異,這裡只用來觀察切法差異。
「一個中文字就是一個 Token」並不成立;反過來說,一個 Token 也可能包含多個字。實際數字要用該模型的 Tokenizer 才算得準。
1-4
Token ID 的示範在 1-3;這一節接著看 ID 之後的 Embedding 與運算。Token 進到模型後,會先變成一個個數字。這個向量叫嵌入(Embedding),可以想成這個 Token 在模型內部的位置座標。
接著,這些向量會穿過多層網路,每一層都用權重做運算;權重是訓練學到的數值,不是工程師臨時寫的規則 [1]。經過多層處理,模型對詞表中的候選 Token 各自算出一個分數,再轉成機率。
分數最高的不一定會被選中,因為生成時還會套用取樣策略。這一節不需要矩陣公式,只要記得:文字 → 數字 → 多層運算 → 下一個 Token 的機率 [2]。
1-5
同一個字,在不同句子裡可能指向不同意思。英文的 bank 可以指銀行,也可以指河岸;只看這個字,你無法判斷。
注意力機制(Attention)讓模型在處理某個位置時,參考上下文(Context)中其他位置的資訊。前後文是 deposit money 還是 river,bank 的內部表示就會不同 [1]。
下面切換兩種情境,看看哪些詞被連在一起。弧線粗細只是視覺強調,不是真實的注意力權重,也不代表模型像人一樣「理解」了河岸。
上下文(Context)是模型這次能一起參考的 Token 範圍,包含提示詞與先前的對話。上下文越長,模型能參考的資訊越多,但需要保存與計算的中間狀態也越多;後面的 KV Cache 就是其中一個成本。
情境 A:bank 是「銀行」。句子中的 money 與 deposit 提供了金額、存款的線索。
上下文長度
現代模型不一定每一層都用相同的 Attention 設計;2-6 會把這個「另一個分類軸」接回來。
1-6
生成不是一次吐出整段答案,而是一個 Token 接一個 Token。這種方式叫自迴歸生成(Autoregressive Generation):每次預測下一個 Token,把它接回輸入,再預測下一個,直到停止條件成立 [2]。
模型會先對候選 Token 算分數,再用溫度(Temperature)等設定調整機率分布。溫度低,分布較集中、輸出較穩定;溫度高,分布較平坦、結果較多樣,但不保證「更有創意」[5][7]。實務上也常搭配 Top-k 或 Nucleus 取樣,限制每次要從哪些候選中抽選[6]。
先看五步流程,再拖動滑桿與抽樣,觀察同一組分數如何改變。所有分數與機率都是示意,不是特定模型的實際輸出。
選出 —
…
四組分數固定為示意值,透過 Softmax 隨溫度重算機率;長條為四捨五入後的百分比,總和可能因進位略有差異。低溫分布集中、較穩定;高溫分布平坦、較多樣,但不保證更有創意,也不保證每次輸出不同。
低溫 0.2
今天天氣很不錯。
分布集中、較穩定、較保守。
示意輸出中溫 0.7
今天天氣很適合出遊。
平衡、常見但仍有變化。
示意輸出高溫 1.2
今天天氣略帶涼意,但很適合散步。
分布平坦、較多樣,但不保證更好。
示意輸出三句都是示意輸出,不是特定模型;低溫較穩定、高溫較多樣,但不保證品質。Top-k:只從機率最高的前 k 個候選抽樣;Top-p(Nucleus):從累積機率達 p 的候選集合抽樣。兩者都不是保證品質,只是限制抽樣範圍。
有些系統會用多 Token 預測(multi-token prediction)或推測式解碼(speculative decoding)一次產生多個候選,再由模型驗證;這不改變「基本仍是逐 Token 生成」的理解。
生成是「預測 → 取樣 → 接回輸入 → 再預測」的迴圈;溫度調整的是每一步的取樣分布,不是模型知識的多寡。
1-7
模型說話流暢,不代表內容正確。幻覺(Hallucination)是指模型產生看似合理、實際錯誤或沒有根據的內容。
成因很複雜:訓練資料有缺口、知識有截止時間、問題本身模糊或前提錯誤,取樣過程也可能讓少見但合理的說法被放大 [4]。它不是「查不到就隨便編」,也不只是「只會猜下一個字」這麼簡單。
實務上會用檢索增強生成(Retrieval-Augmented Generation, RAG)接上外部資料、搭配工具查證,或由人複核 [8]。這些方法能降低風險,但不能保證完全正確。
訓練資料有時間與範圍限制;沒學過、或之後才發生的事,模型不會自動知道。
模糊的描述、錯誤的前提、缺少關鍵條件,都可能讓模型順著錯誤方向補完。
模型擅長產生「像答案的句子」,但語句通順和事實正確是兩件事。
看到流暢但關鍵的答案時,先問三件事:它的資訊可能來自哪裡?有沒有可查證的來源?如果答錯,代價是什麼?需要高準確度的場合,把模型輸出當草稿,而不是判決。
回到開場的問題:它不是在資料庫裡找到答案,也不是真的「知道」;它是在既有參數與當下上下文的基礎上,逐步預測出最可能的文字序列。理解這件事,你就能同時看見它的能力與限制。
單元小測
選一個答案,馬上會看到對錯與解析。三題都作答後會顯示得分;按「重新作答」可以全部重來。這一輪不保存進度,重新整理頁面就會歸零。
PART 01 · 看懂 AI
UNIT 02
27B、35B-A3B、120B——這些數字看起來像同一種「大小」,其實分別在回答「模型有多大」、「每個 Token 要算多少」與「能力是否適合你的任務」。先別急著排順序,這一單元要把這三件事拆開。
2-1
看到 27B,先把它讀成「大約 270 億個參數」。B 是 Billion(十億),不是 byte,也不是某種能力分數。
參數包含權重、嵌入(embedding)與正規化(normalization)等數值;權重是最常見的一大類。你可以把參數想成模型「可以調整的旋鈕」,但它們不是分門別類的知識條目,也不是一本可以直接翻閱的百科全書 [12]。
參數量是模型規模的一種描述,不是能力評分。兩個同為 27B 的模型,可能因為訓練資料、架構與後訓練方式不同,在不同任務上差很多;反過來說,一個較小的模型也可能更適合你的任務。模型名稱通常也會取整,27B 不代表精確到個位數。
參數量是規模描述,不是能力排名;也不告訴你精度、格式或實際檔案大小。
B 是十億個參數,不是 GB,也不是模型檔案的 byte 數。同一組參數用 16-bit、8-bit 或 4-bit 儲存,檔案大小會差好幾倍。
2-2
模型跑起來之前,權重必須先有地方放。每個參數都要佔用儲存空間;在 16-bit 精度下,一個參數大約佔 2 bytes。
同一個 27B 模型、同一組權重;差別只在「每個權重用幾個位元儲存」。容量為十進位理論值,只算權重,不含 KV Cache、緩衝區與格式 overhead。
所以 27B 模型的權重大約是 54 GB,教材示例的 120B 模型大約是 240 GB。這是十進位的理論值,而且只算權重,沒有包含 KV Cache(4-5 會解釋)、執行緩衝區、驅動程式與記憶體碎片 [12][14]。
把精度降到 8-bit 或 4-bit,每個參數的 bytes 變少,容量也跟著下降;27B 的 4-bit 理論值約 13.5 GB。但量化(Quantization)不是免費的:可能影響輸出品質與相容性,實際檔案還會有量化 metadata、embedding 與格式額外開銷。下一節會看到,即使 MoE 只啟用部分專家,總權重仍然要儲存。
GB ≈ 參數量(B)× 位元數 ÷ 8。十進位 GB、只算權重;不含 KV Cache、activation、buffer、驅動、碎片與量化 metadata。這是理論估算,不是實際 VRAM 需求。
120B 是教材示例;gpt-oss-120b 官方為 117B 總參數、5.1B 啟用 [14]。
那只是 27B 在 4-bit 下的理論權重。實際部署還要加上 KV Cache、執行緩衝區、驅動與碎片。
2-3
Qwen3.8-27B 是 Dense(稠密)模型。對每個 Token,模型的主要層都會參與計算,沒有路由器幫你挑選專家 [12]。
你可以想成每一題都由同一個完整團隊處理。這也是為什麼在簡化比較裡,Dense 的「總參數」與「每個 Token 用到的參數」會落在同一個數量級;它沒有 MoE 那種「總共 35B、每次只啟用 3B」的差距。
但 Dense 不等於「每個權重都同等重要」。同一個 Token 在不同上下文會產生不同的注意力與激活值,有些連結貢獻大、有些幾乎沒有;「全部參與」說的是沒有條件式專家選擇,不是每個乘法都同樣關鍵。Dense 的優點是結構相對單純、行為比較好預測;缺點是模型變大時,每個 Token 的計算量也跟著變大 [17]。
Dense/MoE 是「權重怎麼被啟用」的分類,不是「誰比較聰明」的分類。要不要用 MoE,取決於記憶體、計算、延遲與品質的取捨。
2-4
MoE(Mixture-of-Experts,混合專家模型)把模型裡的一部分運算拆成許多「專家」,再用路由器(Router)替每個 Token 選少數幾個專家。
Qwen3.6-35B-A3B 有 35B 總參數,但每個 Token 只啟用約 3B;gpt-oss-120b 則是 117B 總參數、5.1B 啟用 [13][14]。這就是「模型很大,但每次只動用一部分」的意思。
要小心:專家不是「法律專家、醫療專家、寫程式專家」這種人類職業分類。它們是訓練出來的子網路,學到什麼分工由資料與路由決定,通常也不能直接翻成好懂的工作名稱。同一個專家可能同時處理語法、程式碼與多語言片段;路由器也不是在讀懂問題後查表選科別 [17]。
MoE 的好處是每個 Token 的計算量較小,代價是總權重仍然要儲存與存取,路由與負載平衡也需要設計。它是一種取捨,不是「一定比 Dense 好」。
輸出:下一個 Token 的分數
合併被選中的 Expert 輸出
左右滑動查看完整表格
| 項目 | Dense(27B) | MoE(35B-A3B) |
|---|---|---|
| 總參數 | 27B | 35B(gpt-oss-120b 為 117B) |
| 每 Token 啟用 | 27B(主要層) | 約 3B(gpt-oss-120b 為 5.1B) |
| 權重儲存 | 27B 全存 | 35B 全存,不是 3B |
| 每 Token 計算 | 大:主要層都算 | 小:只算被選中的 Expert |
| 主要取捨 | 結構單純、行為穩定;模型變大計算也變大 | 總容量大、每 Token 計算省;路由與儲存仍複雜 |
圖上只畫 9 個專家(E1–E8+S);Qwen3.6-35B-A3B 官方為 8 routed+1 shared、共 256 個專家,其餘 247 個未畫出。Expert 是訓練出來的子網路,不是人類職業;MoE 省的是每 Token 計算,不是總儲存。
用公司比喻:公司有很多部門,但處理一件任務時,不會叫所有部門同時投入;Router 像派案窗口,只挑少數專家。比喻只是輔助,專家不是人類職業。
2-5
看到 35B-A3B,最常見的誤解是把 A3B 當成「這是 3B 模型」。A3B 的 3B 是每個 Token 啟用的參數;模型仍然有大約 35B 的總權重,必須被儲存、載入與存取。
總參數(Total Parameters)決定「要放多少東西」,啟用參數(Active Parameters)決定「每個 Token 要算多少」。這兩個數字回答不同問題,不能互相取代:估算記憶體時看總參數;估算每 Token 的計算量時才看啟用參數。實際速度還會受到記憶體頻寬、批次、框架與硬體影響,不能只靠這兩個數字推 [13]。
左右滑動查看完整表格
| 模型 | 架構 | 總參數 | 每 Token 啟用/有效 |
|---|---|---|---|
| Qwen3.8-27B | Dense | 27B | 27B(Dense 主幹,簡化比較) |
| Qwen3.6-35B-A3B | MoE | 35B | 3B |
| gpt-oss-20b | MoE | 21B | 3.6B |
| gpt-oss-120b | MoE | 117B | 5.1B |
| Gemma 4 26B A4B | MoE | 26B | 約 3.8B |
官方數字與名稱取整可能略有差異;重點是「總參數」與「每 Token 啟用」不是同一個數字。
35B-A3B 不是 3B 模型:它要放 35B 的權重,但每個 Token 只算 3B 的量級。
2-6
到這裡,Dense 與 MoE 講的是「權重怎麼被啟用」。但模型還有一個獨立的設計軸:Attention 怎麼處理上下文。
Hybrid Architecture(混合架構)把不同的 Attention 或序列處理機制混在一起,目標通常不是「聽起來比較炫」,而是用更少的成本處理更長的上下文。以 Qwen3.8-Flash-Next 為例:它是 MoE,主模型 125B、每個 Token 約 6B 啟用,另外有 51B 的 N-gram embedding;Attention 採用 Gated DeltaNet(把歷史壓縮成較小的狀態)與 Qwen Sparse Attention(用輕量索引挑選重要上下文)的混合設計 [16]。
為什麼開發者不只是一直加參數?因為參數變多,計算與記憶體成本也變高;上下文變長,Attention 的成本更明顯。Hybrid 的目標是在有限成本下換到更好的長上下文與推理效率。它不是免費的,也不是每個任務都需要。
目前部分推理實作(例如 vLLM)的 N-gram/PLE offload 以 NVIDIA 平台為主;其他平台的支援程度需再確認。
每 Token 全部主要權重都要算。
每 Token 只算少數 Expert,但總權重仍要存。
幾乎不增加每 Token FLOPs;代價是主機記憶體與頻寬。
好處:容量大、每 Token 計算少、可 offload;代價:需要大量主機記憶體、prefetch 頻寬與平台支援。它不是另一種 MoE,也不是 KV Cache。125B 主模型與 51B N-gram 要分開講,不要直接相加後跟 27B 比倍數。
列:Dense/MoE | 欄:Attention/Hybrid
Dense/MoE 與 Attention/Hybrid 是兩個獨立軸;四格是概念分類,不是所有模型都能整齊塞進其中一格。
Dense/MoE 描述權重啟用方式;Hybrid 描述 Attention/序列處理方式。一個模型可以同時是 MoE 與 Hybrid。
2-7
Gemma 4 不是一個模型,而是一個家族:E2B、E4B、12B、26B A4B、31B。它們的大小與架構不同,適合的裝置也不同。
E 代表 Effective(有效參數),A 代表 Active(啟用參數)。E2B 的 2.3B 是有效參數,但包含 embedding 的總參數約 5B;E4B 是 4.5B 有效、約 8B 總。26B A4B 是 MoE:26B 總參數、約 3.8B 啟用;A4B 的 4 是級距,不是精確的 4B [15]。
所以選 Gemma 4 不是比 2、4、12、26、31 誰大。你要看:裝置有多少記憶體、需不需要多模態、要文本還是影像、能不能接受較慢的推理。同一個家族裡,小模型與 MoE 可以並存,各自解決不同的部署問題。
E2B
約 5B總參數
手機、瀏覽器、邊緣裝置
E4B
約 8B總參數
較大的邊緣裝置
12B
12B總參數
個人電腦、多模態任務
26B A4B
26B總參數
高吞吐、進階推理
31B
31B總參數
工作站、較高品質
E 是 Effective,A 是 Active。26B A4B 不是「4B 總參數」,也不是「26B 全部啟用」。
2-8
參數多通常代表模型有更大的容量 [18],但「容量」不等於「在你的任務上表現更好」。訓練資料的品質與範圍、架構、後訓練方式、推理設定,都會改變結果。
兩個參數量相近的模型,可能一個擅長程式、一個擅長多語言;一個 27B 模型也可能在某些任務上贏過更大的模型。同一個模型,開啟 Thinking(先產生較長的推理再回答)與關閉 Thinking,表現與速度可能不同;Instruct 版本通常針對指令遵循做過後訓練;Multimodal 版本能處理影像、音訊等非文字輸入,但不代表每一種都擅長 [12][15]。
所以看到 120B 不要直接下結論。先問:我要解決什麼任務?我的硬體放得下哪個總參數?我需要多少速度?那個模型支援我的語言、工具與檔案格式嗎?最後才是看評測。評測是特定任務的成績,不是「聰明程度」的總分。
你要的是問答、寫程式、翻譯,還是多模態?
總參數與精度放得下嗎?KV Cache 留了多少?
你能接受多長的等待與每秒多少 Token?
中文、程式碼、影像、音訊,支援到什麼程度?
推理框架、量化格式、授權與部署環境可用嗎?
參數量告訴你模型有多大;Dense/MoE 告訴你每個 Token 要動用多少;總參數與啟用參數則分別決定「要放多少」與「要算多少」。把這三件事分開,你就不會被型號後面的數字牽著走。
單元小測
選一個答案,馬上會看到對錯與解析;三題都作答後會顯示得分。這一輪不保存進度。
PART 01 · 看懂 AI
UNIT 03
認識現代個人 AI 電腦
你面前有兩台電腦:一台是 Windows 桌機,裝著 RTX 5060、8GB 顯示記憶體;另一台是 AMD AI Max,擁有 128GB 統一記憶體(Unified Memory)。128GB 看起來贏定了,但把同一個模型放進去,可能一台根本裝不下,另一台裝得下卻沒有比較快。為什麼會這樣?
3-1
電腦裡有兩種很不同的處理器。它們不是「誰一定比較強」,而是為了不同形狀的工作而設計。
中央處理器(CPU)像一位經驗豐富的總管。核心數不多,但擅長分支判斷、作業系統排程,以及各種不同類型的工作。圖形處理器(GPU)像一大群同時工作的計算工人:單一核心較簡單,但可以同時處理大量相似的運算。
LLM 的推理與訓練,大部分時間在做矩陣乘法與大量數值運算。這種工作很容易拆成很多小塊平行處理,所以 GPU 特別適合[27]。但如果工作流程充滿判斷、資料量很小,或需要頻繁在 CPU 與 GPU 之間搬資料,CPU 可能更合適。
還有一個常見誤解:CPU 不是不能跑 LLM。今天許多小模型可以在 CPU 上執行,只是速度、可承載的模型大小與耗電不同。重點不是「誰比較強」,而是「這種工作適合哪種設計」。
擅長分支、排程、作業系統與多樣化的工作。
擅長大量、相似、可以拆開平行處理的數值運算。
作業系統排程、分支判斷與檔案處理,通常由 CPU 主導;GPU 的優勢在於大量相似運算一起做。
核心比例與工作分配為概念示意,不代表實際晶片的核心數。
看工作形狀,不要只看處理器名稱:大量相似運算交給 GPU,複雜控制與小批次工作交給 CPU。
3-2
GPU 裡面有兩種常被混淆的運算單元。它們是分工,不是彼此取代。
CUDA Core 是通用型平行運算核心,負責大量一般的數值運算;Tensor Core 則是專門為矩陣乘加設計的單元,能更有效率地處理神經網路裡密集的矩陣運算。當運算的形狀與精度符合支援條件時,Tensor Core 可以大幅加速。
以 RTX 5060 為例,它採用 Blackwell 架構,有 3840 個 CUDA Core 與第 5 代 Tensor Core,官方標示 614 AI TOPS [19]。這是特定精度與條件下的峰值,不能直接跟別家的 TOPS 比 [26]。
為什麼 LLM 特別愛 GPU?因為模型每一層都有大量矩陣運算,且可平行拆開;CUDA 生態則讓 PyTorch、llama.cpp 等工具更容易用到 NVIDIA GPU [27]。但 Tensor Core 很快,前提是運算形狀與精度受支援。
處理大量一般數值運算;彈性高,但矩陣運算效率不如專用單元。
為矩陣乘加設計;需要合適的運算形狀與精度,不是所有運算都能直接套用。
一般數值運算主要靠 CUDA Core;Tensor Core 不會取代所有 CUDA Core 的工作。
614 AI TOPS 為官方峰值,實際模型速度不等於這個數字。
AI TOPS 是硬體在特定精度與條件下的理論峰值。模型能不能跑、跑得多快,還取決於容量、記憶體頻寬、軟體支援與實際工作負載。
3-3
模型下載後,第一個家是固態硬碟。但它不會一直待在那裡執行。
固態硬碟(SSD)容量大、關機後資料還在,但讀取速度遠低於記憶體,所以模型不能一直放在那裡執行。執行時,權重會先被讀進系統記憶體(RAM),或直接載入 GPU 的顯示記憶體(VRAM);推理過程中的中間資料、KV Cache 與緩衝區也需要記憶體。
獨立顯卡的 VRAM 是 GPU 專用,頻寬高但容量有限;統一記憶體(Unified Memory)則讓 CPU 與 GPU 共用同一個池子,容量大,但彼此會競爭[20][21]。這也是為什麼「模型檔案 8GB,8GB VRAM 就一定能跑」是錯的:還要留給 KV Cache、執行緩衝、驅動與系統。
反過來說,SSD 有 1TB 也不代表能把 1TB 當 VRAM 用。模型檔案大小、執行時記憶體、儲存空間是三個不同概念。
獨立 VRAM:權重從 RAM 經 PCIe 複製到 VRAM;執行時 GPU 再讀取。
mmap、直接載入與 CPU offload 是可選路徑;不代表每次都會完整複製所有權重。實際流程依推理框架與設定而異。
儲存空間(SSD)回答「檔案放哪裡」;容量(RAM/VRAM)回答「執行時裝不裝得下」;兩者都不是速度的保證。
3-4
硬體規格最容易犯的錯,是把三個數字混在一起:容量、頻寬、算力。
容量(GB)回答「裝得下多少」:8GB 與 128GB 的差別,首先是能不能放進權重與 KV Cache。頻寬(GB/s)回答「每秒能搬多少資料」;解碼常需讀取權重,頻寬不足時,GPU 再快也會被餵不飽。算力(FLOPS/TOPS)回答「每秒能做多少運算」,但要注意精度與條件。
以 RTX 5060 為例:8GB GDDR7、128-bit、3840 CUDA Core、614 AI TOPS;以 28 Gbps 換算,理論頻寬約 448 GB/s(換算值,非官方頁面直接列出的實測)[19][28]。AMD AI Max+ 395 則是最高 128GB、256-bit LPDDR5x-8000,理論頻寬約 256 GB/s [21]。容量大不等於頻寬高。
這三個指標不能合成一個「效能分數」,也不能直接換算成某個模型的 Tokens/s。那需要實測與完整條件。
13.5GB 權重+4GB KV Cache+2GB 緩衝
≈ 19.5GB
8GB VRAM:19.5GB 放不下,直接卡住。128GB UMA:放得下,但還要扣 OS 與其他程式。
放得下不代表快。Decode 每一步都要搬權重與 KV Cache;頻寬不足時,GPU 會等資料。
大量矩陣運算需要平行算力;但只有多任務、批次或長輸出時,才容易把算力吃滿。
裝得下多少?
8GB vs 128GB
權重、KV Cache、緩衝區都要放進去。
每秒搬多少?
448 vs 256 GB/s(理論換算)
Decode 常受記憶體頻寬限制。
每秒算多少?
614 vs 126 TOPS(峰值)
精度與運算形狀會影響實際效率。
448/256 GB/s 是理論換算,TOPS 是特定精度下的峰值;兩者都不能直接推算 Tokens/s。
這不是診斷樹,只是先看哪個指標的順序;實際瓶頸仍要用工具量測。
容量、頻寬、算力只是起點。模型的層數、KV Cache、批次大小、量化格式與軟體實作,都會改變實際速度。
3-5
這一節不談資料中心 GPU,只談個人電腦與桌面 AI 硬體。先分清楚「顯示卡」與「整合式系統」。
GeForce RTX 是一般個人電腦用的獨立顯示卡,像 RTX 5060 8GB,靠 CUDA 生態跑遊戲、創作與本地模型[19]。RTX PRO 是偏向專業工作站的顯示卡系列,重點在大容量、企業驅動與 ISV 認證,適合設計、工程與專業 AI 工作流;它不是「比較貴的遊戲卡」[23]。
DGX Spark 與 RTX Spark 不是單獨的顯示卡,而是整合式系統。DGX Spark 是 GB10 Grace Blackwell、128GB 統一記憶體的桌面 AI 開發平台 [20];RTX Spark 是 Windows AI PC,結合 20 核 Grace CPU、Blackwell RTX GPU 與最高 128GB 統一記憶體 [22]。兩者定位不同:一個偏開發平台,一個偏 Windows 個人電腦。
單卡 ←→ 整合系統|消費者 ↕ 專業
大容量、ECC、企業驅動與 ISV 認證;工作站與專業 AI。
不是遊戲卡;型號與配置會變。
GB10 Grace Blackwell、128GB 統一記憶體;桌面 AI 開發平台。
不是單張顯卡,定位是開發機。
一般桌機與筆電;CUDA 生態成熟,遊戲、創作與本地模型。
VRAM 容量依型號而定。
20 核 Grace CPU+Blackwell RTX GPU;最高 128GB 統一記憶體。
與 DGX Spark 定位不同,別混用。
位置是產品定位示意,不是效能或價格排名;實際速度仍需以模型與軟體實測。
想升級既有桌機,通常看 GeForce RTX 或 RTX PRO;想要一台開箱即用的開發機或 Windows AI PC,才看 DGX Spark/RTX Spark。
3-6
128GB 的統一記憶體,讓它能容納一些 8GB 顯卡放不下的模型。但「裝得下」不等於「跑得快」。
AMD AI Max+ 395 把 CPU、GPU 與 NPU 放在同一個加速處理器(APU)裡,並使用最高 128GB 的 LPDDR5x 統一記憶體 [21]。CPU 與 GPU 共享同一個記憶體池,模型權重不需要先複製到另一張顯卡的 VRAM,這讓它能容納較大的量化模型。
但統一記憶體的理論頻寬約 256 GB/s(以 8000 MT/s、256-bit 換算),低於高階獨立顯卡;算力也不是旗艦顯卡等級。再加上 128GB 是平台上限,作業系統、應用程式、KV Cache 都會一起吃這個池子 [29]。
所以 AI Max 的價值是「大容量、彈性、省空間」,不是「用 RAM 大小直接贏過顯卡」。它適合想跑較大模型、又不想被 8GB VRAM 卡住的人;實際速度仍要看模型、量化與軟體。
權重必須進 VRAM;RAM 與 VRAM 之間有複製與搬移成本。
CPU 與 GPU 共用同一個池子;沒有「複製到另一張卡」的固定步驟,但會互相競爭。
權重 KV Cache 系統/其他 可用
8GB 獨立 VRAM(示意)
7.5/8GB
可用約 0.5GB;12B 4-bit 約 5.8GB,幾乎沒有餘裕。
128GB 統一記憶體(示意)
39.5/128GB
可用約 88.5GB;容量大,但頻寬仍低於高階獨立顯示卡。
左右滑動查看完整表格
| 項目 | 8GB 獨立 VRAM | 128GB UMA |
|---|---|---|
| 資料傳輸 | 經 PCIe 在 RAM 與 VRAM 間搬移 | 共享記憶體池,沒有同樣的複製段 |
| 可跑模型 | 受 8GB 容量限制 | 可容納更大模型,但仍要扣系統與 KV Cache |
| 效能特性 | 頻寬較高 | 容量大、頻寬較低 |
| 常見平台 | Windows+NVIDIA | Linux+AMD AI Max |
同一 0–128GB 比例尺;8GB 的長條只佔一小段,旁邊數字為示意配置。128GB 是平台上限,不是模型可無條件全用。
128GB 讓模型更容易完整放入,但作業系統、應用程式與 KV Cache 會一起佔用;而且記憶體大不代表頻寬高。
3-7
Mac 也能跑本地 LLM,關鍵在統一記憶體架構與 Metal/MLX 軟體層,而不是把 Mac 當成 NVIDIA 顯卡。
Apple Silicon 把 CPU、GPU、神經網路引擎(Neural Engine)與記憶體放在同一個單晶片系統(SoC)上,Mac 使用統一記憶體架構:CPU 與 GPU 直接存取同一個記憶體池,不需複製陣列 [24]。
Apple 的 MLX 框架就是為此設計,陣列放在共享記憶體,操作可指定用 CPU 或 GPU;Metal 則提供圖形與運算 API [25]。這讓許多常見工具(例如 llama.cpp、Ollama、LM Studio)有 macOS 版本,MLX 也有對應範例 [30]。
優點是容量、攜帶性與功耗;限制是軟體生態以 CUDA 為中心,部分工具支援較晚,速度也依晶片與記憶體頻寬而異。Mac 的統一記憶體不是「無限的 VRAM」,作業系統與應用程式會先占用。
架構示意;實際頻寬、可用容量與軟體支援依晶片、記憶體大小與系統版本而定。Neural Engine 是 Apple 的 NPU,不再重複標成兩個名字。
適合攜帶、省電與大容量統一記憶體;但 CUDA 生態的工具有些在 macOS 上支援較晚,選工具前先確認相容性。
3-8
把同一個 27B 4-bit 模型(權重理論值約 13.5GB)放到不同機器,會得到「裝不下」、「裝得下但慢」或「裝得下也夠快」等不同結果。
放到 RTX 5060 8GB:通常裝不下,需要更小的模型、更激進的量化,或把部分層放到 CPU/系統記憶體[19]。放到 AI Max 128GB:統一記憶體能容納權重與 KV Cache,但頻寬與算力不如高階獨立顯卡,速度不一定更快,還要看 ROCm 等軟體支援[21]。
DGX Spark 與 RTX Spark 都是 128GB 統一記憶體的整合式平台,差別在定位與作業系統[20][22];Apple Silicon 走統一記憶體與 Metal/MLX,適合攜帶與省電,但速度依晶片而異[24]。
所以順序是:先看容量與量化能不能放進去,再看頻寬、算力、軟體與上下文需求。沒有一台機器「全部贏」。
先選一件最在意的事;卡片會依符合程度排序,不是效能排名。
27B 4-bit:13.5GB 權重,8GB 裝不下;需量化或 offload。
適合 小模型、入門本地 AI、Windows 工具。
CUDA 生態成熟,遊戲與創作也能用;但容量是第一個限制,第二個是 PCIe/CPU offload 的速度成本。
27B 4-bit:放得下;但頻寬與軟體支援會影響速度。
適合 想跑較大模型、能接受速度取捨的人。
統一記憶體容量大,但 OS、KV Cache 與其他程式一起用同一個池子;ROCm 相容性依版本。
27B 4-bit:放得下;買的是整台機器,不是單張卡。
適合 開發機、Windows AI PC、長期桌面 AI。
DGX Spark 偏開發平台;RTX Spark 偏 Windows AI PC。兩者都是整合系統,定位不同,不能當成同一張顯卡。
27B 4-bit:容量夠的機型放得下;速度依晶片與記憶體頻寬。
適合 攜帶、省電、Mac 生態、中小型模型。
Metal/MLX 可用,但部分 CUDA 工具支援較晚;選工具前先確認相容性。
目前顯示 4 種情境;沒有唯一贏家。
情境比較,不是效能排名;容量與速度數字為示意或理論值,實際仍需以模型與軟體實測。
硬體不是比誰的數字大,而是看資料放在哪裡、搬得多快、算得多快,以及軟體能不能配合。把容量、頻寬、算力與軟體分開看,你就能判斷一台電腦「能不能跑」和「跑得好不好」。
單元小測
選一個答案,馬上會看到對錯與解析。三題都作答後會顯示得分;按「重新作答」可以全部重來。
PART 01 · 看懂 AI
UNIT 04
你終於下載到一個很厲害的模型,檔案顯示「下載完成」,記憶體看起來也夠。送出問題後,畫面卻先空白好幾秒,答案才一個字、一個字慢慢跑出來。這一章要把「下載完成」到「跑得順」之間的每個環節拆開。
4-1
下載完成只代表檔案在硬碟裡。推理程式還要讀取模型設定與權重、把它們放進可用的記憶體、建立執行環境與緩衝區,最後才能處理你的問題。
常見流程是:模型檔案在 SSD → 推理程式讀取權重與設定 → 把權重配置到系統記憶體或顯示記憶體 → 建立 KV Cache 與執行緩衝區 → 開始處理提示詞(Prompt)。這段啟動時間可能從幾秒到數十秒,取決於檔案大小、硬碟速度、可用記憶體與推理引擎。
實際實作不一定會先把所有權重完整複製一份。有些引擎使用記憶體映射(memory mapping)或按需載入,只把目前需要的資料帶進來,也可能把部分層留在 CPU。所以「下載完成」、「模型已載入」、「可以開始回答」是三件事[31][40]。
SSD → RAM → PCIe → VRAM → GPU 執行
權重可能需要複製到 VRAM;mmap/offload 是可選路徑。SSD → 共享記憶體池 → GPU 執行
CPU/GPU 共用同一池,沒有同樣的 PCIe 複製段。mmap(記憶體映射)與 CPU offload 不一定會先把所有權重複製一份;實際路徑依推理框架與設定。
下載完成 → 已載入 → 可回答,是三個不同的時間點。流程為概念示意。獨立 VRAM 路線:RAM↔VRAM 經 PCIe;統一記憶體路線:CPU/GPU 共享同一池,沒有同樣的複製段。實際仍依推理框架與設定。
TTFT(Time to First Token)要等模型開始處理提示詞才計算;載入時間是「模型還沒準備好」的時間。看到畫面空白時,先分清楚是還在載入,還是已經進入 Prefill。
4-2
模型載入後,最佔空間的通常是權重。每個權重用幾個 bit 儲存,總容量可以用「參數量 × 每個權重的位元數 ÷ 8」估算。
16-bit(FP16 或 BF16)每個權重約 2 bytes,8-bit 約 1 byte,4-bit 理論上約 0.5 bytes。位元數越低,權重容量越小;但這只是權重,還不是完整的記憶體需求[31]。
左右滑動查看完整表格
| 模型規模 | 16-bit | 8-bit | 理想 4-bit |
|---|---|---|---|
| 27B | 約 54 GB | 約 27 GB | 約 13.5 GB |
| 35B | 約 70 GB | 約 35 GB | 約 17.5 GB |
| 120B | 約 240 GB | 約 120 GB | 約 60 GB |
這些都是理論值,不包含 KV Cache、執行緩衝區、啟動前後的暫存資料,也不包含作業系統或其他程式。27B 與 35B 的案例可對應 Qwen3.8-27B、Qwen3.6-35B-A3B 等模型[47][48]。而且 4-bit 不是「剛好 0.5 bytes」:實際格式還要存 scales、metadata,部分層可能保留較高精度。以 llama.cpp 的 Q4_K_M 為例,範例模型平均約 4.89 bits/weight,會比理想 4-bit 多約兩成[41]。
權重之外,還要加 KV Cache、執行緩衝區與其他程式。27B 的理想 4-bit 權重約 13.5 GB,不代表 8 GB VRAM 一定跑得起來[36]。
4-3
你送出一段很長的提示詞,畫面先停住,過了一會才蹦出第一個字。這段等待主要是 Prefill:模型把輸入的 Token 一起送進網路,平行計算注意力與前饋層,建立後面要用的 KV Cache,最後產生第一個 Token。
因為提示詞可以平行處理,Prefill 通常讓 GPU 的計算單元很忙,屬於計算密集(compute-bound)的階段。提示詞越長、模型越大,Prefill 越久,TTFT 也越高。你問「幫我翻譯這一句話」和「幫我讀完這份長報告再整理重點」,第一個 Token 的等待時間會很不一樣[31][32]。
TTFT 是從送出請求到第一個 Token 出現的時間,通常還包含排隊與前置處理,實際定義依系統而異。所以看到「第一個字很慢」,先別急著說模型爛;先看提示詞多長、佇列有沒有塞車、Prefill 是不是正在處理大量輸入。
Prefill 決定「多久開始回答」,不是「後續每秒多快」。它把輸入一次算完,並替後面的 Decode 準備好 KV Cache。
4-4
第一個 Token 出來後,模型進入 Decode。它一次只產生一個 Token,把新 Token 接回輸入,再預測下一個;每一步都要讀取模型權重與不斷長大的 KV Cache,才能算出下一個 Token 的機率。
Decode 的計算量相對小,但記憶體搬運量很大,常受記憶體頻寬限制。你可能會看到 GPU 的算力使用率不高,但輸出速度就是上不去;這不代表 GPU 壞了,而是瓶頸在「把資料搬過來」,不是在「算數學」[31][34]。
Prefill 平行處理整段提示詞,吞吐量高;Decode 一次一個 Token,單一 Token 的延遲通常較高。Decode 決定的是持續輸出速度(Tokens/s)與串流體驗,不是模型聰明程度。
建立 KV Cache
所有 prompt Token 一起算,通常吃算力。
讀 KV Cache
每一步只算新 Token,但要把權重與快取搬進來,通常吃頻寬。
很多 Token 可以平行算,GPU 較忙。
一次只算一個 Token,常在等資料搬過來。
Prefill 完成;時間與容量都是示意,不是實測。
Decode 不是「比 Prefill 快」。Prefill 平行處理整段 prompt,吞吐量高;Decode 一次一個 Token,單一 Token 的延遲通常較高。實際數值依模型、硬體、批次與推理引擎而異。
整段 prompt 可以平行送進矩陣運算,Token 越多,矩陣越大,GPU 的計算單元越忙。所以 prompt 越長,Prefill 越久,TTFT 越大。
一次只產生一個 Token,但每一步都要把大量權重與 KV Cache 從記憶體搬到運算單元。GPU 算得再快,資料來不及也沒有用。
Decode 常常在等記憶體搬運,而不是等計算。這就是為什麼「GPU 很強」不保證「每個 Token 都很快」;批次變大可以提高 GPU 利用率,但單一請求的等待不一定變短。
4-5
KV Cache 是注意力層留下來的 Key/Value 中間狀態。模型在 Prefill 時算過每個 Token 的 K、V,Decode 時就不必從頭重算,只要把新的 K、V 接進快取,就能預測下一個 Token。
它的代價是記憶體。KV Cache 的大小約與上下文長度、批次大小成正比;公式可以簡化成:2 × 層數 × KV heads × head_dim × Token 數 × 每個數值的 bytes。前面的 2 代表 Key 與 Value;若模型使用 GQA,KV heads 可能比注意力 heads 少很多[31][39]。
KV Cache 不是把先前的文字原封不動存起來,而是存運算後的中間表示。不同 Attention 或 Hybrid 架構可能有不同的快取結構;PagedAttention、GQA、KV Cache 量化等技術,則是在管理或縮小這塊記憶體[33]。
2 × 32 層 × 8 heads × 128 × 4,096 Tokens × 2 bytes
示意模型:32 層、head_dim 128、batch 1。實際 KV Cache 依模型 config、GQA、精度、快取格式與引擎而異。
KV Cache 是這次推理的暫存資料,不是長期記憶,也不是原始文字的備份。對話結束或請求結束後,它不會自動變成模型知識。
4-6
Context Window 是模型一次能容納的 Token 上限,通常輸入與輸出共用同一個上限。把上下文拉長,模型可以參考更多資料,但 KV Cache 會變大、Prefill 會變久,記憶體與時間成本都上升。
模型宣稱支援 128k 或更長的上下文,不代表你的電腦能用同樣的設定跑完。128k 的 KV Cache 可能佔掉數 GB 到數十 GB,還要加上權重與其他緩衝區;8 GB VRAM 的機器通常需要更小的 context、更低的 KV 精度,或把部分計算移到 CPU。
而且「放得進去」不等於「用得好」。長上下文中的關鍵資訊,可能因為位置、干擾或模型本身的能力而被忽略;重要資訊放在長文中間,效果不一定比放在開頭或結尾好。實際品質要用你的任務測,不要只看規格表[35]。
Prompt 與回覆都短,KV Cache 小、TTFT 短,適合 8 GB 等級的機器。
輸入可能佔滿大部分 context;Prefill 變久,KV Cache 也跟著成長。
每一輪都會累積 context;越聊越慢、越聊越吃記憶體,通常不是錯覺。
多份文件一起放進 context,總量容易超過上限;需要分段、檢索或先摘要,不能只靠加大 context。
長上下文可以增加可參考的資料,但也增加成本與干擾。重要場合請把關鍵資訊放在清楚的位置,並用實際任務驗證,而不是只看「支援 128k」。
4-7
模型放不進 8 GB VRAM,不代表只能放棄。常見做法有幾條,但每一條都是取捨,不是免費的魔法。
量化把權重用更低位元儲存,容量變小,但品質、格式相容性與速度要實測;KV Cache 不一定會一起變小[36][37][38][49]。CPU Offload 把部分權重或運算留在 CPU/系統記憶體,透過 PCIe 搬資料,通常比較慢,但可以容納更大的模型。GPU Offload 則是把部分層放到 GPU,受 VRAM 限制,也不是所有層都適合[40]。
多 GPU 可以把權重與計算分攤到多張卡,但需要 interconnect、軟體支援與設定複雜度。統一記憶體提供大容量,但頻寬通常低於獨立 GPU 的 GDDR7 或 HBM,而且作業系統與其他程式會一起使用。雲端或遠端推理不必自己承擔硬體,但有延遲、費用、隱私與網路依賴。
解決:權重容量太大、VRAM 不足。
代價:品質與格式相容性要實測;KV Cache 不一定變小。
不要期待:無損壓縮,或一定比較快。
解決:模型大於 VRAM,但系統記憶體還夠。
代價:PCIe 搬運與 CPU 計算通常更慢。
不要期待:和全部放在 GPU 一樣快。
解決:把部分層放在 GPU,保留部分加速。
代價:受 VRAM 限制,層的分配需要調整。
不要期待:所有層都適合放 GPU。
解決:把權重與計算分攤到多張卡。
代價:硬體、通訊、軟體支援與設定複雜度。
不要期待:插上去就會等比例變快。
解決:用大容量記憶體容納大型模型。
代價:頻寬通常低於獨立 GPU,且與系統共用。
不要期待:容量大就等於生成速度快。
解決:不必在自己的電腦上承擔全部硬體。
代價:延遲、費用、隱私與網路依賴。
不要期待:和本機一樣即時,或資料一定不外流。
勾選條件後,會標出比較相關的取捨;這不是效能排名,也不是唯一答案。
你要的是「跑得起來」、「跑得快」、「品質最好」、「資料不外流」,還是「預算最低」?不同目標會選到不同方案;沒有一個選項同時滿足全部條件。
4-8
看懂效能,不要只看一個「Tokens/s」。常用指標有:模型載入時間、TTFT(第一個 Token 的等待)、TPOT(每個輸出 Token 的時間)、輸出 Tokens/s、記憶體用量;再進階一點,還有輸入 Tokens/s、吞吐量(throughput)與同時請求數[32]。
最簡單的關係是:總延遲 ≈ TTFT + TPOT × 輸出 Token 數。TTFT 決定「多久開始看到回答」,TPOT 與 Tokens/s 決定「後續跑得多順」。吞吐量則是系統在所有使用者之間的總處理量,和單一使用者的延遲不是同一件事;批次變大可能提高吞吐量,但單一請求可能等更久。
總延遲 ≈ 0.8(TTFT)+ 0.12(TPOT)× 8 = 1.8 示意單位
數字全部是示意,不是任何硬體或模型的實測。
比較 Tokens/s 時,必須在同一個模型、同一個 Tokenizer、同一種量化、相同 context、相同硬體與相同批次設定下比。不同模型的 Tokens/s 不能直接代表「誰比較聰明」。
4-9
把兩個規格放在一起,會看到一個很重要的對比:RTX 5060 是「頻寬較高、容量較小」,AI Max 是「容量較大、頻寬較低」。
Windows + RTX 5060 8 GB 的 GDDR7 頻寬高,但容量只有 8 GB;適合 8B 級、4-bit 左右的小型模型與較短 context。若模型太大,就得量化、縮短 context,或把部分層 offload 到 CPU;這時速度會受 PCIe 與 CPU 影響,不一定比小模型快。
Linux + AMD AI Max 128 GB 的統一記憶體容量大,CPU 與 GPU 共享同一個記憶體池;像 gpt-oss-120b 這種 117B 總參數的 MoE 模型,4-bit 理論權重約 60 GB,128 GB 的機器「有機會」容納,但還要扣掉作業系統、KV Cache 與其他程式,而且 LPDDR5x 的頻寬低於獨立顯示卡的 GDDR7,生成速度不一定更快[42][43][45]。
8 GB VRAM
8 GB 是容量,不是「只能跑 8 GB 模型」;權重、KV Cache、緩衝區要一起算。
128 GB 統一記憶體
128 GB 是平台容量,不等於模型可無條件用滿;實際可用量會更少。
左右滑動查看完整表格
| 問題 | RTX 5060 8 GB | AI Max 128 GB |
|---|---|---|
| 8B 級 4-bit 模型 | 通常較有餘裕,context 可較長 | 容量充足,但頻寬不一定較高 |
| 120B 級 4-bit MoE | 通常無法完整容納,需量化、縮 context 或 offload | 有機會容納,仍要扣系統與 KV Cache |
| 主要風險 | 容量先撞牆 | 頻寬/共享記憶體先撞牆 |
同一個 27B 4-bit 模型(權重約 13.5 GB)、同一台 128GB AI Max,只改 context 與精度;硬體不變,變的是設定。
左右滑動查看完整表格
| 設定變化 | 可能發生什麼 |
|---|---|
| 4k context → 32k context | KV Cache 增加、Prefill/TTFT 變長;要觀察記憶體與等待。 |
| 4-bit → 8-bit | 權重約 13.5 GB → 約 27 GB;容量變緊,品質與速度要實測。 |
| 短輸出 → 長輸出 | Decode 時間增加;KV Cache 與 token 數一起成長。 |
示意比較,不是實測;數字只算權重/概念,不含完整執行成本,也不代表任何 Tokens/s 或 TTFT 實測。
單元小測
選一個答案,馬上會看到對錯與解析;三題都作答後會顯示得分。這一輪不保存進度,重新整理就會歸零。
期末練習
這不是要你算出精確的效能數字,而是確認你能把總參數、啟用參數、容量與頻寬放在一起判斷。
所有容量為理論估算;8 GB/128 GB 是硬體容量,不是可用量。沒有實測效能。
117B 是總參數,決定模型需要儲存與載入的權重大部分;5.1B 是每個 Token 實際啟用的參數,影響計算量,但不代表只需儲存 5.1B。
MoE 透過 Router 選專家,所以「總參數」與「啟用參數」要分開看。只看 5.1B 會低估記憶體;只看 117B 會高估每個 Token 的計算量。
117B 個參數都要儲存;以 4-bit 理論估算約 58.5 GB(117 × 0.5),實際格式會更大。
還要加 KV Cache、執行緩衝區與其他程式。因此 8 GB VRAM 不可能完整容納;128 GB 統一記憶體「有機會」容納,但仍要扣掉系統與 KV Cache。
A 只有 8 GB VRAM,無法完整載入 117B 級模型;需要更小的模型、更激進的量化、縮短 context,或 CPU offload。
B 有 128 GB 統一記憶體,容量上較有機會容納 4-bit 大型模型;但 CPU/GPU 共用、作業系統佔用、頻寬較低,速度不一定快。兩者都不是「一定可以」或「一定不行」。
先分清楚是 TTFT 慢,還是 Decode 的 Tokens/s 慢;再檢查 context 是否太長、KV Cache 是否過大、是否 offload 到 CPU/disk、量化格式、批次設定與 GPU 記憶體是否接近上限。
用同一模型、同一條件比較,不要只看規格表,也不要直接猜「GPU 壞了」或「模型太笨」。先定位瓶頸,再決定要不要換方案。
附錄
本單元第一次出現時附上英文原文;這裡把用到的詞集中列出,方便回頭查。
附錄
以下來源用於本頁的事實性說明。所有連結皆於 2026-11-18 查閱;連結指向站外頁面,會另開視窗。
Vaswani 等 · NeurIPS · 2017 · arXiv:1706.03762 · 查閱 2026-11-18
Brown 等(OpenAI)· 2020 · arXiv:2005.14165 · 查閱 2026-11-18
Ouyang 等(OpenAI)· 2022 · arXiv:2203.02155 · 查閱 2026-11-18
Ji 等 · ACM Computing Surveys · 2023 · arXiv:2202.03629 · 查閱 2026-11-18
Holtzman 等 · ICLR · 2020 · arXiv:1904.09751 · 查閱 2026-11-18
Fan、Lewis、Dauphin · ACL · 2018 · arXiv:1805.04833 · 查閱 2026-11-18
Hinton、Vinyals、Dean · 2015 · arXiv:1503.02531 · 查閱 2026-11-18
Lewis 等 · NeurIPS · 2020 · arXiv:2005.11401 · 查閱 2026-11-18
Qwen Team(Alibaba Group)· 2026 · GitHub · 查閱 2026-11-18
Google AI for Developers · 2026 · 查閱 2026-11-18
Sennrich、Haddow、Birch · ACL · 2016 · arXiv:1508.07909 · 查閱 2026-11-18
Qwen Team(Alibaba Group) · 2026 · 查閱 2026-11-18
Qwen Team(Alibaba Group) · 2026 · 查閱 2026-11-18
OpenAI · 2025 · 查閱 2026-11-18
Gemma Team(Google DeepMind) · 2026 · 查閱 2026-11-18
Qwen Team(Alibaba Group) · 2026 · 查閱 2026-11-18
Shazeer et al. · 2017 · 查閱 2026-11-18
Kaplan et al. · 2020 · 查閱 2026-11-18
NVIDIA · 2026 · 查閱 2026-11-18
NVIDIA · 2026 · 查閱 2026-11-18
AMD · 2026 · 查閱 2026-11-18
NVIDIA Newsroom · 2026 · 查閱 2026-11-18
NVIDIA · 2026 · 查閱 2026-11-18
Apple / MLX · 2026 · 查閱 2026-11-18
Apple Developer · 2026 · 查閱 2026-11-18
NVIDIA Technical Blog · 2017 · 查閱 2026-11-18
NVIDIA · 2026 · 查閱 2026-11-18
MSI · 2026 · 查閱 2026-11-18
AMD · 2026 · 查閱 2026-11-18
Apple Newsroom · 2020 · 查閱 2026-11-18
NVIDIA Technical Blog(Shashank Verma、Neal Vaidya) · 2023-11-17 · 查閱 2026-11-18
Databricks · 2023 · 查閱 2026-11-18
Kwon 等(vLLM) · 2023 · 查閱 2026-11-18
Pope 等 · 2022 · 查閱 2026-11-18
Liu 等 · 2023 · 查閱 2026-11-18
Dettmers 等 · 2023 · 查閱 2026-11-18
Frantar 等 · 2023 · 查閱 2026-11-18
Lin 等 · 2023 · 查閱 2026-11-18
Hugging Face Transformers Docs · n.d. · 查閱 2026-11-18
Hugging Face Accelerate Docs · n.d. · 查閱 2026-11-18
ggml-org/llama.cpp · n.d. · 查閱 2026-11-18
NVIDIA · 2026 · 查閱 2026-11-18
AMD · 2026 · 查閱 2026-11-18
MSI · 2026 · 查閱 2026-11-18
OpenAI · 2025 · 查閱 2026-11-18
OpenAI/Hugging Face · 2025 · 查閱 2026-11-18
Qwen Team(Alibaba Group) · 2026 · 查閱 2026-11-18
Qwen Team(Alibaba Group) · 2026 · 查閱 2026-11-18
Hugging Face Transformers Docs · n.d. · 查閱 2026-11-18
引用編號對應本頁段落中的 [1]~[49]。模型與產品名稱僅作教學示例,不代表任何廠商的背書。