LLM 101 · PART 01 · 看懂 AI

AI 到底是怎麼運作的?從 LLM 的運作原理,到 GPU 與硬體的秘密

你問一句,它幾秒內回你一段。它是真的知道,還是在預測下一個 Token?這篇不談數學推導,用四個單元、三十二節,把「模型怎麼運作、為什麼需要這些硬體、為什麼跑得慢」串成一條線。

  • 4 個單元
  • 32 節
  • 互動圖解
  • 可離線閱讀

PART 01 · 看懂 AI

UNIT 01

  • 7 節
  • 5 個互動
  • 3 題小測

LLM 真的會思考嗎?

從文字到生成答案

先從最基本的問題開始:當你送出一句話,模型到底做了哪些事?這個單元建立「文字 → Token → 模型運算 → 下一個 Token」的地基,後面的模型規模、硬體與效能都會接在這裡。

1-1

AI、機器學習與 LLM,到底有什麼不同?

你打開 ChatGPT 問問題,畫面背後其實不是一個巨大的應用程式,而是一個模型在產生文字。很多人把 AI、機器學習、生成式 AI、大型語言模型(LLM)混在一起講,但它們是範圍一層比一層小的集合。

人工智慧(AI)是最大的領域;機器學習(Machine Learning)是讓電腦從資料中學規律的方法;生成式 AI(Generative AI)是其中能產生文字、圖片、聲音的一支;LLM 則是專門處理語言的生成式模型。ChatGPT、LM Studio、Ollama 這類產品是「使用模型的應用程式」;寫作、客服、程式助手等其他應用也可能呼叫同一個模型。模型本身可以被替換,也可以被不同軟體呼叫。

把「模型」和「產品」分開,是後面理解模型大小、記憶體與速度的起點。

圖解 1-1 四層關係:AI → 機器學習 → 生成式 AI → LLM
AI、機器學習、生成式 AI 與大型語言模型的巢狀關係圖 四個同心橢圓由外而內分別標示 AI、機器學習、生成式 AI、大型語言模型,表示後者是前者的子集;最內層是 LLM。右側另外標示模型與應用程式的差別。 AI 人工智慧 讓電腦展現類似人類智慧的能力 機器學習 Machine Learning 從資料中學習規律,而不是逐條寫規則 生成式 AI Generative AI 能產生文字、圖片、聲音等內容 大型語言模型 LLM
巢狀圖表示「包含」關係,不是流程順序;右欄才是「模型 vs 應用程式」的區別。圖中的產品名稱只是範例。
一句話收斂

LLM 是模型;ChatGPT 是使用模型的產品。搞清楚這件事,才不會把「換一個 App」誤當成「換一個模型」。

1-2

模型是怎麼學會使用語言的?

你有沒有想過,為什麼模型回答問題時不用再「學」一次?因為學習發生在訓練階段,回答發生在推理階段,兩件事完全不同。

預訓練(Pre-training)時,模型讀進大量文字,反覆練習預測下一個詞元(Token),把語言規律調整進參數(Parameters)與權重(Weights)。後訓練(Post-training)再用指令與人類回饋調整行為,InstructGPT 就是這類做法 [3]。

當你送出提示詞(Prompt),發生的是推理(Inference):參數固定不變,模型只做計算並產生輸出。訓練一次、推理很多次,這是理解成本與速度的第一個關鍵。

圖解 1-2 訓練一次,推理很多次

訓練階段 · 一次

預訓練+後訓練

  1. 讀入大量文字與資料
  2. 反覆預測下一個 Token
  3. 調整參數與權重
  4. 用指令與回饋做後訓練
資料量大
時間長
硬體多

成本高、時間長,通常離線進行;權重會更新。

推理階段 · 每一次使用

使用模型回答

  1. 你輸入提示詞
  2. 模型用固定參數計算
  3. 產生下一個 Token
  4. 重複直到輸出完成
資料量小
時間短
硬體少

每次提問都重新計算,但不會更新權重;可以發生很多次。

相對量級為教學示意,不是實測數據;實際時間、資料量與硬體依模型與設定而異。重點是:訓練一次、推理很多次。

流程為概念示意。實際系統可能把後訓練拆分得更細,推理也可能批次處理多個請求。

所以「模型學到東西」是訓練階段的事;你在對話框裡教的臨時規則,不會自動寫回權重。除非系統另外設計了記憶或微調機制,否則下一次對話仍是從同一組參數出發。

1-3

電腦看不懂文字?先認識 Token

對模型來說,文字不是文字,而是一串數字。詞元化(Tokenization)就是把輸入切成詞元(Token),再對應到詞表中的編號。

Token 不等於字。中文可能一個 Token 對應一到多個字,也可能一個字被切成多個 Token;英文與程式碼的切法又不同。常見做法是子詞(subword)切分,例如 BPE [11]。不同模型有自己的詞表,同一個詞在 Qwen3.8 與 Gemma 4 的 Token 與 ID 也可能不同 [9][10]。

點下面的 Token,看看示意編號。記住:Token 數量會影響上下文長度與成本,但「幾個字等於幾個 Token」沒有通用答案。

圖解 1-3 三組預先切好的 Token 示例

請用簡單的話解釋什麼是大型語言模型

點選任一個 Token,看看它的示意 ID。

␣ 代表空白;ID 為示意值,不同模型、不同 Tokenizer 的切法與編號都不同。本圖不支援任意文字即時切詞。

三組示例分別示範中文、英文與程式碼的切分差異;Token 數量與邊界皆為示意。

目前示例的示意數量:中文 11 個、英文 7 個、程式碼 14 個 Token。數量依 Tokenizer 與模型而異,這裡只用來觀察切法差異。

常見誤解

「一個中文字就是一個 Token」並不成立;反過來說,一個 Token 也可能包含多個字。實際數字要用該模型的 Tokenizer 才算得準。

1-4

Token 變成數字後,模型到底在算什麼?

Token ID 的示範在 1-3;這一節接著看 ID 之後的 Embedding 與運算。Token 進到模型後,會先變成一個個數字。這個向量叫嵌入(Embedding),可以想成這個 Token 在模型內部的位置座標。

接著,這些向量會穿過多層網路,每一層都用權重做運算;權重是訓練學到的數值,不是工程師臨時寫的規則 [1]。經過多層處理,模型對詞表中的候選 Token 各自算出一個分數,再轉成機率。

分數最高的不一定會被選中,因為生成時還會套用取樣策略。這一節不需要矩陣公式,只要記得:文字 → 數字 → 多層運算 → 下一個 Token 的機率 [2]。

圖解 1-4 從 Token 到「下一個 Token」的分數 左右滑動
Token 轉成嵌入向量、經過多層運算,最後產生下一個 Token 分數的流程 左側是三個輸入 Token,箭頭指向嵌入向量方格,再指向多層網路,最後指向右側的候選 Token 分數長條圖;所有數字為示意。 輸入 Token 大型 語言 模型 示意 嵌入向量 一串數字 (示例) 多層運算 第 1 層 第 2 層 第 N 層 權重在這裡參與計算 下一個 Token 分數 (示意,非實際模型輸出) 很 0.62 不錯 0.18 是 0.09 … 0.06 示意流程:Token → 嵌入 → 多層運算 → 分數 →(取樣)→ 下一個 Token
分數與長條比例為示意;實際模型的分數、候選數量與層數都不同。分數會再經過 Softmax 等轉換才成為機率。

1-5

什麼是 Attention?為什麼模型需要上下文?

同一個字,在不同句子裡可能指向不同意思。英文的 bank 可以指銀行,也可以指河岸;只看這個字,你無法判斷。

注意力機制(Attention)讓模型在處理某個位置時,參考上下文(Context)中其他位置的資訊。前後文是 deposit money 還是 river,bank 的內部表示就會不同 [1]。

下面切換兩種情境,看看哪些詞被連在一起。弧線粗細只是視覺強調,不是真實的注意力權重,也不代表模型像人一樣「理解」了河岸。

上下文(Context)是模型這次能一起參考的 Token 範圍,包含提示詞與先前的對話。上下文越長,模型能參考的資訊越多,但需要保存與計算的中間狀態也越多;後面的 KV Cache 就是其中一個成本。

圖解 1-5 同一個 bank,兩種上下文 左右滑動
bank 在「存錢」與「河岸」兩個情境中的上下文關聯示意 兩組英文句子,目標詞 bank 以方框標示;情境 A 的 money 與 deposit 以弧線連到 bank,情境 B 的 river 與 sat 以弧線連到 bank。弧線僅為示意,不代表真實注意力權重。 I went to the bank to deposit money money、deposit 與 bank 一起被考慮 弧線=示意「哪些詞被一起考慮」,粗細不是真實 Attention 權重

情境 A:bank 是「銀行」。句子中的 money 與 deposit 提供了金額、存款的線索。

兩個句子都用英文 bank,是刻意保留一詞多義;中文翻譯放在切換按鈕上。示意圖不宣稱模型真的「理解」了任何一側。

上下文長度

上下文越長,要參考的位置越多

短句、段落與長文中,目標詞需要參考的位置數量示意 三列由左至右表示上下文變長:短句連到少數位置,段落連到更多位置,長文連到大量位置;弧線數量為概念示意,不是真實 Attention 權重。 短句 bank 3–5 個位置 段落 bank 20–50 個位置 長文 bank 數百~數千個位置
弧線數量是概念示意,不是真實 Attention 權重;數字為相對量級,不是特定模型的實測值。上下文越長,後面要保存的 KV Cache 也越大。

現代模型不一定每一層都用相同的 Attention 設計;2-6 會把這個「另一個分類軸」接回來。

1-6

LLM 如何一步步生成一個完整答案?

生成不是一次吐出整段答案,而是一個 Token 接一個 Token。這種方式叫自迴歸生成(Autoregressive Generation):每次預測下一個 Token,把它接回輸入,再預測下一個,直到停止條件成立 [2]。

模型會先對候選 Token 算分數,再用溫度(Temperature)等設定調整機率分布。溫度低,分布較集中、輸出較穩定;溫度高,分布較平坦、結果較多樣,但不保證「更有創意」[5][7]。實務上也常搭配 Top-k 或 Nucleus 取樣,限制每次要從哪些候選中抽選[6]。

先看五步流程,再拖動滑桿與抽樣,觀察同一組分數如何改變。所有分數與機率都是示意,不是特定模型的實際輸出。

圖解 1-6 一次只產生一個 Token:生成流程

步驟 1/4:輸入提示詞

輸入
請用三點說明?
Tokenization(詞元化) Embedding(嵌入) 模型運算
01 模型運算 讀上下文與權重,算出下一個 Token 的分數
02 候選機率
很—
不錯—
是—
…—
03 取樣

選出 —

已生成

…

同一畫布上的「預測 → 取樣 → 接回輸入 → 再預測」;候選分數與輸出為示意,不是特定模型的實際結果。有些系統會用多 Token 預測或推測式解碼加速,但基本仍是逐 Token 生成。
互動 1-6 Temperature 機率實驗
抽樣結果 尚未抽樣 拖動滑桿改變分布,再按「抽一次」。

四組分數固定為示意值,透過 Softmax 隨溫度重算機率;長條為四捨五入後的百分比,總和可能因進位略有差異。低溫分布集中、較穩定;高溫分布平坦、較多樣,但不保證更有創意,也不保證每次輸出不同。

這個實驗只示範「溫度如何改變取樣分布」,不代表任何特定模型的實際輸出或品質。

低溫 0.2

今天天氣很不錯。

分布集中、較穩定、較保守。

示意輸出

中溫 0.7

今天天氣很適合出遊。

平衡、常見但仍有變化。

示意輸出

高溫 1.2

今天天氣略帶涼意,但很適合散步。

分布平坦、較多樣,但不保證更好。

示意輸出

三句都是示意輸出,不是特定模型;低溫較穩定、高溫較多樣,但不保證品質。Top-k:只從機率最高的前 k 個候選抽樣;Top-p(Nucleus):從累積機率達 p 的候選集合抽樣。兩者都不是保證品質,只是限制抽樣範圍。

有些系統會用多 Token 預測(multi-token prediction)或推測式解碼(speculative decoding)一次產生多個候選,再由模型驗證;這不改變「基本仍是逐 Token 生成」的理解。

一句話收斂

生成是「預測 → 取樣 → 接回輸入 → 再預測」的迴圈;溫度調整的是每一步的取樣分布,不是模型知識的多寡。

1-7

為什麼 AI 有時會一本正經地胡說八道?

模型說話流暢,不代表內容正確。幻覺(Hallucination)是指模型產生看似合理、實際錯誤或沒有根據的內容。

成因很複雜:訓練資料有缺口、知識有截止時間、問題本身模糊或前提錯誤,取樣過程也可能讓少見但合理的說法被放大 [4]。它不是「查不到就隨便編」,也不只是「只會猜下一個字」這麼簡單。

實務上會用檢索增強生成(Retrieval-Augmented Generation, RAG)接上外部資料、搭配工具查證,或由人複核 [8]。這些方法能降低風險,但不能保證完全正確。

知識有邊界

訓練資料有時間與範圍限制;沒學過、或之後才發生的事,模型不會自動知道。

問題本身有陷阱

模糊的描述、錯誤的前提、缺少關鍵條件,都可能讓模型順著錯誤方向補完。

流暢不等於正確

模型擅長產生「像答案的句子」,但語句通順和事實正確是兩件事。

可操作的自保習慣

看到流暢但關鍵的答案時,先問三件事:它的資訊可能來自哪裡?有沒有可查證的來源?如果答錯,代價是什麼?需要高準確度的場合,把模型輸出當草稿,而不是判決。

回到開場的問題:它不是在資料庫裡找到答案,也不是真的「知道」;它是在既有參數與當下上下文的基礎上,逐步預測出最可能的文字序列。理解這件事,你就能同時看見它的能力與限制。

單元小測

用三題確認你的心智模型

選一個答案,馬上會看到對錯與解析。三題都作答後會顯示得分;按「重新作答」可以全部重來。這一輪不保存進度,重新整理頁面就會歸零。

PART 01 · 看懂 AI

UNIT 02

  • 8 節
  • 3 個互動
  • 3 題小測

為什麼 LLM 有大有小?

27B、35B-A3B、120B——這些數字看起來像同一種「大小」,其實分別在回答「模型有多大」、「每個 Token 要算多少」與「能力是否適合你的任務」。先別急著排順序,這一單元要把這三件事拆開。

2-1

模型名稱後面的 2B、27B、120B 到底是什麼?

看到 27B,先把它讀成「大約 270 億個參數」。B 是 Billion(十億),不是 byte,也不是某種能力分數。

參數包含權重、嵌入(embedding)與正規化(normalization)等數值;權重是最常見的一大類。你可以把參數想成模型「可以調整的旋鈕」,但它們不是分門別類的知識條目,也不是一本可以直接翻閱的百科全書 [12]。

參數量是模型規模的一種描述,不是能力評分。兩個同為 27B 的模型,可能因為訓練資料、架構與後訓練方式不同,在不同任務上差很多;反過來說,一個較小的模型也可能更適合你的任務。模型名稱通常也會取整,27B 不代表精確到個位數。

27B≈ 27 × 109 個參數
權重(Weights) 嵌入(Embedding) 正規化與其他參數

參數量是規模描述,不是能力排名;也不告訴你精度、格式或實際檔案大小。

先分清楚

B 是十億個參數,不是 GB,也不是模型檔案的 byte 數。同一組參數用 16-bit、8-bit 或 4-bit 儲存,檔案大小會差好幾倍。

2-2

為什麼大模型通常需要更多記憶體?

模型跑起來之前,權重必須先有地方放。每個參數都要佔用儲存空間;在 16-bit 精度下,一個參數大約佔 2 bytes。

圖解 2-2 先看精度:同一個 27B,三種儲存方式
16-bit 每個權重 16 個位元 約 54 GB
8-bit 每個權重 8 個位元 約 27 GB
4-bit 每個權重 4 個位元 約 13.5 GB

同一個 27B 模型、同一組權重;差別只在「每個權重用幾個位元儲存」。容量為十進位理論值,只算權重,不含 KV Cache、緩衝區與格式 overhead。

精度不是「模型知識量」的開關。4-bit 檔案較小,但可能有品質與相容性取捨;不是一鍵變聰明或變笨。

所以 27B 模型的權重大約是 54 GB,教材示例的 120B 模型大約是 240 GB。這是十進位的理論值,而且只算權重,沒有包含 KV Cache(4-5 會解釋)、執行緩衝區、驅動程式與記憶體碎片 [12][14]。

把精度降到 8-bit 或 4-bit,每個參數的 bytes 變少,容量也跟著下降;27B 的 4-bit 理論值約 13.5 GB。但量化(Quantization)不是免費的:可能影響輸出品質與相容性,實際檔案還會有量化 metadata、embedding 與格式額外開銷。下一節會看到,即使 MoE 只啟用部分專家,總權重仍然要儲存。

互動 2-2 再看規模與精度:理論權重容量
理論權重容量 ≈ 54 GB 27B × 16-bit ÷ 8

GB ≈ 參數量(B)× 位元數 ÷ 8。十進位 GB、只算權重;不含 KV Cache、activation、buffer、驅動、碎片與量化 metadata。這是理論估算,不是實際 VRAM 需求。

120B 是教材示例;gpt-oss-120b 官方為 117B 總參數、5.1B 啟用 [14]。

切換模型與精度,觀察理論權重如何改變;MoE 的容量要看總參數,每 Token 計算量才看啟用參數。
13.5 GB 不是「只要 13.5 GB VRAM(3-3 會解釋)就能跑」

那只是 27B 在 4-bit 下的理論權重。實際部署還要加上 KV Cache、執行緩衝區、驅動與碎片。

2-3

Dense Model:每次都使用整個模型?

Qwen3.8-27B 是 Dense(稠密)模型。對每個 Token,模型的主要層都會參與計算,沒有路由器幫你挑選專家 [12]。

你可以想成每一題都由同一個完整團隊處理。這也是為什麼在簡化比較裡,Dense 的「總參數」與「每個 Token 用到的參數」會落在同一個數量級;它沒有 MoE 那種「總共 35B、每次只啟用 3B」的差距。

但 Dense 不等於「每個權重都同等重要」。同一個 Token 在不同上下文會產生不同的注意力與激活值,有些連結貢獻大、有些幾乎沒有;「全部參與」說的是沒有條件式專家選擇,不是每個乘法都同樣關鍵。Dense 的優點是結構相對單純、行為比較好預測;缺點是模型變大時,每個 Token 的計算量也跟著變大 [17]。

Token 第 1 層 第 2 層 … 輸出
Dense 不是「比較笨」的同義詞

Dense/MoE 是「權重怎麼被啟用」的分類,不是「誰比較聰明」的分類。要不要用 MoE,取決於記憶體、計算、延遲與品質的取捨。

2-4

MoE:為什麼模型可以很大,卻只啟用部分參數?

MoE(Mixture-of-Experts,混合專家模型)把模型裡的一部分運算拆成許多「專家」,再用路由器(Router)替每個 Token 選少數幾個專家。

Qwen3.6-35B-A3B 有 35B 總參數,但每個 Token 只啟用約 3B;gpt-oss-120b 則是 117B 總參數、5.1B 啟用 [13][14]。這就是「模型很大,但每次只動用一部分」的意思。

要小心:專家不是「法律專家、醫療專家、寫程式專家」這種人類職業分類。它們是訓練出來的子網路,學到什麼分工由資料與路由決定,通常也不能直接翻成好懂的工作名稱。同一個專家可能同時處理語法、程式碼與多語言片段;路由器也不是在讀懂問題後查表選科別 [17]。

MoE 的好處是每個 Token 的計算量較小,代價是總權重仍然要儲存與存取,路由與負載平衡也需要設計。它是一種取捨,不是「一定比 Dense 好」。

圖解 2-4 同一個 Token,Dense 與 MoE 的兩條路

同一個輸入 Token「請」

DENSE 每個 Token 走過所有主要層 Qwen3.8-27B · 27B Dense(官方示例)

輸出:下一個 Token 的分數

MOE Router 只選少數 Expert Qwen3.6-35B-A3B · 35B 總/約 3B 啟用(官方示例)
Router

合併被選中的 Expert 輸出

左右滑動查看完整表格

同一個 Token 的兩種路徑:數字為官方示例,名稱取整
項目Dense(27B)MoE(35B-A3B)
總參數27B35B(gpt-oss-120b 為 117B)
每 Token 啟用27B(主要層)約 3B(gpt-oss-120b 為 5.1B)
權重儲存27B 全存35B 全存,不是 3B
每 Token 計算大:主要層都算小:只算被選中的 Expert
主要取捨結構單純、行為穩定;模型變大計算也變大總容量大、每 Token 計算省;路由與儲存仍複雜

圖上只畫 9 個專家(E1–E8+S);Qwen3.6-35B-A3B 官方為 8 routed+1 shared、共 256 個專家,其餘 247 個未畫出。Expert 是訓練出來的子網路,不是人類職業;MoE 省的是每 Token 計算,不是總儲存。

左 Dense、右 MoE,共用同一個輸入 Token;預設並排,讓「全層參與」與「Router 選專家」一眼可比。

用公司比喻:公司有很多部門,但處理一件任務時,不會叫所有部門同時投入;Router 像派案窗口,只挑少數專家。比喻只是輔助,專家不是人類職業。

2-5

總參數與啟用參數,為什麼一定要分開看?

看到 35B-A3B,最常見的誤解是把 A3B 當成「這是 3B 模型」。A3B 的 3B 是每個 Token 啟用的參數;模型仍然有大約 35B 的總權重,必須被儲存、載入與存取。

總參數(Total Parameters)決定「要放多少東西」,啟用參數(Active Parameters)決定「每個 Token 要算多少」。這兩個數字回答不同問題,不能互相取代:估算記憶體時看總參數;估算每 Token 的計算量時才看啟用參數。實際速度還會受到記憶體頻寬、批次、框架與硬體影響,不能只靠這兩個數字推 [13]。

左右滑動查看完整表格

本單元用到的模型規模對照(官方數字;名稱取整)
模型架構總參數每 Token 啟用/有效
Qwen3.8-27BDense27B27B(Dense 主幹,簡化比較)
Qwen3.6-35B-A3BMoE35B3B
gpt-oss-20bMoE21B3.6B
gpt-oss-120bMoE117B5.1B
Gemma 4 26B A4BMoE26B約 3.8B

官方數字與名稱取整可能略有差異;重點是「總參數」與「每 Token 啟用」不是同一個數字。

一句話

35B-A3B 不是 3B 模型:它要放 35B 的權重,但每個 Token 只算 3B 的量級。

2-6

Hybrid Architecture:不只有 Dense 和 MoE

到這裡,Dense 與 MoE 講的是「權重怎麼被啟用」。但模型還有一個獨立的設計軸:Attention 怎麼處理上下文。

Hybrid Architecture(混合架構)把不同的 Attention 或序列處理機制混在一起,目標通常不是「聽起來比較炫」,而是用更少的成本處理更長的上下文。以 Qwen3.8-Flash-Next 為例:它是 MoE,主模型 125B、每個 Token 約 6B 啟用,另外有 51B 的 N-gram embedding;Attention 採用 Gated DeltaNet(把歷史壓縮成較小的狀態)與 Qwen Sparse Attention(用輕量索引挑選重要上下文)的混合設計 [16]。

為什麼開發者不只是一直加參數?因為參數變多,計算與記憶體成本也變高;上下文變長,Attention 的成本更明顯。Hybrid 的目標是在有限成本下換到更好的長上下文與推理效率。它不是免費的,也不是每個任務都需要。

Token 序列
Gated DeltaNet把歷史壓縮成較小的狀態,降低長上下文成本
Qwen Sparse Attention用輕量索引挑選重要上下文
MoE 專家只畫少數幾個,示意用
概念示意,非實際層數。125B 主模型 + 51B N-gram embedding,約 6B 啟用;不要直接把兩個數字相加後拿來跟 27B 比倍數。
圖解 2-6 N-gram embedding:用查表擴充容量,不是再加專家
可以放主機 RAM 查表位置可事先算好,非同步 prefetch;不必一直佔用 GPU VRAM。

目前部分推理實作(例如 vLLM)的 N-gram/PLE offload 以 NVIDIA 平台為主;其他平台的支援程度需再確認。

Dense 加參數

每 Token 全部主要權重都要算。

MoE 加專家

每 Token 只算少數 Expert,但總權重仍要存。

N-gram 加查表

幾乎不增加每 Token FLOPs;代價是主機記憶體與頻寬。

好處與代價

好處:容量大、每 Token 計算少、可 offload;代價:需要大量主機記憶體、prefetch 頻寬與平台支援。它不是另一種 MoE,也不是 KV Cache。125B 主模型與 51B N-gram 要分開講,不要直接相加後跟 27B 比倍數。

N-gram embedding 用「查表」提供常見片語與局部模式的現成表示;查表不是專家路由,也不代表每個 Token 都會增加大量計算。

列:Dense/MoE | 欄:Attention/Hybrid

權重啟用 \ 序列處理
Attention 為主
Hybrid/混合序列處理
Dense
Dense + Attention主要層全部參與,序列用標準 Attention。
Dense + Hybrid主要層全部參與,序列混合多種機制。
MoE
MoE + AttentionRouter 選專家,序列用標準 Attention。
MoE + HybridRouter 選專家,序列混合多種機制。

Dense/MoE 與 Attention/Hybrid 是兩個獨立軸;四格是概念分類,不是所有模型都能整齊塞進其中一格。

兩個分類軸不要混在一起

Dense/MoE 描述權重啟用方式;Hybrid 描述 Attention/序列處理方式。一個模型可以同時是 MoE 與 Hybrid。

2-7

Gemma 4:同一個系列,為什麼有這麼多大小?

Gemma 4 不是一個模型,而是一個家族:E2B、E4B、12B、26B A4B、31B。它們的大小與架構不同,適合的裝置也不同。

E 代表 Effective(有效參數),A 代表 Active(啟用參數)。E2B 的 2.3B 是有效參數,但包含 embedding 的總參數約 5B;E4B 是 4.5B 有效、約 8B 總。26B A4B 是 MoE:26B 總參數、約 3.8B 啟用;A4B 的 4 是級距,不是精確的 4B [15]。

所以選 Gemma 4 不是比 2、4、12、26、31 誰大。你要看:裝置有多少記憶體、需不需要多模態、要文本還是影像、能不能接受較慢的推理。同一個家族裡,小模型與 MoE 可以並存,各自解決不同的部署問題。

E2B

約 5B總參數

2.3B 有效 · Dense/邊緣

手機、瀏覽器、邊緣裝置

E4B

約 8B總參數

4.5B 有效 · Dense/輕量

較大的邊緣裝置

12B

12B總參數

Dense · 統一多模態

個人電腦、多模態任務

26B A4B

26B總參數

約 3.8B 啟用 · MoE

高吞吐、進階推理

31B

31B總參數

Dense

工作站、較高品質

E 不是 Expert,A 不是 Architecture

E 是 Effective,A 是 Active。26B A4B 不是「4B 總參數」,也不是「26B 全部啟用」。

2-8

模型比較大,就一定比較聰明嗎?

參數多通常代表模型有更大的容量 [18],但「容量」不等於「在你的任務上表現更好」。訓練資料的品質與範圍、架構、後訓練方式、推理設定,都會改變結果。

兩個參數量相近的模型,可能一個擅長程式、一個擅長多語言;一個 27B 模型也可能在某些任務上贏過更大的模型。同一個模型,開啟 Thinking(先產生較長的推理再回答)與關閉 Thinking,表現與速度可能不同;Instruct 版本通常針對指令遵循做過後訓練;Multimodal 版本能處理影像、音訊等非文字輸入,但不代表每一種都擅長 [12][15]。

所以看到 120B 不要直接下結論。先問:我要解決什麼任務?我的硬體放得下哪個總參數?我需要多少速度?那個模型支援我的語言、工具與檔案格式嗎?最後才是看評測。評測是特定任務的成績,不是「聰明程度」的總分。

01任務

你要的是問答、寫程式、翻譯,還是多模態?

02記憶體

總參數與精度放得下嗎?KV Cache 留了多少?

03速度

你能接受多長的等待與每秒多少 Token?

04語言與模態

中文、程式碼、影像、音訊,支援到什麼程度?

05工具與授權

推理框架、量化格式、授權與部署環境可用嗎?

單元收斂

參數量告訴你模型有多大;Dense/MoE 告訴你每個 Token 要動用多少;總參數與啟用參數則分別決定「要放多少」與「要算多少」。把這三件事分開,你就不會被型號後面的數字牽著走。

單元小測

用三題確認你真的分開了嗎?

選一個答案,馬上會看到對錯與解析;三題都作答後會顯示得分。這一輪不保存進度。

PART 01 · 看懂 AI

UNIT 03

為什麼 AI 需要 GPU?

認識現代個人 AI 電腦

你面前有兩台電腦:一台是 Windows 桌機,裝著 RTX 5060、8GB 顯示記憶體;另一台是 AMD AI Max,擁有 128GB 統一記憶體(Unified Memory)。128GB 看起來贏定了,但把同一個模型放進去,可能一台根本裝不下,另一台裝得下卻沒有比較快。為什麼會這樣?

  • CPU 與 GPU 的分工
  • 容量、頻寬、算力
  • VRAM 與統一記憶體
  • 四種硬體情境

3-1

CPU 和 GPU 到底差在哪裡?

電腦裡有兩種很不同的處理器。它們不是「誰一定比較強」,而是為了不同形狀的工作而設計。

中央處理器(CPU)像一位經驗豐富的總管。核心數不多,但擅長分支判斷、作業系統排程,以及各種不同類型的工作。圖形處理器(GPU)像一大群同時工作的計算工人:單一核心較簡單,但可以同時處理大量相似的運算。

LLM 的推理與訓練,大部分時間在做矩陣乘法與大量數值運算。這種工作很容易拆成很多小塊平行處理,所以 GPU 特別適合[27]。但如果工作流程充滿判斷、資料量很小,或需要頻繁在 CPU 與 GPU 之間搬資料,CPU 可能更合適。

還有一個常見誤解:CPU 不是不能跑 LLM。今天許多小模型可以在 CPU 上執行,只是速度、可承載的模型大小與耗電不同。重點不是「誰比較強」,而是「這種工作適合哪種設計」。

圖解 3-1 少數大核 vs 大量小核
CPU 少量核心・複雜控制

擅長分支、排程、作業系統與多樣化的工作。

GPU 大量核心・平行運算

擅長大量、相似、可以拆開平行處理的數值運算。

作業系統排程、分支判斷與檔案處理,通常由 CPU 主導;GPU 的優勢在於大量相似運算一起做。

核心比例與工作分配為概念示意,不代表實際晶片的核心數。

CPU 與 GPU 是設計取向不同,不是「GPU 一定比 CPU 快」。需要頻繁搬資料或大量分支時,GPU 的優勢會被抵銷。
一句話收斂

看工作形狀,不要只看處理器名稱:大量相似運算交給 GPU,複雜控制與小批次工作交給 CPU。

3-2

GPU 為什麼適合 LLM?CUDA Cores 與 Tensor Cores

GPU 裡面有兩種常被混淆的運算單元。它們是分工,不是彼此取代。

CUDA Core 是通用型平行運算核心,負責大量一般的數值運算;Tensor Core 則是專門為矩陣乘加設計的單元,能更有效率地處理神經網路裡密集的矩陣運算。當運算的形狀與精度符合支援條件時,Tensor Core 可以大幅加速。

以 RTX 5060 為例,它採用 Blackwell 架構,有 3840 個 CUDA Core 與第 5 代 Tensor Core,官方標示 614 AI TOPS [19]。這是特定精度與條件下的峰值,不能直接跟別家的 TOPS 比 [26]。

為什麼 LLM 特別愛 GPU?因為模型每一層都有大量矩陣運算,且可平行拆開;CUDA 生態則讓 PyTorch、llama.cpp 等工具更容易用到 NVIDIA GPU [27]。但 Tensor Core 很快,前提是運算形狀與精度受支援。

圖解 3-2 CUDA Core 與 Tensor Core 的分工 左右滑動
CUDA Cores 通用平行運算

處理大量一般數值運算;彈性高,但矩陣運算效率不如專用單元。

Tensor Cores 矩陣乘加

為矩陣乘加設計;需要合適的運算形狀與精度,不是所有運算都能直接套用。

一般數值運算主要靠 CUDA Core;Tensor Core 不會取代所有 CUDA Core 的工作。

614 AI TOPS 為官方峰值,實際模型速度不等於這個數字。

CUDA Core 與 Tensor Core 是互補關係;TOPS 是特定精度與條件下的峰值,不能跨品牌直接排名。
不要把峰值當成速度

AI TOPS 是硬體在特定精度與條件下的理論峰值。模型能不能跑、跑得多快,還取決於容量、記憶體頻寬、軟體支援與實際工作負載。

3-3

RAM、VRAM、SSD:模型到底存在哪裡?

模型下載後,第一個家是固態硬碟。但它不會一直待在那裡執行。

固態硬碟(SSD)容量大、關機後資料還在,但讀取速度遠低於記憶體,所以模型不能一直放在那裡執行。執行時,權重會先被讀進系統記憶體(RAM),或直接載入 GPU 的顯示記憶體(VRAM);推理過程中的中間資料、KV Cache 與緩衝區也需要記憶體。

獨立顯卡的 VRAM 是 GPU 專用,頻寬高但容量有限;統一記憶體(Unified Memory)則讓 CPU 與 GPU 共用同一個池子,容量大,但彼此會競爭[20][21]。這也是為什麼「模型檔案 8GB,8GB VRAM 就一定能跑」是錯的:還要留給 KV Cache、執行緩衝、驅動與系統。

反過來說,SSD 有 1TB 也不代表能把 1TB 當 VRAM 用。模型檔案大小、執行時記憶體、儲存空間是三個不同概念。

圖解 3-3 從 SSD 到 GPU:五段資料流
01 SSD 模型檔案 容量大、速度慢
02 載入程式 讀取設定與權重 mmap/直接載入
03 系統 RAM 暫存或映射 CPU 可存取
04 GPU VRAM 權重/快取 獨立顯示卡
05 GPU 執行 模型運算 讀權重與 KV Cache

獨立 VRAM:權重從 RAM 經 PCIe 複製到 VRAM;執行時 GPU 再讀取。

mmap、直接載入與 CPU offload 是可選路徑;不代表每次都會完整複製所有權重。實際流程依推理框架與設定而異。

下載完成、模型載入、GPU 開始運算,是三個不同時間點;SSD、RAM、VRAM 是三種不同的資料位置。
三個數字,不要混在一起

儲存空間(SSD)回答「檔案放哪裡」;容量(RAM/VRAM)回答「執行時裝不裝得下」;兩者都不是速度的保證。

3-4

VRAM 容量、記憶體頻寬、GPU 算力,是三件不同的事

硬體規格最容易犯的錯,是把三個數字混在一起:容量、頻寬、算力。

容量(GB)回答「裝得下多少」:8GB 與 128GB 的差別,首先是能不能放進權重與 KV Cache。頻寬(GB/s)回答「每秒能搬多少資料」;解碼常需讀取權重,頻寬不足時,GPU 再快也會被餵不飽。算力(FLOPS/TOPS)回答「每秒能做多少運算」,但要注意精度與條件。

以 RTX 5060 為例:8GB GDDR7、128-bit、3840 CUDA Core、614 AI TOPS;以 28 Gbps 換算,理論頻寬約 448 GB/s(換算值,非官方頁面直接列出的實測)[19][28]。AMD AI Max+ 395 則是最高 128GB、256-bit LPDDR5x-8000,理論頻寬約 256 GB/s [21]。容量大不等於頻寬高。

這三個指標不能合成一個「效能分數」,也不能直接換算成某個模型的 Tokens/s。那需要實測與完整條件。

圖解 3-4 同一個模型,卡在哪一關?
同一個模型(示意)

27B 4-bit

13.5GB 權重+4GB KV Cache+2GB 緩衝
≈ 19.5GB

教學假設,不是實測;KV Cache 依 context 而變。
容量門

8GB VRAM:19.5GB 放不下,直接卡住。128GB UMA:放得下,但還要扣 OS 與其他程式。

頻寬門

放得下不代表快。Decode 每一步都要搬權重與 KV Cache;頻寬不足時,GPU 會等資料。

算力門

大量矩陣運算需要平行算力;但只有多任務、批次或長輸出時,才容易把算力吃滿。

容量

裝得下多少?

8GB vs 128GB

權重、KV Cache、緩衝區都要放進去。

頻寬

每秒搬多少?

448 vs 256 GB/s(理論換算)

Decode 常受記憶體頻寬限制。

算力

每秒算多少?

614 vs 126 TOPS(峰值)

精度與運算形狀會影響實際效率。

448/256 GB/s 是理論換算,TOPS 是特定精度下的峰值;兩者都不能直接推算 Tokens/s。

先問模型卡在哪一關:容量、頻寬,還是算力?三個指標不能合成一個「效能分數」。
模型放不下先看容量(GB)
裝得下但很慢再看頻寬(GB/s)
多任務/批次再看算力(FLOPS/TOPS)

這不是診斷樹,只是先看哪個指標的順序;實際瓶頸仍要用工具量測。

不要從規格直接推算 Tokens/s

容量、頻寬、算力只是起點。模型的層數、KV Cache、批次大小、量化格式與軟體實作,都會改變實際速度。

3-5

NVIDIA:GeForce RTX、RTX PRO、DGX Spark、RTX Spark 差在哪?

這一節不談資料中心 GPU,只談個人電腦與桌面 AI 硬體。先分清楚「顯示卡」與「整合式系統」。

GeForce RTX 是一般個人電腦用的獨立顯示卡,像 RTX 5060 8GB,靠 CUDA 生態跑遊戲、創作與本地模型[19]。RTX PRO 是偏向專業工作站的顯示卡系列,重點在大容量、企業驅動與 ISV 認證,適合設計、工程與專業 AI 工作流;它不是「比較貴的遊戲卡」[23]。

DGX Spark 與 RTX Spark 不是單獨的顯示卡,而是整合式系統。DGX Spark 是 GB10 Grace Blackwell、128GB 統一記憶體的桌面 AI 開發平台 [20];RTX Spark 是 Windows AI PC,結合 20 核 Grace CPU、Blackwell RTX GPU 與最高 128GB 統一記憶體 [22]。兩者定位不同:一個偏開發平台,一個偏 Windows 個人電腦。

圖解 3-5 四種產品定位:先分「單卡」與「整台機器」

單卡 ←→ 整合系統|消費者 ↕ 專業

單卡・專業

RTX PRO

大容量、ECC、企業驅動與 ISV 認證;工作站與專業 AI。

不是遊戲卡;型號與配置會變。

整合系統・開發

DGX Spark

GB10 Grace Blackwell、128GB 統一記憶體;桌面 AI 開發平台。

不是單張顯卡,定位是開發機。

單卡・消費者

GeForce RTX

一般桌機與筆電;CUDA 生態成熟,遊戲、創作與本地模型。

VRAM 容量依型號而定。

整合系統・Windows AI PC

RTX Spark

20 核 Grace CPU+Blackwell RTX GPU;最高 128GB 統一記憶體。

與 DGX Spark 定位不同,別混用。

位置是產品定位示意,不是效能或價格排名;實際速度仍需以模型與軟體實測。

先問「我要買一張卡,還是買一台機器?」再比較容量、生態與定位,不要只看型號。
先問「我要買卡,還是買一台機器?」

想升級既有桌機,通常看 GeForce RTX 或 RTX PRO;想要一台開箱即用的開發機或 Windows AI PC,才看 DGX Spark/RTX Spark。

3-6

AMD AI Max:為什麼 128GB RAM 能拿來跑大型 LLM?

128GB 的統一記憶體,讓它能容納一些 8GB 顯卡放不下的模型。但「裝得下」不等於「跑得快」。

AMD AI Max+ 395 把 CPU、GPU 與 NPU 放在同一個加速處理器(APU)裡,並使用最高 128GB 的 LPDDR5x 統一記憶體 [21]。CPU 與 GPU 共享同一個記憶體池,模型權重不需要先複製到另一張顯卡的 VRAM,這讓它能容納較大的量化模型。

但統一記憶體的理論頻寬約 256 GB/s(以 8000 MT/s、256-bit 換算),低於高階獨立顯卡;算力也不是旗艦顯卡等級。再加上 128GB 是平台上限,作業系統、應用程式、KV Cache 都會一起吃這個池子 [29]。

所以 AI Max 的價值是「大容量、彈性、省空間」,不是「用 RAM 大小直接贏過顯卡」。它適合想跑較大模型、又不想被 8GB VRAM 卡住的人;實際速度仍要看模型、量化與軟體。

圖解 3-6 獨立 VRAM 與統一記憶體:同一比例尺的配置差異 左右滑動

獨立 VRAM(Windows+NVIDIA)

CPU控制
RAM32GB
↔ PCIe
GPU運算
VRAM8GB

權重必須進 VRAM;RAM 與 VRAM 之間有複製與搬移成本。

統一記憶體(Linux+AMD AI Max)

CPU控制
GPU運算
Unified Memory128GB 共享池

CPU 與 GPU 共用同一個池子;沒有「複製到另一張卡」的固定步驟,但會互相競爭。

8GB 獨立 VRAM(示意)

7.5/8GB

  • 權重 4.5GB(8B 4-bit)
  • KV Cache 1.5GB
  • 系統/緩衝 1.5GB

可用約 0.5GB;12B 4-bit 約 5.8GB,幾乎沒有餘裕。

128GB 統一記憶體(示意)

39.5/128GB

  • 權重 15.5GB(31B 4-bit)
  • KV Cache 8GB
  • OS 12GB+其他 4GB

可用約 88.5GB;容量大,但頻寬仍低於高階獨立顯示卡。

左右滑動查看完整表格

兩種記憶體架構的比較(示意配置,不是實測)
項目8GB 獨立 VRAM128GB UMA
資料傳輸經 PCIe 在 RAM 與 VRAM 間搬移共享記憶體池,沒有同樣的複製段
可跑模型受 8GB 容量限制可容納更大模型,但仍要扣系統與 KV Cache
效能特性頻寬較高容量大、頻寬較低
常見平台Windows+NVIDIALinux+AMD AI Max

同一 0–128GB 比例尺;8GB 的長條只佔一小段,旁邊數字為示意配置。128GB 是平台上限,不是模型可無條件全用。

容量大不等於速度快;同一比例尺下,8GB 幾乎塞滿,128GB 還有大量空間,但頻寬與算力是另一個問題。
容量不是全部

128GB 讓模型更容易完整放入,但作業系統、應用程式與 KV Cache 會一起佔用;而且記憶體大不代表頻寬高。

3-7

Apple Silicon:為什麼 Mac 也能執行 LLM?

Mac 也能跑本地 LLM,關鍵在統一記憶體架構與 Metal/MLX 軟體層,而不是把 Mac 當成 NVIDIA 顯卡。

Apple Silicon 把 CPU、GPU、神經網路引擎(Neural Engine)與記憶體放在同一個單晶片系統(SoC)上,Mac 使用統一記憶體架構:CPU 與 GPU 直接存取同一個記憶體池,不需複製陣列 [24]。

Apple 的 MLX 框架就是為此設計,陣列放在共享記憶體,操作可指定用 CPU 或 GPU;Metal 則提供圖形與運算 API [25]。這讓許多常見工具(例如 llama.cpp、Ollama、LM Studio)有 macOS 版本,MLX 也有對應範例 [30]。

優點是容量、攜帶性與功耗;限制是軟體生態以 CUDA 為中心,部分工具支援較晚,速度也依晶片與記憶體頻寬而異。Mac 的統一記憶體不是「無限的 VRAM」,作業系統與應用程式會先占用。

圖解 3-7 Apple Silicon:CPU、GPU、Neural Engine 共用記憶體
Apple Silicon SoC 的 CPU、GPU、Neural Engine 與統一記憶體 軟體層 Metal 與 MLX 位於 SoC 上方;SoC 內 CPU、GPU、Neural Engine 各自連到同一個 Unified Memory 記憶體池。此圖為概念示意,不代表實際晶片佈局。 Metal/MLX:決定哪些運算交給 CPU 或 GPU Apple Silicon SoC(概念示意) CPU 控制與一般運算 GPU 平行數值運算 Neural Engine 神經網路加速 Unified Memory CPU、GPU 與 Neural Engine 共用同一個記憶體池

架構示意;實際頻寬、可用容量與軟體支援依晶片、記憶體大小與系統版本而定。Neural Engine 是 Apple 的 NPU,不再重複標成兩個名字。

統一記憶體讓 CPU、GPU 與 Neural Engine 不用把陣列複製到另一邊;但容量不是全部給模型,速度也依晶片與軟體。
Mac 的定位

適合攜帶、省電與大容量統一記憶體;但 CUDA 生態的工具有些在 macOS 上支援較晚,選工具前先確認相容性。

3-8

同一個模型,換一台電腦會發生什麼事?

把同一個 27B 4-bit 模型(權重理論值約 13.5GB)放到不同機器,會得到「裝不下」、「裝得下但慢」或「裝得下也夠快」等不同結果。

放到 RTX 5060 8GB:通常裝不下,需要更小的模型、更激進的量化,或把部分層放到 CPU/系統記憶體[19]。放到 AI Max 128GB:統一記憶體能容納權重與 KV Cache,但頻寬與算力不如高階獨立顯卡,速度不一定更快,還要看 ROCm 等軟體支援[21]。

DGX Spark 與 RTX Spark 都是 128GB 統一記憶體的整合式平台,差別在定位與作業系統[20][22];Apple Silicon 走統一記憶體與 Metal/MLX,適合攜帶與省電,但速度依晶片而異[24]。

所以順序是:先看容量與量化能不能放進去,再看頻寬、算力、軟體與上下文需求。沒有一台機器「全部贏」。

互動 3-8 四種硬體情境:先問優先順序,再看誰適合

先選一件最在意的事;卡片會依符合程度排序,不是效能排名。

01

Windows + RTX 5060

8GB VRAM

27B 4-bit:13.5GB 權重,8GB 裝不下;需量化或 offload。

適合 小模型、入門本地 AI、Windows 工具。

看更多

CUDA 生態成熟,遊戲與創作也能用;但容量是第一個限制,第二個是 PCIe/CPU offload 的速度成本。

02

Linux + AMD AI Max 128GB

128GB UMA

27B 4-bit:放得下;但頻寬與軟體支援會影響速度。

適合 想跑較大模型、能接受速度取捨的人。

看更多

統一記憶體容量大,但 OS、KV Cache 與其他程式一起用同一個池子;ROCm 相容性依版本。

03

DGX Spark/RTX Spark

128GB 整合系統

27B 4-bit:放得下;買的是整台機器,不是單張卡。

適合 開發機、Windows AI PC、長期桌面 AI。

看更多

DGX Spark 偏開發平台;RTX Spark 偏 Windows AI PC。兩者都是整合系統,定位不同,不能當成同一張顯卡。

04

Apple Silicon

統一記憶體・SoC

27B 4-bit:容量夠的機型放得下;速度依晶片與記憶體頻寬。

適合 攜帶、省電、Mac 生態、中小型模型。

看更多

Metal/MLX 可用,但部分 CUDA 工具支援較晚;選工具前先確認相容性。

目前顯示 4 種情境;沒有唯一贏家。

情境比較,不是效能排名;容量與速度數字為示意或理論值,實際仍需以模型與軟體實測。

先確認「容量、攜帶、Windows、CUDA」哪個優先,再選平台;同一個模型在不同機器上可能裝不下、裝得下但慢,或裝得下也夠快。
本單元收斂

硬體不是比誰的數字大,而是看資料放在哪裡、搬得多快、算得多快,以及軟體能不能配合。把容量、頻寬、算力與軟體分開看,你就能判斷一台電腦「能不能跑」和「跑得好不好」。

單元小測

用三題確認你分得開容量、頻寬與算力

選一個答案,馬上會看到對錯與解析。三題都作答後會顯示得分;按「重新作答」可以全部重來。

PART 01 · 看懂 AI

UNIT 04

  • 9 節
  • 5 個互動
  • 1 個期末練習

模型裝得下,為什麼還是跑得慢?

你終於下載到一個很厲害的模型,檔案顯示「下載完成」,記憶體看起來也夠。送出問題後,畫面卻先空白好幾秒,答案才一個字、一個字慢慢跑出來。這一章要把「下載完成」到「跑得順」之間的每個環節拆開。

4-1

從硬碟到 GPU:LLM 啟動時發生什麼事?

下載完成只代表檔案在硬碟裡。推理程式還要讀取模型設定與權重、把它們放進可用的記憶體、建立執行環境與緩衝區,最後才能處理你的問題。

常見流程是:模型檔案在 SSD → 推理程式讀取權重與設定 → 把權重配置到系統記憶體或顯示記憶體 → 建立 KV Cache 與執行緩衝區 → 開始處理提示詞(Prompt)。這段啟動時間可能從幾秒到數十秒,取決於檔案大小、硬碟速度、可用記憶體與推理引擎。

實際實作不一定會先把所有權重完整複製一份。有些引擎使用記憶體映射(memory mapping)或按需載入,只把目前需要的資料帶進來,也可能把部分層留在 CPU。所以「下載完成」、「模型已載入」、「可以開始回答」是三件事[31][40]。

圖解 4-1 下載完成,不等於可以回答
路線 A 獨立 VRAM

SSD → RAM → PCIe → VRAM → GPU 執行

權重可能需要複製到 VRAM;mmap/offload 是可選路徑。
路線 B 統一記憶體

SSD → 共享記憶體池 → GPU 執行

CPU/GPU 共用同一池,沒有同樣的 PCIe 複製段。

mmap(記憶體映射)與 CPU offload 不一定會先把所有權重複製一份;實際路徑依推理框架與設定。

下載完成 → 已載入 → 可回答,是三個不同的時間點。流程為概念示意。獨立 VRAM 路線:RAM↔VRAM 經 PCIe;統一記憶體路線:CPU/GPU 共享同一池,沒有同樣的複製段。實際仍依推理框架與設定。

部分引擎會用記憶體映射或按需載入,不一定先把所有權重複製一份;實際流程依推理框架而異。
載入時間不是 TTFT

TTFT(Time to First Token)要等模型開始處理提示詞才計算;載入時間是「模型還沒準備好」的時間。看到畫面空白時,先分清楚是還在載入,還是已經進入 Prefill。

4-2

模型到底需要多少記憶體?

模型載入後,最佔空間的通常是權重。每個權重用幾個 bit 儲存,總容量可以用「參數量 × 每個權重的位元數 ÷ 8」估算。

16-bit(FP16 或 BF16)每個權重約 2 bytes,8-bit 約 1 byte,4-bit 理論上約 0.5 bytes。位元數越低,權重容量越小;但這只是權重,還不是完整的記憶體需求[31]。

權重容量估算 參數量 × 每個權重位元數 ÷ 8 十進位 GB;只算權重,不含 KV Cache、緩衝區與作業系統

左右滑動查看完整表格

不同規模與精度的理論權重容量(示意模型)
模型規模 16-bit 8-bit 理想 4-bit
27B約 54 GB約 27 GB約 13.5 GB
35B約 70 GB約 35 GB約 17.5 GB
120B約 240 GB約 120 GB約 60 GB

這些都是理論值,不包含 KV Cache、執行緩衝區、啟動前後的暫存資料,也不包含作業系統或其他程式。27B 與 35B 的案例可對應 Qwen3.8-27B、Qwen3.6-35B-A3B 等模型[47][48]。而且 4-bit 不是「剛好 0.5 bytes」:實際格式還要存 scales、metadata,部分層可能保留較高精度。以 llama.cpp 的 Q4_K_M 為例,範例模型平均約 4.89 bits/weight,會比理想 4-bit 多約兩成[41]。

「放得下權重」還不是「跑得起來」

權重之外,還要加 KV Cache、執行緩衝區與其他程式。27B 的理想 4-bit 權重約 13.5 GB,不代表 8 GB VRAM 一定跑得起來[36]。

4-3

Prefill:為什麼有時候要等很久才開始說話?

你送出一段很長的提示詞,畫面先停住,過了一會才蹦出第一個字。這段等待主要是 Prefill:模型把輸入的 Token 一起送進網路,平行計算注意力與前饋層,建立後面要用的 KV Cache,最後產生第一個 Token。

因為提示詞可以平行處理,Prefill 通常讓 GPU 的計算單元很忙,屬於計算密集(compute-bound)的階段。提示詞越長、模型越大,Prefill 越久,TTFT 也越高。你問「幫我翻譯這一句話」和「幫我讀完這份長報告再整理重點」,第一個 Token 的等待時間會很不一樣[31][32]。

TTFT 是從送出請求到第一個 Token 出現的時間,通常還包含排隊與前置處理,實際定義依系統而異。所以看到「第一個字很慢」,先別急著說模型爛;先看提示詞多長、佇列有沒有塞車、Prefill 是不是正在處理大量輸入。

一句話收斂

Prefill 決定「多久開始回答」,不是「後續每秒多快」。它把輸入一次算完,並替後面的 Decode 準備好 KV Cache。

4-4

Decode:為什麼答案是一個 Token 一個 Token 產生?

第一個 Token 出來後,模型進入 Decode。它一次只產生一個 Token,把新 Token 接回輸入,再預測下一個;每一步都要讀取模型權重與不斷長大的 KV Cache,才能算出下一個 Token 的機率。

Decode 的計算量相對小,但記憶體搬運量很大,常受記憶體頻寬限制。你可能會看到 GPU 的算力使用率不高,但輸出速度就是上不去;這不代表 GPU 壞了,而是瓶頸在「把資料搬過來」,不是在「算數學」[31][34]。

Decode 不是「比 Prefill 快」

Prefill 平行處理整段提示詞,吞吐量高;Decode 一次一個 Token,單一 Token 的延遲通常較高。Decode 決定的是持續輸出速度(Tokens/s)與串流體驗,不是模型聰明程度。

互動 4-4 同一個請求:Prefill → TTFT → Decode
Prompt
Prefill 平行處理整段輸入

建立 KV Cache
所有 prompt Token 一起算,通常吃算力。

TTFT
Decode 一次一個 Token

讀 KV Cache
每一步只算新 Token,但要把權重與快取搬進來,通常吃頻寬。

KV Cache 相對大小示意,不是 GB 實測
Prefill 建立 Decode 持續增加
Prefillcompute-bound
GPU 利用率高
記憶體頻寬中

很多 Token 可以平行算,GPU 較忙。

Decodememory-bound
GPU 利用率中/低
記憶體頻寬高

一次只算一個 Token,常在等資料搬過來。

Prefill 完成;時間與容量都是示意,不是實測。

Decode 不是「比 Prefill 快」。Prefill 平行處理整段 prompt,吞吐量高;Decode 一次一個 Token,單一 Token 的延遲通常較高。實際數值依模型、硬體、批次與推理引擎而異。

同一個請求的兩個階段:Prefill 平行建立 KV Cache,Decode 逐 Token 讀取快取。寬度是示意時間,不是 Token 數比例;Decode 每 Token 的成本較高。

Prefill 為什麼吃算力?

整段 prompt 可以平行送進矩陣運算,Token 越多,矩陣越大,GPU 的計算單元越忙。所以 prompt 越長,Prefill 越久,TTFT 越大。

Decode 為什麼吃頻寬?

一次只產生一個 Token,但每一步都要把大量權重與 KV Cache 從記憶體搬到運算單元。GPU 算得再快,資料來不及也沒有用。

GPU 使用率不高,不代表 GPU 沒在做事

Decode 常常在等記憶體搬運,而不是等計算。這就是為什麼「GPU 很強」不保證「每個 Token 都很快」;批次變大可以提高 GPU 利用率,但單一請求的等待不一定變短。

4-5

KV Cache 是什麼,為什麼對 LLM 這麼重要?

KV Cache 是注意力層留下來的 Key/Value 中間狀態。模型在 Prefill 時算過每個 Token 的 K、V,Decode 時就不必從頭重算,只要把新的 K、V 接進快取,就能預測下一個 Token。

它的代價是記憶體。KV Cache 的大小約與上下文長度、批次大小成正比;公式可以簡化成:2 × 層數 × KV heads × head_dim × Token 數 × 每個數值的 bytes。前面的 2 代表 Key 與 Value;若模型使用 GQA,KV heads 可能比注意力 heads 少很多[31][39]。

KV Cache 不是把先前的文字原封不動存起來,而是存運算後的中間表示。不同 Attention 或 Hybrid 架構可能有不同的快取結構;PagedAttention、GQA、KV Cache 量化等技術,則是在管理或縮小這塊記憶體[33]。

互動 4-5 三步看 KV Cache:模型 → Context → 裝置
1
2
3
進階設定(KV 精度、GQA)
目前配置 27B · 4,096 Tokens · 8 GB VRAM
權重 KV Cache 其他緩衝 可用

KV Cache 約—
公式與假設

2 × 32 層 × 8 heads × 128 × 4,096 Tokens × 2 bytes

示意模型:32 層、head_dim 128、batch 1。實際 KV Cache 依模型 config、GQA、精度、快取格式與引擎而異。

先選模型、再拉 context、最後選裝置;結果卡會同步顯示「裝不裝得下」。這是示意模型,不是特定機器的實測。
它不是「模型記住了對話」

KV Cache 是這次推理的暫存資料,不是長期記憶,也不是原始文字的備份。對話結束或請求結束後,它不會自動變成模型知識。

4-6

Context Length:上下文越長越好嗎?

Context Window 是模型一次能容納的 Token 上限,通常輸入與輸出共用同一個上限。把上下文拉長,模型可以參考更多資料,但 KV Cache 會變大、Prefill 會變久,記憶體與時間成本都上升。

模型宣稱支援 128k 或更長的上下文,不代表你的電腦能用同樣的設定跑完。128k 的 KV Cache 可能佔掉數 GB 到數十 GB,還要加上權重與其他緩衝區;8 GB VRAM 的機器通常需要更小的 context、更低的 KV 精度,或把部分計算移到 CPU。

而且「放得進去」不等於「用得好」。長上下文中的關鍵資訊,可能因為位置、干擾或模型本身的能力而被忽略;重要資訊放在長文中間,效果不一定比放在開頭或結尾好。實際品質要用你的任務測,不要只看規格表[35]。

短問答

Prompt 與回覆都短,KV Cache 小、TTFT 短,適合 8 GB 等級的機器。

長文件摘要

輸入可能佔滿大部分 context;Prefill 變久,KV Cache 也跟著成長。

長時間對話

每一輪都會累積 context;越聊越慢、越聊越吃記憶體,通常不是錯覺。

多檔案分析

多份文件一起放進 context,總量容易超過上限;需要分段、檢索或先摘要,不能只靠加大 context。

放得進 context,不代表用得準

長上下文可以增加可參考的資料,但也增加成本與干擾。重要場合請把關鍵資訊放在清楚的位置,並用實際任務驗證,而不是只看「支援 128k」。

4-7

模型太大時,有哪些解決方式?

模型放不進 8 GB VRAM,不代表只能放棄。常見做法有幾條,但每一條都是取捨,不是免費的魔法。

量化把權重用更低位元儲存,容量變小,但品質、格式相容性與速度要實測;KV Cache 不一定會一起變小[36][37][38][49]。CPU Offload 把部分權重或運算留在 CPU/系統記憶體,透過 PCIe 搬資料,通常比較慢,但可以容納更大的模型。GPU Offload 則是把部分層放到 GPU,受 VRAM 限制,也不是所有層都適合[40]。

多 GPU 可以把權重與計算分攤到多張卡,但需要 interconnect、軟體支援與設定複雜度。統一記憶體提供大容量,但頻寬通常低於獨立 GPU 的 GDDR7 或 HBM,而且作業系統與其他程式會一起使用。雲端或遠端推理不必自己承擔硬體,但有延遲、費用、隱私與網路依賴。

你現在最在意哪一件事?可多選

量化(Quantization)

解決:權重容量太大、VRAM 不足。

代價:品質與格式相容性要實測;KV Cache 不一定變小。

不要期待:無損壓縮,或一定比較快。

CPU Offload

解決:模型大於 VRAM,但系統記憶體還夠。

代價:PCIe 搬運與 CPU 計算通常更慢。

不要期待:和全部放在 GPU 一樣快。

GPU Offload

解決:把部分層放在 GPU,保留部分加速。

代價:受 VRAM 限制,層的分配需要調整。

不要期待:所有層都適合放 GPU。

多 GPU

解決:把權重與計算分攤到多張卡。

代價:硬體、通訊、軟體支援與設定複雜度。

不要期待:插上去就會等比例變快。

統一記憶體

解決:用大容量記憶體容納大型模型。

代價:頻寬通常低於獨立 GPU,且與系統共用。

不要期待:容量大就等於生成速度快。

雲端或遠端推理

解決:不必在自己的電腦上承擔全部硬體。

代價:延遲、費用、隱私與網路依賴。

不要期待:和本機一樣即時,或資料一定不外流。

勾選條件後,會標出比較相關的取捨;這不是效能排名,也不是唯一答案。

先確定目標,再選方案

你要的是「跑得起來」、「跑得快」、「品質最好」、「資料不外流」,還是「預算最低」?不同目標會選到不同方案;沒有一個選項同時滿足全部條件。

4-8

如何看懂 LLM 的效能?

看懂效能,不要只看一個「Tokens/s」。常用指標有:模型載入時間、TTFT(第一個 Token 的等待)、TPOT(每個輸出 Token 的時間)、輸出 Tokens/s、記憶體用量;再進階一點,還有輸入 Tokens/s、吞吐量(throughput)與同時請求數[32]。

最簡單的關係是:總延遲 ≈ TTFT + TPOT × 輸出 Token 數。TTFT 決定「多久開始看到回答」,TPOT 與 Tokens/s 決定「後續跑得多順」。吞吐量則是系統在所有使用者之間的總處理量,和單一使用者的延遲不是同一件事;批次變大可能提高吞吐量,但單一請求可能等更久。

模型載入時間依檔案與硬碟不是 TTFT
TTFT開始回答前的等待受 Prefill 與排隊影響
輸出 Tokens/s後續生成速度不是智力指標
記憶體用量權重+KV Cache+緩衝不是只看模型檔

總延遲 ≈ 0.8(TTFT)+ 0.12(TPOT)× 8 = 1.8 示意單位

數字全部是示意,不是任何硬體或模型的實測。

同一個條件,才能比

比較 Tokens/s 時,必須在同一個模型、同一個 Tokenizer、同一種量化、相同 context、相同硬體與相同批次設定下比。不同模型的 Tokens/s 不能直接代表「誰比較聰明」。

4-9

真實情境:RTX 5060 與 AMD AI Max 128GB 有什麼不同?

把兩個規格放在一起,會看到一個很重要的對比:RTX 5060 是「頻寬較高、容量較小」,AI Max 是「容量較大、頻寬較低」。

Windows + RTX 5060 8 GB 的 GDDR7 頻寬高,但容量只有 8 GB;適合 8B 級、4-bit 左右的小型模型與較短 context。若模型太大,就得量化、縮短 context,或把部分層 offload 到 CPU;這時速度會受 PCIe 與 CPU 影響,不一定比小模型快。

Linux + AMD AI Max 128 GB 的統一記憶體容量大,CPU 與 GPU 共享同一個記憶體池;像 gpt-oss-120b 這種 117B 總參數的 MoE 模型,4-bit 理論權重約 60 GB,128 GB 的機器「有機會」容納,但還要扣掉作業系統、KV Cache 與其他程式,而且 LPDDR5x 的頻寬低於獨立顯示卡的 GDDR7,生成速度不一定更快[42][43][45]。

A

Windows + RTX 5060

8 GB VRAM

記憶體架構
獨立 GDDR7
理論峰值頻寬
約 448 GB/s(計算值)
優勢
頻寬較高、軟體生態成熟
限制
容量小,大型模型需量化或 offload

8 GB 是容量,不是「只能跑 8 GB 模型」;權重、KV Cache、緩衝區要一起算。

B

Linux + AMD AI Max

128 GB 統一記憶體

記憶體架構
CPU/GPU 共用 LPDDR5x
理論峰值頻寬
約 256 GB/s(計算值)
優勢
容量大,可容納較大型量化模型
限制
頻寬較低,OS 與其他程式共用

128 GB 是平台容量,不等於模型可無條件用滿;實際可用量會更少。

左右滑動查看完整表格

同一個模型,兩種硬體的思考方向(不是效能排名)
問題RTX 5060 8 GBAI Max 128 GB
8B 級 4-bit 模型通常較有餘裕,context 可較長容量充足,但頻寬不一定較高
120B 級 4-bit MoE通常無法完整容納,需量化、縮 context 或 offload有機會容納,仍要扣系統與 KV Cache
主要風險容量先撞牆頻寬/共享記憶體先撞牆

情境 C:同一台機器,換設定會怎樣?

同一個 27B 4-bit 模型(權重約 13.5 GB)、同一台 128GB AI Max,只改 context 與精度;硬體不變,變的是設定。

左右滑動查看完整表格

同一模型、不同設定的示意比較
設定變化可能發生什麼
4k context → 32k contextKV Cache 增加、Prefill/TTFT 變長;要觀察記憶體與等待。
4-bit → 8-bit權重約 13.5 GB → 約 27 GB;容量變緊,品質與速度要實測。
短輸出 → 長輸出Decode 時間增加;KV Cache 與 token 數一起成長。

示意比較,不是實測;數字只算權重/概念,不含完整執行成本,也不代表任何 Tokens/s 或 TTFT 實測。

容量與頻寬是兩件事

不是「128 GB 一定比較快」,也不是「8 GB 一定不能跑」。你要看的是模型權重、KV Cache、context 與執行方式,哪一個先撞到上限[44][46]。

單元小測

用三題確認你的推理效能心智模型

選一個答案,馬上會看到對錯與解析;三題都作答後會顯示得分。這一輪不保存進度,重新整理就會歸零。

期末練習

看懂一張本地 LLM 配置卡

這不是要你算出精確的效能數字,而是確認你能把總參數、啟用參數、容量與頻寬放在一起判斷。

範例情境

這個模型,為什麼不是每台電腦都能順利跑?

模型
gpt-oss-120b
架構
MoE
總參數
117B
啟用參數
5.1B/Token
上下文
128k
硬體 A
RTX 5060・8 GB VRAM
硬體 B
AMD AI Max・128 GB 統一記憶體

所有容量為理論估算;8 GB/128 GB 是硬體容量,不是可用量。沒有實測效能。

1. 117B 與 5.1B 分別代表什麼?

117B 是總參數,決定模型需要儲存與載入的權重大部分;5.1B 是每個 Token 實際啟用的參數,影響計算量,但不代表只需儲存 5.1B。

MoE 透過 Router 選專家,所以「總參數」與「啟用參數」要分開看。只看 5.1B 會低估記憶體;只看 117B 會高估每個 Token 的計算量。

2. 這個模型的權重為什麼需要大量記憶體?

117B 個參數都要儲存;以 4-bit 理論估算約 58.5 GB(117 × 0.5),實際格式會更大。

還要加 KV Cache、執行緩衝區與其他程式。因此 8 GB VRAM 不可能完整容納;128 GB 統一記憶體「有機會」容納,但仍要扣掉系統與 KV Cache。

3. 硬體 A 和硬體 B 在載入模型上有什麼差異?

A 只有 8 GB VRAM,無法完整載入 117B 級模型;需要更小的模型、更激進的量化、縮短 context,或 CPU offload。

B 有 128 GB 統一記憶體,容量上較有機會容納 4-bit 大型模型;但 CPU/GPU 共用、作業系統佔用、頻寬較低,速度不一定快。兩者都不是「一定可以」或「一定不行」。

4. 如果模型可以執行,但速度很慢,應該先檢查哪些因素?

先分清楚是 TTFT 慢,還是 Decode 的 Tokens/s 慢;再檢查 context 是否太長、KV Cache 是否過大、是否 offload 到 CPU/disk、量化格式、批次設定與 GPU 記憶體是否接近上限。

用同一模型、同一條件比較,不要只看規格表,也不要直接猜「GPU 壞了」或「模型太笨」。先定位瓶頸,再決定要不要換方案。

附錄

術語表

本單元第一次出現時附上英文原文;這裡把用到的詞集中列出,方便回頭查。

提示詞(Prompt)
你送給模型的輸入文字或指令。
詞元(Token)
模型處理文字的最小單位,可能是一個字、多個字、詞的一部分或標點。
詞元化(Tokenization)
把文字切成 Token 並轉成編號的過程。
嵌入(Embedding)
把 Token 表示成一串數字的向量。
權重(Weights)
模型在訓練中學到的數值,參與每一層的運算。
參數(Parameters)
模型中可被訓練的數值總稱,常與權重一起討論。
預訓練(Pre-training)
用大量文字訓練模型預測下一個 Token 的階段。
後訓練(Post-training)
用指令、回饋等方式調整模型行為的階段。
推理(Inference)
參數固定,模型依輸入產生輸出的過程。
注意力機制(Attention)
讓模型在處理某個位置時參考其他位置資訊的機制。
上下文(Context)
模型目前能一起參考的輸入內容,包括提示詞與先前的對話。
自迴歸生成(Autoregressive Generation)
每次產生一個 Token,接回輸入後再產生下一個的生成方式。
溫度(Temperature)
調整下一個 Token 機率分布平坦或集中的取樣參數。
幻覺(Hallucination)
模型產生看似合理、實際錯誤或沒有根據的內容。
檢索增強生成(Retrieval-Augmented Generation, RAG)
先檢索外部資料,再把檢索結果放進上下文輔助生成的做法。
稠密模型(Dense Model)
每個 Token 都會經過主要層、沒有專家路由;不代表每個權重貢獻相同。
混合專家模型(Mixture-of-Experts, MoE)
每個 Token 只啟用部分專家的模型;總權重仍需儲存。
路由器(Router)
為每個 Token 選擇專家的機制;不是人類職業分類,也不是內容分類器。
總參數(Total Parameters)
模型全部參數的數量,主要影響儲存與載入需求。
啟用參數(Active Parameters)
每個 Token 實際參與計算的參數數量;不等於模型只需儲存這麼多。
混合架構(Hybrid Architecture)
混合不同 Attention 或序列處理機制的架構;與 Dense/MoE 是不同分類軸。
顯示記憶體(VRAM)
獨立 GPU 專用的記憶體;容量、頻寬、算力是三件事。
統一記憶體(Unified Memory)
CPU 與 GPU 共用同一個記憶體池;容量大不等於頻寬高。
記憶體頻寬(Memory Bandwidth)
單位時間能搬移多少資料;Decode 常受此限制。
算力(Compute/FLOPS)
每秒能完成多少運算;峰值不等於實際生成速度。
預填充(Prefill)
一次處理整段輸入、建立 KV Cache 的階段,通常影響 TTFT。
解碼(Decode)
逐個 Token 產生輸出的階段;常受記憶體頻寬限制。
鍵值快取(KV Cache)
保存 Attention 的 Key/Value 中間狀態,避免重算;不是原始文字。
首次 Token 延遲(Time to First Token, TTFT)
從送出請求到第一個 Token 出現的時間。
每 Token 輸出時間(Time per Output Token, TPOT)
Decode 階段平均每個 Token 的時間;與 Tokens/s 互為倒數概念。
量化(Quantization)
降低權重精度以減少記憶體;有品質與相容性取捨,不等於變聰明。
卸載(Offloading)
把部分權重或運算移到 CPU/系統記憶體/磁碟;可能增加延遲。
吞吐量(Throughput)
系統單位時間處理的請求或 Token 總量;與單一使用者延遲不同。
上下文視窗(Context Window)
模型一次能容納的最大 Token 數;輸入與輸出通常共用這個上限。
分組查詢注意力(Grouped Query Attention, GQA)
讓多個 Query heads 共用較少 KV heads 的 Attention 設計;可減少 KV Cache。
分頁注意力(PagedAttention)
把 KV Cache 切成頁面管理的做法;用於降低碎片與提高記憶體使用效率。
N-gram 嵌入(N-gram Embedding)
用前 1–2 個 Token 與目前 Token 查表取得向量;查表不是專家路由,幾乎不增加每 Token 矩陣運算。
閘控 DeltaNet(Gated DeltaNet)
一種線性 Attention/序列處理機制,把歷史壓縮成較小狀態,降低長上下文成本。
Qwen 稀疏注意力(Qwen Sparse Attention)
用輕量索引挑選重要上下文區塊的稀疏 Attention 設計,降低長序列的計算量。
思考模式(Thinking)
模型先產生較長的推理過程再回答的模式;通常較慢,但可能改善複雜任務表現。
指令模式(Instruct)
經過指令微調、較擅長遵循使用者要求的模型版本;不保證所有任務都優於基礎模型。
多模態(Multimodal)
能處理文字以外(圖像、音訊、影片)輸入或輸出的能力;支援範圍依模型而異。

附錄

參考資料

以下來源用於本頁的事實性說明。所有連結皆於 2026-11-18 查閱;連結指向站外頁面,會另開視窗。

  1. [1]
    Attention Is All You Need

    Vaswani 等 · NeurIPS · 2017 · arXiv:1706.03762 · 查閱 2026-11-18

  2. [2]
    Language Models are Few-Shot Learners

    Brown 等(OpenAI)· 2020 · arXiv:2005.14165 · 查閱 2026-11-18

  3. [3]
    Training language models to follow instructions with human feedback

    Ouyang 等(OpenAI)· 2022 · arXiv:2203.02155 · 查閱 2026-11-18

  4. [4]
    Survey of Hallucination in Natural Language Generation

    Ji 等 · ACM Computing Surveys · 2023 · arXiv:2202.03629 · 查閱 2026-11-18

  5. [5]
    The Curious Case of Neural Text Degeneration

    Holtzman 等 · ICLR · 2020 · arXiv:1904.09751 · 查閱 2026-11-18

  6. [6]
    Hierarchical Neural Story Generation

    Fan、Lewis、Dauphin · ACL · 2018 · arXiv:1805.04833 · 查閱 2026-11-18

  7. [7]
    Distilling the Knowledge in a Neural Network

    Hinton、Vinyals、Dean · 2015 · arXiv:1503.02531 · 查閱 2026-11-18

  8. [8]
    Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

    Lewis 等 · NeurIPS · 2020 · arXiv:2005.11401 · 查閱 2026-11-18

  9. [9]
    Qwen3.8 官方程式庫

    Qwen Team(Alibaba Group)· 2026 · GitHub · 查閱 2026-11-18

  10. [10]
    Gemma 4 model overview

    Google AI for Developers · 2026 · 查閱 2026-11-18

  11. [11]
    Neural Machine Translation of Rare Words with Subword Units

    Sennrich、Haddow、Birch · ACL · 2016 · arXiv:1508.07909 · 查閱 2026-11-18

  12. [12]
    Qwen3.8-27B Model Card

    Qwen Team(Alibaba Group) · 2026 · 查閱 2026-11-18

  13. [13]
    Qwen3.6-35B-A3B Model Card

    Qwen Team(Alibaba Group) · 2026 · 查閱 2026-11-18

  14. [14]
    Introducing gpt-oss

    OpenAI · 2025 · 查閱 2026-11-18

  15. [15]
    Gemma 4 Technical Report

    Gemma Team(Google DeepMind) · 2026 · 查閱 2026-11-18

  16. [16]
    Qwen3.8-Flash-Next

    Qwen Team(Alibaba Group) · 2026 · 查閱 2026-11-18

  17. [17]
  18. [18]
    Scaling Laws for Neural Language Models

    Kaplan et al. · 2020 · 查閱 2026-11-18

  19. [19]
    GeForce RTX 5060 Family Graphics Cards

    NVIDIA · 2026 · 查閱 2026-11-18

  20. [20]
    NVIDIA DGX Spark

    NVIDIA · 2026 · 查閱 2026-11-18

  21. [21]
    AMD Ryzen™ AI Max+ 395

    AMD · 2026 · 查閱 2026-11-18

  22. [22]
  23. [23]
    RTX PRO in Desktops

    NVIDIA · 2026 · 查閱 2026-11-18

  24. [24]
    MLX — Unified Memory

    Apple / MLX · 2026 · 查閱 2026-11-18

  25. [25]
    Metal

    Apple Developer · 2026 · 查閱 2026-11-18

  26. [26]
    Programming Tensor Cores in CUDA 9

    NVIDIA Technical Blog · 2017 · 查閱 2026-11-18

  27. [27]
    CUDA Zone

    NVIDIA · 2026 · 查閱 2026-11-18

  28. [28]
    GeForce RTX 5060 8G GAMING OC datasheet

    MSI · 2026 · 查閱 2026-11-18

  29. [29]
    AMD ROCm

    AMD · 2026 · 查閱 2026-11-18

  30. [30]
    Apple unleashes M1

    Apple Newsroom · 2020 · 查閱 2026-11-18

  31. [31]
    Mastering LLM Techniques: Inference Optimization

    NVIDIA Technical Blog(Shashank Verma、Neal Vaidya) · 2023-11-17 · 查閱 2026-11-18

  32. [32]
    LLM Inference Performance Engineering: Best Practices

    Databricks · 2023 · 查閱 2026-11-18

  33. [33]
  34. [34]
    Efficiently Scaling Transformer Inference

    Pope 等 · 2022 · 查閱 2026-11-18

  35. [35]
    Lost in the Middle: How Language Models Use Long Contexts

    Liu 等 · 2023 · 查閱 2026-11-18

  36. [36]
    The case for 4-bit precision: k-bit Inference Scaling Laws

    Dettmers 等 · 2023 · 查閱 2026-11-18

  37. [37]
  38. [38]
  39. [39]
    KV cache

    Hugging Face Transformers Docs · n.d. · 查閱 2026-11-18

  40. [40]
    Loading big models into memory

    Hugging Face Accelerate Docs · n.d. · 查閱 2026-11-18

  41. [41]
    llama.cpp quantize README

    ggml-org/llama.cpp · n.d. · 查閱 2026-11-18

  42. [42]
    GeForce RTX 5060 Family

    NVIDIA · 2026 · 查閱 2026-11-18

  43. [43]
    AMD Ryzen AI Max+ 395

    AMD · 2026 · 查閱 2026-11-18

  44. [44]
    GeForce RTX 5060 8G GAMING OC datasheet

    MSI · 2026 · 查閱 2026-11-18

  45. [45]
    Introducing gpt-oss

    OpenAI · 2025 · 查閱 2026-11-18

  46. [46]
    gpt-oss-120b model card

    OpenAI/Hugging Face · 2025 · 查閱 2026-11-18

  47. [47]
    Qwen3.8 官方程式庫

    Qwen Team(Alibaba Group) · 2026 · 查閱 2026-11-18

  48. [48]
    Qwen3.6 官方程式庫

    Qwen Team(Alibaba Group) · 2026 · 查閱 2026-11-18

  49. [49]
    Quantization overview

    Hugging Face Transformers Docs · n.d. · 查閱 2026-11-18

引用編號對應本頁段落中的 [1]~[49]。模型與產品名稱僅作教學示例,不代表任何廠商的背書。

↑