簡報
返回在 Mac 上,決定 agent 體感的是 KV cache 大小與 prefill 速度,而非 context 長度——僅啟用 3.8B 參數的 Gemma 4 26B-A4B 是本機甜蜜點。2026 年 4 月以來,Apple 已兩度調漲 Mac mini 售價。
技術報告 · 紀錄至 2026 年 9 月
真正的瓶頸是「KV Cache 與 prefill」,不是 token 上限
在 Mac 上,決定 agent 體感的是 KV cache 大小與 prefill 速度,而非 context 長度——僅啟用 3.8B 參數的 Gemma 4 26B-A4B 是本機甜蜜點。
本機 LLM 與 Mac 採購1 / 20
四個數字
撐起本報告的數字
- 3.8B下文推薦的 26B-A4B 模型,在總計 25.2B 中僅啟用 3.8B 參數
- 256KGemma 4 三款較大模型(12B、26B-A4B、31B)的最大 context
- +35%台灣入門款 Mac mini 自 2026 年 4 月以來的漲幅
- 614 GB/sApple M5 Max(128GB)的統一記憶體帶寬
本機 LLM 與 Mac 採購2 / 20
事實 · 價格
Apple 兩度調漲 Mac mini 售價
價格 調漲前 調漲後 入門款,實際美元售價(2026 年 5 月) 599 美元 799 美元 M4 Pro 起售價,美國(2026 年 6 月) 1,399 美元 1,599 美元 入門款 M4(16GB/256GB),台灣 NT$19,900(2024 年 10 月) NT$26,900(2026 年 8 月 25 日) 關於本文價格
以上為 M4 系列的價格;搭載 M6 或 M5 Pro 的新款 Mac mini 已於 2026 年 9 月 22 日開賣。下單前請以當下標價為準。
本機 LLM 與 Mac 採購3 / 20
事實
2026 年的變化
依確認強度分級,最確實的排在最前
確認程度 發生什麼事 已確認 Gemma 4 取代 Gemma 3 的命名方式 已確認 Apple 兩度調漲 Mac mini 售價 已確認 兩大主要 coding CLI 均已可接本機模型 已確認,僅限單一尺寸 Flash Attention 滯死問題只影響一種 Gemma 4 尺寸,並非本文推薦的那種 已確認,仍未解決 Ollama 上的 Qwen 3.5 27B tool calling 仍然損壞 有報導,但未經獨立驗證 M5 Max 在本機推論上更快,但快多少不明 本機 LLM 與 Mac 採購4 / 20
時序 · 背景
芯片與模型的四年
- 2023Apple 將 M3 Pro 的記憶體帶寬從 M2 Pro 的 200GB/s 削減至 150GB/s。
- 2024.10Mac mini M4 與 M4 Pro 發布;台灣入門款(16GB/256GB)售價 NT$19,900。
- 2025.03Google DeepMind 發布 Gemma 3,尺寸為 1B/4B/12B/27B。
- 2026.01Ollama 推出原生的 Anthropic 相容 API(v0.14),讓 Claude Code 可直接連接本機模型。
- 2026.03Apple 發布 M5 Pro 與 M5 Max,統一記憶體帶寬高達 614GB/s。
本機 LLM 與 Mac 採購5 / 20
時序 · 2026 年 4 月至 6 月
本報告涵蓋的一年
- 2026.04.02Google DeepMind 發布 Gemma 4,共四種尺寸——E2B、E4B、26B-A4B、31B。
- 2026.04Ollama 使用者分別在 CUDA 與 Apple Silicon 上報告 Gemma 4 31B Dense 模型在長 prompt 下開啟 Flash Attention 時會滯死。
- 2026.05.01Apple 停售 Mac mini 最便宜款;入門價格實際上由 599 美元漲至 799 美元。
- 2026.06.03Google 推出 Gemma 4 第五款尺寸 12B「Unified」,不設獨立的影像或音訊編碼器。
本機 LLM 與 Mac 採購6 / 20
時序 · 2026 年 6 月至 9 月
售價調漲,新款 Mac 開賣
- 2026.06.17GitHub Copilot CLI 新增自備金鑰(BYOK)支援,可接本機與外部模型。
- 2026.06.25Apple 將 Mac mini M4 Pro 起售價從 1,399 美元調漲至 1,599 美元,並以新高價恢復之前停售的入門款。
- 2026.08.25Apple 台灣官網 Mac mini 標價自 NT$26,900 起,M4 Pro 兩款配置分別為 NT$54,900 與 NT$61,900。
- 2026.09.22Apple 開賣搭載 M6 或 M5 Pro 的新款 Mac mini,以及搭載 M5 Max 或 M5 Ultra 的 Mac Studio。
本機 LLM 與 Mac 採購7 / 20
論點
為何 context 長度不是該關注的數字
重點在 prefill 與 KV cache,不是 token 上限
每一輪
Agentic CLI 工具每一輪都會重新傳送整個工作狀態——系統 prompt、tool schema,以及目前為止的對話記錄。
Prefill
重新處理這段狀態,稱為 prefill,正是 Mac 的記憶體帶寬真正必須跟上的部分。
Context 長度
context 長度只限制一個 session 能跑多久,卻無法決定每一輪的體感如何。
本機 LLM 與 Mac 採購8 / 20
論點
決定體感的:prefill 速度與 KV cache
真正決定體感的,是 prefill 速度,以及 KV cache——也就是已處理內容的暫存記憶——與模型本身權重共同佔用了多少記憶體。
- 1,024個 token:Gemma 4 大多數 attention 層所採用的 sliding window 大小,依模型自身公開規格。
- ×0.5將 KV cache 從 16 位元浮點數量化為 8 位元整數,記憶體佔用直接減半——這是格式定義本身的必然結果,並非實測結果。
本機 LLM 與 Mac 採購9 / 20
Gemma 4 並不是 1B/4B/12B/27B
人人都會搞錯的命名方式
每一列都取自 Google 自家的模型規格卡;這幾列都不是與 Gemma 3 對應型號同級互換的關係。
常見說法 Gemma 4 SKU 參數 最大 context 1B E2B 有效 2.3B(含嵌入層 5.1B) 128K 4B E4B 有效 4.5B(含嵌入層 8B) 128K 12B 12B Unified(Dense) 11.95B(Dense,全部啟用) 256K Gemma 3 無對應型號 26B-A4B(MoE 混合專家) 3.8B 啟用(總計 25.2B) 256K 27B 31B Dense 30.7B(Dense,全部啟用) 256K 本機 LLM 與 Mac 採購10 / 20
論點 · 命名
「E」、「A」與「Unified」的意思
E=有效
每一層都帶有自己的逐層嵌入表,體積龐大,但只用於快速查表,因此有效參數(2.3B、4.5B)遠小於含嵌入層的總數(5.1B、8B)。
A=啟用
26B-A4B 總計 25.2B 參數中,每個 token 只動用 3.8B,經由 128 位專家中的 8 位,外加一位常駐的共享專家。
Unified
12B 沿用了 Gemma 3 的尺寸,卻不是 Gemma 3 的設計——它沒有獨立的影像或音訊編碼器,兩者直接送入語言模型。
本機 LLM 與 Mac 採購11 / 20
已知的摩擦點 · 僅限 31B Dense
Flash Attention 滯死問題
至少有一份報告明確指出,本文推薦的 26B-A4B 模型可正常處理同樣長度的 prompt;此錯誤僅限於 31B Dense。
硬體 回報的滯死條件 Nvidia CUDA(RTX 3090) prompt 超過約 3,000 至 4,000 個 token Apple Silicon(M5 Max) prompt 超過約 500 個 token 報導指出的根本原因
Gemma 4 混合了約五十層 sliding-window attention 與十層 global attention,兩者使用不同的 head 維度(256 對 512),而 Ollama 的 Flash Attention 實作原本並未正確處理這種混合。
本機 LLM 與 Mac 採購12 / 20
已知的摩擦點
Ollama 上另外兩個摩擦點
確有其事,但每一項的範圍都比聽起來窄
尚未加速:Gemma 4 在 Apple Silicon 上尚無 MLX 加速
有報告發現 Gemma 4 退回較慢的 llama.cpp 後端,在 31B Dense 上約為每秒 15 個 token,在 26B-A4B 上約為每秒 75 個 token。目前尚無以 MLX 加速的數據可供對照。
仍未解決:Qwen 3.5 27B 的 tool calling
報告中同時指出三個問題。取樣懲罰的錯誤已於 v0.17.5 修復;Ollama 正確的 tool-calling renderer 只被接到「qwen3-coder」而非「qwen3.5」,截至最近一次回報仍未解決。
本機 LLM 與 Mac 採購13 / 20
同一個取捨,走過三年
從 M3 Pro 到 M5 Max
晶片型號較新,並不代表帶寬必然更高。
- 150GB/sM3 Pro,2023 年 10 月——較 M2 Pro 的 200GB/s 削減 25%
- 614GB/sM5 Max,2026 年 3 月——頂規 128GB 版本的統一記憶體帶寬
- 4×依 Apple 自身數據,GPU 運算能力是上一代的四倍以上
每秒 token 數:僅有估算值
某測評部落格自稱「估算值」的測試顯示,M5 Max 在多個模型尺寸上勝過 M5 Pro 與作為對照組的 RTX 4090;Apple 官方發佈本身並未針對任何模型給出每秒 token 數。
本機 LLM 與 Mac 採購14 / 20
不同協定,不同時程
兩套 CLI,兩種接法
項目 Claude Code Copilot CLI 原生本機模型支援 是,自 Ollama v0.14 起(2026 年 1 月) 是,自備金鑰(BYOK),自 2026 年 6 月起 連線協定 Anthropic Messages API 相容 OpenAI/外部供應商 設定方式 將 ANTHROPIC_BASE_URL指向本機 Ollama 伺服器在 CLI 的模型選擇器中設定本機或外部模型 本機 LLM 與 Mac 採購15 / 20
結論 · 看合適與否,而非誰是贏家
哪一台 Mac,適合做什麼
入門選擇:先用小模型練手
適合 8B 級 Dense 模型:Apple 入門款 M4 Mac mini(16GB/256GB,2026 年 8 月 Apple 台灣官網為 NT$26,900)安靜、耗電低,開箱即可搭配 Ollama 使用。搭載 M6 或 M5 Pro 的新款 Mac mini 已於 2026 年 9 月 22 日開賣。
甜蜜點:從容跑起 Gemma 4 的 26B-A4B
更多統一記憶體(24GB 以上)才是真正換來 agent 反應速度的關鍵:這樣才能讓模型的啟用參數與 KV cache,在不需置換(swap)的情況下與作業系統共存。
兩者的取捨
Apple 的記憶體與儲存客製選項是透過設定頁計價,並非公開標價,因此請以「高於入門款的一筆額外預算」估算,而非以固定數字計算。
本機 LLM 與 Mac 採購16 / 20
結論 · 看合適與否,而非誰是贏家
Mac mini 之外:M5 Max、NVIDIA 或雲端
本機能力的極限:預算夠的話,選 M5 Max
依 Apple 自身公佈的數據,統一記憶體帶寬高達 614GB/s。Apple 於 2026 年 3 月推出 M5 Max 時,搭載於筆電 MacBook Pro;搭載 M5 Max 的 Mac Studio 直到 2026 年 9 月 22 日才開賣,美國售價 US$2,499 起。
根本不用 Mac:NVIDIA 主機,或雲端
NVIDIA 顯卡的 VRAM 專屬於模型使用,不與作業系統共享;而雲端 API 則完全省去版本與設定管理的麻煩。但雲端 API 既不私密,每個 token 也不免費——自己已擁有的機器則兩者皆是。
本機 LLM 與 Mac 採購17 / 20
取捨:耗電
耗電:單張顯卡對比整台電腦
NVIDIA 並建議搭配 850W 的系統電源。
項目 RTX 4090 單張顯卡(NVIDIA 標示) 搭載 M5 Max 的基本款 Mac Studio,整台電腦從插座量得(Apple) 閒置 19W 7W 最高 450W 總繪圖功耗 200W 本機 LLM 與 Mac 採購18 / 20
無法查證的部分
「長時間推論有降頻風險」
傳言
指搭載 M5 Max 的 MacBook Pro,本頁不予斷言。一份公開的疑難排解指南指出,任何筆電機身在持續推論下終究都會降速;但於 2026 年 9 月 28 日查找時,查無任何針對 M5 Max MacBook Pro 降頻的公開實測。
本機 LLM 與 Mac 採購19 / 20
總結
該選哪個模型沒變,變的是成本
- KV cache 與 prefill 仍比 context 長度更重要。
- 僅啟用 3.8B 參數的 Gemma 4 26B-A4B 是本機甜蜜點;Flash Attention 滯死問題僅限於 31B Dense。
- Apple 在 2026 年 5 月與 6 月兩度調漲 Mac mini 售價,客製記憶體升級只透過設定頁計價。
- 購買前,值得自行核實目前的價格。以上內容不構成購買建議。
本機 LLM 與 Mac 採購20 / 20