Tratopedia
BM
設定

文字大小

佈景

高對比

中文排版

豎排會把內文排成由右至左的直行,如同台灣的實體書籍。

版本

v1.230.2

本頁建置時的版本編號,也是 service worker 快取所依據的版本。

簡報

返回

本機 LLM 與 Mac 採購 — 完整技術報告

在 Mac 上,決定 agent 體感的是 KV cache 大小與 prefill 速度,而非 context 長度——僅啟用 3.8B 參數的 Gemma 4 26B-A4B 是本機甜蜜點。2026 年 4 月以來,Apple 已兩度調漲 Mac mini 售價。

  1. 技術報告 · 紀錄至 2026 年 9 月

    真正的瓶頸是「KV Cache 與 prefill」,不是 token 上限

    在 Mac 上,決定 agent 體感的是 KV cache 大小與 prefill 速度,而非 context 長度——僅啟用 3.8B 參數的 Gemma 4 26B-A4B 是本機甜蜜點。

    本機 LLM 與 Mac 採購1 / 20

  2. 四個數字

    撐起本報告的數字

    • 3.8B下文推薦的 26B-A4B 模型,在總計 25.2B 中僅啟用 3.8B 參數
    • 256KGemma 4 三款較大模型(12B、26B-A4B、31B)的最大 context
    • +35%台灣入門款 Mac mini 自 2026 年 4 月以來的漲幅
    • 614 GB/sApple M5 Max(128GB)的統一記憶體帶寬

    本機 LLM 與 Mac 採購2 / 20

  3. 事實 · 價格

    Apple 兩度調漲 Mac mini 售價

    價格調漲前調漲後
    入門款,實際美元售價(2026 年 5 月)599 美元799 美元
    M4 Pro 起售價,美國(2026 年 6 月)1,399 美元1,599 美元
    入門款 M4(16GB/256GB),台灣NT$19,900(2024 年 10 月)NT$26,900(2026 年 8 月 25 日)

    關於本文價格

    以上為 M4 系列的價格;搭載 M6 或 M5 Pro 的新款 Mac mini 已於 2026 年 9 月 22 日開賣。下單前請以當下標價為準。

    本機 LLM 與 Mac 採購3 / 20

  4. 事實

    2026 年的變化

    依確認強度分級,最確實的排在最前

    確認程度發生什麼事
    已確認Gemma 4 取代 Gemma 3 的命名方式
    已確認Apple 兩度調漲 Mac mini 售價
    已確認兩大主要 coding CLI 均已可接本機模型
    已確認,僅限單一尺寸Flash Attention 滯死問題只影響一種 Gemma 4 尺寸,並非本文推薦的那種
    已確認,仍未解決Ollama 上的 Qwen 3.5 27B tool calling 仍然損壞
    有報導,但未經獨立驗證M5 Max 在本機推論上更快,但快多少不明

    本機 LLM 與 Mac 採購4 / 20

  5. 時序 · 背景

    芯片與模型的四年

    1. 2023Apple 將 M3 Pro 的記憶體帶寬從 M2 Pro 的 200GB/s 削減至 150GB/s。
    2. 2024.10Mac mini M4 與 M4 Pro 發布;台灣入門款(16GB/256GB)售價 NT$19,900。
    3. 2025.03Google DeepMind 發布 Gemma 3,尺寸為 1B/4B/12B/27B。
    4. 2026.01Ollama 推出原生的 Anthropic 相容 API(v0.14),讓 Claude Code 可直接連接本機模型。
    5. 2026.03Apple 發布 M5 Pro 與 M5 Max,統一記憶體帶寬高達 614GB/s。

    本機 LLM 與 Mac 採購5 / 20

  6. 時序 · 2026 年 4 月至 6 月

    本報告涵蓋的一年

    1. 2026.04.02Google DeepMind 發布 Gemma 4,共四種尺寸——E2B、E4B、26B-A4B、31B。
    2. 2026.04Ollama 使用者分別在 CUDA 與 Apple Silicon 上報告 Gemma 4 31B Dense 模型在長 prompt 下開啟 Flash Attention 時會滯死。
    3. 2026.05.01Apple 停售 Mac mini 最便宜款;入門價格實際上由 599 美元漲至 799 美元。
    4. 2026.06.03Google 推出 Gemma 4 第五款尺寸 12B「Unified」,不設獨立的影像或音訊編碼器。

    本機 LLM 與 Mac 採購6 / 20

  7. 時序 · 2026 年 6 月至 9 月

    售價調漲,新款 Mac 開賣

    1. 2026.06.17GitHub Copilot CLI 新增自備金鑰(BYOK)支援,可接本機與外部模型。
    2. 2026.06.25Apple 將 Mac mini M4 Pro 起售價從 1,399 美元調漲至 1,599 美元,並以新高價恢復之前停售的入門款。
    3. 2026.08.25Apple 台灣官網 Mac mini 標價自 NT$26,900 起,M4 Pro 兩款配置分別為 NT$54,900 與 NT$61,900。
    4. 2026.09.22Apple 開賣搭載 M6 或 M5 Pro 的新款 Mac mini,以及搭載 M5 Max 或 M5 Ultra 的 Mac Studio。

    本機 LLM 與 Mac 採購7 / 20

  8. 論點

    為何 context 長度不是該關注的數字

    重點在 prefill 與 KV cache,不是 token 上限

    每一輪

    Agentic CLI 工具每一輪都會重新傳送整個工作狀態——系統 prompt、tool schema,以及目前為止的對話記錄。

    Prefill

    重新處理這段狀態,稱為 prefill,正是 Mac 的記憶體帶寬真正必須跟上的部分。

    Context 長度

    context 長度只限制一個 session 能跑多久,卻無法決定每一輪的體感如何。

    本機 LLM 與 Mac 採購8 / 20

  9. 論點

    決定體感的:prefill 速度與 KV cache

    真正決定體感的,是 prefill 速度,以及 KV cache——也就是已處理內容的暫存記憶——與模型本身權重共同佔用了多少記憶體。

    • 1,024個 token:Gemma 4 大多數 attention 層所採用的 sliding window 大小,依模型自身公開規格。
    • ×0.5將 KV cache 從 16 位元浮點數量化為 8 位元整數,記憶體佔用直接減半——這是格式定義本身的必然結果,並非實測結果。

    本機 LLM 與 Mac 採購9 / 20

  10. Gemma 4 並不是 1B/4B/12B/27B

    人人都會搞錯的命名方式

    每一列都取自 Google 自家的模型規格卡;這幾列都不是與 Gemma 3 對應型號同級互換的關係。

    常見說法Gemma 4 SKU參數最大 context
    1BE2B有效 2.3B(含嵌入層 5.1B)128K
    4BE4B有效 4.5B(含嵌入層 8B)128K
    12B12B Unified(Dense)11.95B(Dense,全部啟用)256K
    Gemma 3 無對應型號26B-A4B(MoE 混合專家)3.8B 啟用(總計 25.2B)256K
    27B31B Dense30.7B(Dense,全部啟用)256K

    本機 LLM 與 Mac 採購10 / 20

  11. 論點 · 命名

    「E」、「A」與「Unified」的意思

    E=有效

    每一層都帶有自己的逐層嵌入表,體積龐大,但只用於快速查表,因此有效參數(2.3B、4.5B)遠小於含嵌入層的總數(5.1B、8B)。

    A=啟用

    26B-A4B 總計 25.2B 參數中,每個 token 只動用 3.8B,經由 128 位專家中的 8 位,外加一位常駐的共享專家。

    Unified

    12B 沿用了 Gemma 3 的尺寸,卻不是 Gemma 3 的設計——它沒有獨立的影像或音訊編碼器,兩者直接送入語言模型。

    本機 LLM 與 Mac 採購11 / 20

  12. 已知的摩擦點 · 僅限 31B Dense

    Flash Attention 滯死問題

    至少有一份報告明確指出,本文推薦的 26B-A4B 模型可正常處理同樣長度的 prompt;此錯誤僅限於 31B Dense。

    硬體回報的滯死條件
    Nvidia CUDA(RTX 3090)prompt 超過約 3,000 至 4,000 個 token
    Apple Silicon(M5 Max)prompt 超過約 500 個 token

    報導指出的根本原因

    Gemma 4 混合了約五十層 sliding-window attention 與十層 global attention,兩者使用不同的 head 維度(256 對 512),而 Ollama 的 Flash Attention 實作原本並未正確處理這種混合。

    本機 LLM 與 Mac 採購12 / 20

  13. 已知的摩擦點

    Ollama 上另外兩個摩擦點

    確有其事,但每一項的範圍都比聽起來窄

    尚未加速:Gemma 4 在 Apple Silicon 上尚無 MLX 加速

    有報告發現 Gemma 4 退回較慢的 llama.cpp 後端,在 31B Dense 上約為每秒 15 個 token,在 26B-A4B 上約為每秒 75 個 token。目前尚無以 MLX 加速的數據可供對照。

    仍未解決:Qwen 3.5 27B 的 tool calling

    報告中同時指出三個問題。取樣懲罰的錯誤已於 v0.17.5 修復;Ollama 正確的 tool-calling renderer 只被接到「qwen3-coder」而非「qwen3.5」,截至最近一次回報仍未解決。

    本機 LLM 與 Mac 採購13 / 20

  14. 同一個取捨,走過三年

    從 M3 Pro 到 M5 Max

    晶片型號較新,並不代表帶寬必然更高。

    • 150GB/sM3 Pro,2023 年 10 月——較 M2 Pro 的 200GB/s 削減 25%
    • 614GB/sM5 Max,2026 年 3 月——頂規 128GB 版本的統一記憶體帶寬
    • 4×依 Apple 自身數據,GPU 運算能力是上一代的四倍以上

    每秒 token 數:僅有估算值

    某測評部落格自稱「估算值」的測試顯示,M5 Max 在多個模型尺寸上勝過 M5 Pro 與作為對照組的 RTX 4090;Apple 官方發佈本身並未針對任何模型給出每秒 token 數。

    本機 LLM 與 Mac 採購14 / 20

  15. 不同協定,不同時程

    兩套 CLI,兩種接法

    項目Claude CodeCopilot CLI
    原生本機模型支援是,自 Ollama v0.14 起(2026 年 1 月)是,自備金鑰(BYOK),自 2026 年 6 月起
    連線協定Anthropic Messages API相容 OpenAI/外部供應商
    設定方式將 ANTHROPIC_BASE_URL 指向本機 Ollama 伺服器在 CLI 的模型選擇器中設定本機或外部模型

    本機 LLM 與 Mac 採購15 / 20

  16. 結論 · 看合適與否,而非誰是贏家

    哪一台 Mac,適合做什麼

    入門選擇:先用小模型練手

    適合 8B 級 Dense 模型:Apple 入門款 M4 Mac mini(16GB/256GB,2026 年 8 月 Apple 台灣官網為 NT$26,900)安靜、耗電低,開箱即可搭配 Ollama 使用。搭載 M6 或 M5 Pro 的新款 Mac mini 已於 2026 年 9 月 22 日開賣。

    甜蜜點:從容跑起 Gemma 4 的 26B-A4B

    更多統一記憶體(24GB 以上)才是真正換來 agent 反應速度的關鍵:這樣才能讓模型的啟用參數與 KV cache,在不需置換(swap)的情況下與作業系統共存。

    兩者的取捨

    Apple 的記憶體與儲存客製選項是透過設定頁計價,並非公開標價,因此請以「高於入門款的一筆額外預算」估算,而非以固定數字計算。

    本機 LLM 與 Mac 採購16 / 20

  17. 結論 · 看合適與否,而非誰是贏家

    Mac mini 之外:M5 Max、NVIDIA 或雲端

    本機能力的極限:預算夠的話,選 M5 Max

    依 Apple 自身公佈的數據,統一記憶體帶寬高達 614GB/s。Apple 於 2026 年 3 月推出 M5 Max 時,搭載於筆電 MacBook Pro;搭載 M5 Max 的 Mac Studio 直到 2026 年 9 月 22 日才開賣,美國售價 US$2,499 起。

    根本不用 Mac:NVIDIA 主機,或雲端

    NVIDIA 顯卡的 VRAM 專屬於模型使用,不與作業系統共享;而雲端 API 則完全省去版本與設定管理的麻煩。但雲端 API 既不私密,每個 token 也不免費——自己已擁有的機器則兩者皆是。

    本機 LLM 與 Mac 採購17 / 20

  18. 取捨:耗電

    耗電:單張顯卡對比整台電腦

    NVIDIA 並建議搭配 850W 的系統電源。

    項目RTX 4090 單張顯卡(NVIDIA 標示)搭載 M5 Max 的基本款 Mac Studio,整台電腦從插座量得(Apple)
    閒置19W7W
    最高450W 總繪圖功耗200W

    本機 LLM 與 Mac 採購18 / 20

  19. 無法查證的部分

    「長時間推論有降頻風險」

    傳言

    指搭載 M5 Max 的 MacBook Pro,本頁不予斷言。一份公開的疑難排解指南指出,任何筆電機身在持續推論下終究都會降速;但於 2026 年 9 月 28 日查找時,查無任何針對 M5 Max MacBook Pro 降頻的公開實測。

    本機 LLM 與 Mac 採購19 / 20

  20. 總結

    該選哪個模型沒變,變的是成本

    • KV cache 與 prefill 仍比 context 長度更重要。
    • 僅啟用 3.8B 參數的 Gemma 4 26B-A4B 是本機甜蜜點;Flash Attention 滯死問題僅限於 31B Dense。
    • Apple 在 2026 年 5 月與 6 月兩度調漲 Mac mini 售價,客製記憶體升級只透過設定頁計價。
    • 購買前,值得自行核實目前的價格。以上內容不構成購買建議。

    本機 LLM 與 Mac 採購20 / 20