Dek slaid
KembaliLLM setempat dan pembelian Mac — Laporan teknikal
Pada Mac, rasa ejen bergantung pada saiz cache KV dan kelajuan prapengisian, bukan panjang konteks — reka bentuk 26B-A4B Gemma 4, dengan hanya 3.8B parameter aktif, ialah titik optimum setempat. Apple telah menaikkan harga Mac mini dua kali sejak April 2026.
Laporan teknikal · rekod hingga September 2026
Halangan sebenar ialah cache KV dan prapengisian, bukan had konteks
Pada Mac, rasa ejen bergantung pada saiz cache KV dan kelajuan prapengisian, bukan panjang konteks — reka bentuk 26B-A4B Gemma 4, dengan hanya 3.8B parameter aktif, ialah titik optimum setempat.
LLM setempat dan pembelian Mac1 / 20
Dalam empat angka
Angka yang menjadi tunjang laporan
- 3.8Bparameter aktif dalam model 26B-A4B yang disyorkan di bawah, daripada jumlah 25.2B
- 256Kkonteks maksimum pada tiga model Gemma 4 yang lebih besar — 12B, 26B-A4B dan 31B
- +35%kenaikan harga Mac mini peringkat masuk di Taiwan sejak April 2026
- 614 GB/slebar jalur memori bersatu M5 Max Apple, pada 128GB
LLM setempat dan pembelian Mac2 / 20
Apa yang berlaku · harga
Apple menaikkan harga Mac mini dua kali
Harga Sebelum Selepas Peringkat masuk, harga efektif AS (Mei 2026) AS$599 AS$799 M4 Pro, harga permulaan AS (Jun 2026) AS$1,399 AS$1,599 M4 peringkat masuk (16GB/256GB), Taiwan NT$19,900 (Oktober 2024) NT$26,900 (25 Ogos 2026) Tentang harga di sini
Ini harga barisan M4; Mac mini baharu, dengan M6 atau M5 Pro, mula dijual pada 22 September 2026. Semak harga semasa sebelum membeli.
LLM setempat dan pembelian Mac3 / 20
Apa yang berlaku
Apa Yang Berubah Pada 2026
Digredkan mengikut tahap pengesahan, paling kukuh dahulu
Kedudukan Apa Yang Berlaku Disahkan Gemma 4 menggantikan penamaan Gemma 3 Disahkan Apple menaikkan harga Mac mini dua kali Disahkan Kedua-dua CLI pengekodan utama kini boleh mencapai model setempat Disahkan, satu saiz model sahaja Kebuntuan flash-attention menjejaskan satu saiz Gemma 4, bukan yang disyorkan di sini Disahkan, masih terbuka Panggilan alat Qwen 3.5 27B pada Ollama kekal rosak Dilaporkan, tidak disahkan secara bebas M5 Max lebih pantas untuk inferens setempat, tetapi berapa banyak tidak jelas LLM setempat dan pembelian Mac4 / 20
Garis masa · latar belakang
Empat Tahun Cip dan Model
- 2023Apple memotong lebar jalur memori M3 Pro kepada 150GB/s, daripada 200GB/s pada M2 Pro.
- 2024.10Mac mini M4 dan M4 Pro dilancarkan; konfigurasi permulaan Taiwan (16GB/256GB) berharga NT$19,900.
- 2025.03Google DeepMind melancarkan Gemma 3, dalam saiz 1B/4B/12B/27B.
- 2026.01Ollama melancarkan API serasi Anthropic secara asli (v0.14), membolehkan Claude Code berjalan terus terhadap model setempat.
- 2026.03Apple mengumumkan M5 Pro dan M5 Max, dengan lebar jalur memori bersatu sehingga 614GB/s.
LLM setempat dan pembelian Mac5 / 20
Garis masa · April hingga Jun 2026
Tahun yang diliputi laporan ini
- 2026.04.02Google DeepMind melancarkan Gemma 4 dalam empat saiz — E2B, E4B, 26B-A4B, 31B.
- 2026.04Pengguna Ollama pada CUDA dan, secara berasingan, pada Apple Silicon melaporkan model 31B Dense Gemma 4 tergantung di bawah Flash Attention pada gesaan panjang.
- 2026.05.01Apple berhenti menjual konfigurasi Mac mini paling murah; harga permulaan efektif naik daripada AS$599 kepada AS$799.
- 2026.06.03Google menambah saiz Gemma 4 kelima, 12B “Unified”, tanpa pengekod imej atau audio yang berasingan.
LLM setempat dan pembelian Mac6 / 20
Garis masa · Jun hingga September 2026
Harga naik, dan Mac baharu dijual
- 2026.06.17GitHub Copilot CLI menambah sokongan bawa kunci sendiri (BYOK) bagi model setempat dan luaran.
- 2026.06.25Apple menaikkan harga permulaan Mac mini M4 Pro daripada AS$1,399 kepada AS$1,599, dan mengembalikan konfigurasi permulaan yang dihentikan pada harga baharu yang lebih tinggi.
- 2026.08.25Kedai Apple Taiwan menyenaraikan Mac mini dari NT$26,900, dan konfigurasi M4 Pro-nya pada NT$54,900 dan NT$61,900.
- 2026.09.22Apple mula menjual Mac mini baharu, dengan M6 atau M5 Pro, dan Mac Studio dengan M5 Max atau M5 Ultra.
LLM setempat dan pembelian Mac7 / 20
Hujah
Mengapa Panjang Konteks Bukan Angka Yang Perlu Diperhati
Prapengisian dan Cache KV, Bukan Had Token
Setiap giliran
Alat CLI agentik menghantar semula seluruh keadaan kerjanya — gesaan sistem, skema alat, dan transkrip yang sedang berjalan — pada setiap giliran.
Prapengisian
Memproses semula keadaan itu, dipanggil prapengisian, adalah apa yang sebenarnya perlu dikejar oleh lebar jalur memori Mac.
Panjang konteks
Panjang konteks hanya membataskan berapa lama sesi boleh berjalan; ia tidak menyatakan apa-apa tentang bagaimana rasa sesi itu, giliran demi giliran.
LLM setempat dan pembelian Mac8 / 20
Hujah
Penentu rasa: kelajuan prapengisian dan cache KV
Apa yang menentukan rasa itu ialah kelajuan prapengisian, dan berapa banyak memori yang diduduki oleh cache KV — ingatan yang sedang berjalan bagi semua yang telah diproses — bersama pemberat model itu sendiri.
- 1,024token: saiz tetingkap gelongsor yang membataskan kebanyakan lapisan perhatian Gemma 4, mengikut spesifikasi rasmi model itu sendiri.
- ×0.5Mengkuantumkan cache KV daripada titik terapung 16-bit kepada integer 8-bit terus mengurangkan jejak memorinya kepada separuh — fakta definisi bagi format itu sendiri, bukan penanda aras yang diukur.
LLM setempat dan pembelian Mac9 / 20
Gemma 4 Bukan 1B/4B/12B/27B
Penamaan Yang Sering Disalahfaham
Setiap baris dibaca daripada kad model Google sendiri; tiada satu pun pengganti setara bagi rakan sejawat Gemma 3-nya.
Yang Lazim Disebut SKU Gemma 4 Parameter Konteks Maksimum 1B E2B 2.3B berkesan (5.1B dengan benaman) 128K 4B E4B 4.5B berkesan (8B dengan benaman) 128K 12B 12B Unified (padat) 11.95B (padat, semua aktif) 256K Tiada padanan Gemma 3 26B-A4B (campuran pakar) 3.8B aktif daripada jumlah 25.2B 256K 27B 31B padat 30.7B (padat, semua aktif) 256K LLM setempat dan pembelian Mac10 / 20
Hujah · penamaan
Maksud “E”, “A” dan “Unified”
E = berkesan
Setiap lapisan membawa jadual benamannya sendiri, yang besar tetapi hanya digunakan untuk carian pantas, jadi kiraan berkesan (2.3B, 4.5B) jauh lebih kecil daripada jumlah dengan benaman (5.1B, 8B).
A = aktif
3.8B daripada 25.2B parameter 26B-A4B bekerja pada setiap token, melalui lapan daripada 128 pakar ditambah satu pakar kongsi yang sentiasa aktif.
Unified
Model 12B mengekalkan saiz Gemma 3 tetapi bukan reka bentuknya: ia tiada pengekod imej atau audio yang berasingan, dan menyalurkan kedua-duanya terus ke dalam model bahasa.
LLM setempat dan pembelian Mac11 / 20
Geseran yang diketahui · 31B Dense sahaja
Kebuntuan Flash-Attention
Sekurang-kurangnya satu laporan menyatakan bahawa model 26B-A4B yang disyorkan di sini mengendalikan gesaan panjang yang sama tanpa masalah; pepijat ini khusus kepada 31B Dense.
Perkakasan Kebuntuan dilaporkan Nvidia CUDA (RTX 3090) gesaan melebihi kira-kira 3,000–4,000 token Apple Silicon (M5 Max) gesaan melebihi kira-kira 500 token Punca utama yang dilaporkan
Gemma 4 mencampurkan kira-kira lima puluh lapisan perhatian tetingkap gelongsor dengan sepuluh lapisan perhatian global, dan kedua-duanya menggunakan dimensi kepala yang berbeza (256 berbanding 512) yang tidak dikendalikan dengan betul oleh pelaksanaan Flash Attention Ollama pada asalnya.
LLM setempat dan pembelian Mac12 / 20
Geseran yang diketahui
Dua lagi geseran pada Ollama
Benar, dan setiap satu lebih sempit daripada bunyinya
Belum dipercepatkan: Gemma 4 berjalan tanpa MLX pada Apple Silicon
Satu laporan mendapati Gemma 4 kembali menggunakan bahagian belakang llama.cpp yang lebih perlahan, pada kira-kira 15 token sesaat bagi 31B Dense dan kira-kira 75 bagi 26B-A4B. Belum ada angka yang dipercepatkan MLX untuk dibandingkan.
Masih terbuka: panggilan alat Qwen 3.5 27B
Tiga kerosakan dilaporkan serentak. Pepijat penalti persampelan telah ditampal dalam v0.17.5; pemapar panggilan alat Ollama yang betul, disambungkan hanya kepada nama model “qwen3-coder,” bukan “qwen3.5,” masih terbuka setakat laporan terakhir.
LLM setempat dan pembelian Mac13 / 20
Tiga Tahun Pertukaran Yang Sama
Dari M3 Pro kepada M5 Max
Nombor cip yang lebih baharu tidak semestinya bermaksud lebih banyak lebar jalur.
- 150GB/sM3 Pro, Oktober 2023 — potongan 25% daripada 200GB/s M2 Pro
- 614GB/sM5 Max, Mac 2026 — lebar jalur memori bersatu pada konfigurasi 128GB tertinggi
- 4×lebih empat kali ganda pengkomputeran GPU generasi sebelumnya, mengikut angka Apple sendiri
Token sesaat: anggaran sahaja
Ujian blog penanda aras yang melabelkan dirinya sendiri sebagai “Anggaran” meletakkan M5 Max mendahului M5 Pro dan RTX 4090 rujukan pada beberapa saiz model; pengumuman Apple sendiri tidak menyatakan angka token sesaat bagi mana-mana model.
LLM setempat dan pembelian Mac14 / 20
Protokol Berbeza, Garis Masa Berbeza
Dua CLI, Dua Cara Masuk
Perkara Claude Code Copilot CLI Sokongan model setempat asli Ya, sejak Ollama v0.14 (Jan 2026) Ya, bawa kunci sendiri (BYOK), sejak Jun 2026 Protokol Anthropic Messages API Serasi OpenAI / pembekal luaran Persediaan Tujukan ANTHROPIC_BASE_URLkepada pelayan Ollama setempatKonfigurasikan model setempat atau luaran dalam pemilih model CLI LLM setempat dan pembelian Mac15 / 20
Kesimpulan · kesesuaian, bukan pemenang
Mac Yang Mana, Untuk Apa
Titik permulaan: belajar asas dengan model kecil
Untuk model padat kelas 8B: Mac mini M4 permulaan Apple (16GB/256GB, NT$26,900 di kedai Apple Taiwan pada Ogos 2026) senyap, menjimatkan kuasa, dan tidak memerlukan apa-apa selain Ollama sedia ada. Mac mini baharu, dengan M6 atau M5 Pro, mula dijual pada 22 September 2026.
Titik optimum: 26B-A4B Gemma 4, dengan selesa
Lebih banyak memori bersatu (24GB atau lebih) itulah yang sebenarnya membeli responsif ejen di sini: ia membolehkan parameter aktif model dan cache KV-nya duduk bersama OS tanpa swap.
Pertukaran, bagi kedua-duanya
Apple menetapkan harga memori dan storan tempahan khas melalui pengkonfigurasinya, bukan sebagai angka tersenarai, jadi bajetkan premium berbanding peringkat permulaan dan bukan angka tetap.
LLM setempat dan pembelian Mac16 / 20
Kesimpulan · kesesuaian, bukan pemenang
Selain Mac mini: M5 Max, NVIDIA atau awan
Keupayaan setempat maksimum: M5 Max, jika bajet mencukupi
Sehingga 614GB/s lebar jalur memori bersatu, mengikut angka rasmi Apple sendiri. Apple memperkenalkan M5 Max pada Mac 2026 untuk MacBook Pro, sebuah komputer riba; Mac Studio dengan M5 Max hanya mula dijual pada 22 September 2026, dari US$2,499 di Amerika Syarikat.
Bukan pada Mac langsung: mesin NVIDIA, atau awan
VRAM kad NVIDIA didedikasikan untuk model dan bukan dikongsi dengan OS, dan API awan menghapuskan sepenuhnya pengurusan versi dan konfigurasi. Tetapi API awan tidak persendirian dan tidak percuma bagi setiap token, sebagaimana mesin yang sudah dimiliki pembeli.
LLM setempat dan pembelian Mac17 / 20
Pertukaran: kuasa
Kuasa: satu kad berbanding seluruh komputer
NVIDIA juga menyarankan bekalan kuasa sistem 850W.
Kadar RTX 4090, kad sahaja (NVIDIA) Mac Studio asas dengan M5 Max, keseluruhan komputer di soket dinding (Apple) Melahu 19W 7W Maksimum 450W jumlah kuasa grafik 200W LLM setempat dan pembelian Mac18 / 20
Perkara yang tidak dapat disahkan
“Inferens berterusan berisiko mengalami sekatan haba”
Laporan belum disahkan
Tentang M5 Max dalam casis MacBook Pro, dan tidak ditegaskan di sini. Satu panduan penyelesaian masalah yang diterbitkan menyatakan bahawa setiap casis komputer riba akhirnya menjadi perlahan di bawah inferens berterusan, tetapi apabila dicari pada 28 Sep 2026, tiada ukuran sekatan haba yang diterbitkan bagi MacBook Pro M5 Max ditemui.
LLM setempat dan pembelian Mac19 / 20
Kesimpulannya
Model mana yang perlu dijalankan tidak berubah; kosnya berubah
- Cache KV dan prapengisian masih lebih penting daripada panjang konteks.
- 26B-A4B Gemma 4, dengan hanya 3.8B parameter aktif, ialah titik optimum setempat; kebuntuan flash-attention khusus kepada 31B Dense.
- Apple menaikkan harga Mac mini dua kali pada Mei dan Jun 2026, dan menetapkan harga naik taraf memori tempahan khas hanya melalui pengkonfigurasinya.
- Berbaloi untuk menyemak harga semasa sendiri sebelum membeli. Tiada satu pun daripada ini nasihat pembelian.
LLM setempat dan pembelian Mac20 / 20