本地跑30B大模型：M5 每核神經加速器 對比 M6 AI 智核（台灣 / 港澳，2026-06-02）

買 Mac 是為了少租 token——然後才發現「本地能跑 Llama」真正取決於記憶體頻寬、量化格式，以及矩陣乘法落在哪塊矽上。Apple 2025 年 10 月發布的 M5 把 AI 推進到每個 GPU 核心，每核配備可透過 Metal 4 張量 API 程式設計的 Neural Accelerator。傳聞中的 M6 則描繪更緊耦合的整片「AI 智核」——更高 Neural Engine 吞吐、CPU/GPU/NPU 更多融合，以及面向 30B 級模型的更高統一記憶體頻寬。

本文對比 M5 每核神經加速器架構 與 M6 超整合 AI 智核敘事，面向要在 Mac 上跑 本地 DeepSeek/Llama 級模型、IDE 副駕與 Agent 叢集的開發者——不把 Mac 當成「一鍵消滅 API」的魔法。數據引用 Apple M5 新聞稿 與 Apple Silicon 規格 中已確認部分；M6 章節均標註為推測，直至 Apple 正式發片。

在台灣與港澳場景裡，還要疊加跨境頻寬、API 控費與模型鏡像存取：本地推理能規避按 token 計費的海外 API，但模型下載與更新常需規劃 Hugging Face／ModelScope 鏡像與內網快取——硬體選對了，仍要配好權重來源與量化策略。

你真正要做的決定

Mac 上本地大模型是否順手，很少是「哪顆晶片 TOPS 更高」。通常是：

1. 權重放哪 — 統一記憶體容量（Apple 公開陣容中 M5 Max 約 24–128 GB）。
2. 張量跑多快 — 記憶體頻寬（M5 基礎款 153 GB/s；M5 Max 頂配約 614 GB/s）。
3. 誰做矩陣乘 — MLX、llama.cpp/Ollama、PyTorch MPS，或 Metal 4 在每 GPU 核 Neural Accelerator 上的核心程式。

若同一台機器還要跑 Agent + Xcode CI，請配合閱讀 2026 AI Agent 框架橫評——硬體決定天花板，軟體決定每月 API 帳單。

架構快照 — M5 已上市 vs M6 傳聞

M5（已確認）：每 GPU 核一個 Neural Accelerator

Apple 稱 M5 GPU 每個核心內建 Neural Accelerator，同級約 相對 M4 4× GPU AI 峰值算力，並保留 16 核 Neural Engine 服務 Apple Intelligence 類負載。開發者可透過 Metal 4 Tensor API 呼叫 GPU 神經路徑——不只聊天介面，也涵蓋自訂核心程式與端側擴散等場景。

[M5 統一記憶體：權重 + KV 快取] | +----+----+----+ | | | | GPU GPU ... GPU （每核：神經加速器） | | | +----+----+----+ | 16 核 Neural Engine（ANE）— Apple Intelligence / Core ML 快速路徑 | CPU（效能核 + 節能核）

M6（推測）：「AI 智核」超整合

外洩與分析師敘事（截至 2026 年中非 Apple 新聞稿）描述 M6 可能具備：

• WWDC 2026與記憶體危機：M5 Mac Mini或延期
• ANE ↔ 記憶體更高頻寬 — 減少 ANE 與 GPU 間搬運活化。
• 更多自動圖融合 — 注意力在 GPU、部分算子在 ANE 時減少顯式拷貝。
• 2 nm 級密度 — 更多電晶體投向 Transformer 的 INT4/FP16 持續吞吐。

在 WWDC 或新聞稿公布表格前，把 M6 數字當規劃假設。買 M5 請依據已上市基準，別賭簡報。

決策矩陣 — 本地 30B 與 Agent 負載

外部錨點： Apple M5 發布稿明確提到在 MacBook Pro 與 iPad Pro 上本地執行大語言模型——可作為「官方鼓勵本地 LLM」方向，再用開源堆疊（MLX、Ollama）實測驗證。

場景 A — 重度本地程式設計 + 7B–14B 常開

今天選 M5 MacBook Pro / Mac mini 級，當你需要：

• IDE 輔助（Cursor、Claude Code）+ 常載 7B–14B 側車做儲存庫問答。
• 工作集 <20 GB，M5 基礎 153 GB/s 頻寬夠用。
• 用 Metal/MLX 實驗，不願等 M6 工具鏈成熟。

何時才該聽 M6 傳聞： 僅當你計劃推遲購機 12 個月以上，且現有 Mac 連最低量化都裝不下。

維運提示： 每台機器固定一個執行環境（如 Ollama 或 MLX LM）與一種量化（Q4_K_M 檔）——各 Agent 各起 14B 會成倍吃記憶體。

場景 B — 30B 級模型當日用主力

M5 Max 64–128 GB 統一記憶體 是 2026 年 Mac 上跑 30B Q4 本地對話的務實平台——僅權重就約 18–22 GB，尚未計 KV 快取。

真正拉動 tok/s 的因素：

M6「超整合」有幫助的前提： Apple 與開源執行環境能把 Transformer 區塊自動路由到 ANE+GPU 融合流水線，無需手調 device=。在此之前，調好 MLX 的 M5 Max 往往優於空等。

務實預期： 「比雲端更順」≠「比 GPT-4 級雲端更快」。你換來的是隱私與固定硬體月成本，未必是頂尖推理。

場景 C — 單機多 Agent 矩陣

Hermes/OpenClaw 類閘道 與本地 LLM 並存時，瓶頸常在 記憶體與行程數，而非單純 FLOPS。

延伸閱讀：租用 M4/M5 上的 Hermes 對 OpenClaw 對 OpenHuman——閘道放哪；並非每個 Agent 都需要本地 30B。

租用說明（中性）： Agent 7×24 但推理留在筆電本地時，小規格租用可選；若全部要上無頭主機，優先 記憶體 而非追新製程。

推薦路徑（明確）

1. 本季就要本地 LLM → 配置 M5 Max（30B Q4 至少 64 GB）；用 MLX 或 llama.cpp 基準；Apple 未公布 M6 規格前忽略外洩。
2. 長期停留在 7B–14B → M5 Pro/Max 基礎頻寬 足夠；先加統一記憶體 再追 ANE TOPS。
3. 自寫核心程式 / 微調訓練 → M5 每核 Neural Accelerator + Metal 4 相對純 ANE 更有差異化。
4. 只用 Apple Intelligence → M5 已有 16 核 Neural Engine；開源權重往往更受益於 GPU 神經核。
5. 若 M6 證實 ANE 約 2× 且 Max 級 600 GB/s+ → 用你的 30B 量化複測；僅當日常負載 tok/s >1.5× M5 基線再升級。

工具跑通 — 先測再信神話

1. 記錄基線機器： sysctl -n machdep.cpu.brand_string 與記憶體（system_profiler SPHardwareDataType | grep Memory）。
2. 固定一種 30B 量化（如 Q4_K_M）與一種執行環境（MLX LM 或 Ollama）。
3. 預熱載入 後跑固定提示集（512 / 2k / 8k 上下文）。
4. 記錄 tok/s；若工具暴露則標註 GPU vs ANE。
5. 觀察活動監視器記憶體壓力—持續黃色表示要減模型或加記憶體。
6. 與同量雲端 API 月費對比—硬體在高頻、重隱私場景更划算，單次任務未必。

MLX 範例（請以目前文件為準）：

pip install mlx-lm python -m mlx_lm.generate --model mlx-community/DeepSeek-R1-Distill-Llama-8B-4bit \ --prompt "用三條要點概括 Metal 4 Neural Accelerator。" --max-tokens 120

僅當 8B 在你的配置上穩定 >30 tok/s 且無記憶體壓力時，再放大模型路徑。

故障排除

兩分鐘後記憶體壓力拖垮 tok/s

現象： 首答很快，隨後極慢；活動監視器 swap 飆升。

處理： 減小 --ctx-size、換更小量化（Q4_0 vs Q6）、卸載重複 Agent 行程，或升級到 64 GB+ M5 Max。36 GB 機器硬跑 30B 是配置錯配，不是驅動程式錯誤。

MLX 顯示 GPU 但速度像 CPU

現象： tok/s 很低，風扇幾乎不轉。

處理： 更新 macOS 與 M5 版 MLX；確認權重載入 GPU（mx.metal 記憶體）。早期 M5 建置可能仍把部分注意力留在 CPU——框架更新後重試。

Ollama / llama.cpp「能裝下」但品質崩壞

現象： 記憶體夠但極低量化輸出混亂。

處理： 升一檔量化（常 +4–6 GB），或改用 14B 高量化 而非 30B 超低量化。本地省 API 費抵不上反覆重跑三次提示。

FAQ

延伸閱讀

• 2026 AI Agent 框架橫評
• Hermes 對 OpenClaw 對 OpenHuman
• Codex CLI 對 Claude Code 基準