港行 M5 Ultra 512GB/8TB 近二十萬:同一筆錢分拆多部機,本地部署並行會唔會更抵?512 無完整公開實測,數字作粗估引發思考。
見到 Mac Studio 可以勾到 M5 Ultra、512GB 統一記憶體、8TB SSD ,銀碼一跳——港行官方配置頁而家顯示大約 HK$197,249 (以 Apple 香港商店 當頁為準,價錢會變)。腦入面第二個聲音就係:同一筆錢,拆成兩部、甚至更多部,會唔會更啱 本地部署 ——幾個模型、幾條工作流一齊跑?
對照一下上代:Mac Studio M3 Ultra「滿血」 一檔,香港當年高配大約 七萬多 (視你點配 SSD;例如 PCM 記載 32 核/80 核打爆 512GB + 16TB 官方約 HK$107,749 )。而家同檔思維嘅 M5 Ultra 512GB + 8TB 已近 HK$19.7 萬 ——記憶體仲係 512,但晶片同儲存組合貴咗一大截。正正因為貴,先更值得問:錢係咪一定要塞進一部機。
講清楚先:公開實測而家多落在 M5 Ultra 256GB (例如並發 session、Flash-Next tok/s);512GB 滿血版幾乎未見完整對照數據 。所以下面講 512 同「同價分拆」嘅 token/並行,多數係 用 256 實測推上去嘅粗估 ,目的係 引發思考 ——唔係保證你落單後會跑出邊個數。真正想帶出嘅係:本地部署時,多部機有咩實際好處 。
Mac Studio
而家邊啲大模型「比較好、比較易」喺本地跑
Apple Silicon 上,普通人最易上手通常係呢幾條路:
Ollama :一條指令拉模型,適合先試水。LM Studio :有介面,調 context、睇 VRAM/統一記憶體用量方便。MLX/mlx-lm :多數情況下 Apple 晶片 decode 會快啲、記憶體亦往往慳啲。
「比較好又易」嘅細/中型選擇(2026 年常見、社群討論多):
類型 例子(4-bit 量級) 粗略權重佔用 點解易用 細、快 Qwen 約 7B–9B 級 約 5–8GB 起 裝完即傾,適合草稿、分類、短通告 中、密實 Gemma/Qwen 約 27B 級 約 15–20GB 質素明顯好啲,一部 64GB+ 機好舒服 中、MoE 約 30B 總參、每次只起動幾 B(例如 A3B 類) 記憶體似中型,速度似細型 記憶體換速度 好抵,Mac 好啱大一檔 70B 級 4-bit 約 35–45GB+ 要 64–128GB 機先穩陣留 context
經驗法則:4-bit 大約每 10 億參數 0.5–0.6GB,再加 KV cache(context 愈長愈食) 同系統本身。建議總用量唔好長期食爆統一記憶體嘅 75–80%,唔係就開始 swap、token 速度插水。
Ollama 預設超長 context 可以令「細模型」突然好食 RAM——記得自己調低 num_ctx。
一部機同時跑兩個模型:可唔可以?Token 大概點睇
可以。 統一記憶體夠大,Ollama/LM Studio/兩個 MLX server 開住兩個 model 好常見。例如:
一個 9B 負責「快問快答/改語氣」 一個 27B 或 MoE 負責「寫長文、對 code」
喺 512GB Ultra 上,兩個中型模型加長 context 仍然好鬆。問題唔係「入唔入到」,而係:
頻寬共用 :M5 Ultra 約 1.2TB/s 記憶體頻寬。兩個 model 一齊 decode,大家搶同一條喉——各自 tok/s 通常低過「獨佔成部機」。你真正想要嘅係邊種 : – 要 一個超大模型 或者 好長 context → 單機大 RAM 贏。 – 要 兩條獨立工作流同時全速 (例如一邊寫稿一邊跑監測摘要)→ 分拆兩部機,加總 tok/s 往往更高。
以下係 粗估 (用公開 256GB/相近晶片數量級推去 512 同分拆;512 無完整公開對照,只係諗法框架 ):
場景 粗估 Ultra 獨跑 9B(MLX 4-bit) 大約每秒近百 token 量級 Ultra 獨跑 27B dense 4-bit 大約每秒二三十 token 量級 Ultra 獨跑 MoE(約 30B-A3B 類) 往往明顯快過同記憶體佔用嘅 dense 27B Ultra 同時 跑兩個 27B 級 記憶體仍夠;各自速度多數會打個折(搶頻寬),總吞吐未必等於「兩倍獨跑」 兩部機 各跑一個 27B各有自己嘅頻寬 → 加總更接近「兩倍獨跑」
一句:單機 512GB 係「一台巨型共享廚房」;分拆係「兩間細廚房同時煮」——並行任務通常後者加總更快。
Mac mini
用 HK$197,249(512GB/8TB)做餅,點拆
以下價錢取自 Apple 香港商店配置頁(撰稿時核對),方便對比;落單前請再開一次官方頁 。
基準
Mac Studio M5 Ultra (36 核 CPU/80 核 GPU)512GB + 8TB ≈ HK$197,249
常見「半滿血/較細」Studio
Ultra 36/80、256GB + 8TB ≈ HK$110,999 Ultra 36/80、256GB + 1TB ≈ HK$84,749 Ultra 36/80、96GB + 1TB ≈ HK$54,749 M5 Max 18/40、128GB + 1TB ≈ HK$41,749
Mac mini(分拆常用)
M5 Pro 18/20、64GB + 1TB ≈ HK$25,249 M6、32GB + 1TB ≈ HK$14,049
組合 A:一部 512 滿血
錢:≈ 197,249(一部) 強項:塞得落好大嘅單一模型、超長 context、一個 process 內多 agent 共用大 KV。 弱項:兩個重模型並行時搶同一條 1.2TB/s;壞機/要維修就全家停工。
組合 B:兩部「256GB 級」
例:兩部 Ultra 256GB/1TB ≈ 84,749 × 2 = HK$169,498 (仲剩大約二萬幾可以加一部 mini 或者升級 SSD) 或者一部 256/8TB(110,999)+ 一部 Max 128/1TB(41,749)≈ HK$152,748 強項:兩個模型各佔一部機,並行 token 加總通常好過單機雙開 ;一部維修另一部仲用得。 弱項:單一模型上限低過 512GB;兩套系統要自己管更新、備份、網絡。
組合 C:M5 Max 128 + Mac mini M5 Pro 64(同價可買多套)
一套:41,749 + 25,249 ≈ HK$66,998 同一筆 197,249 大約可以買 約三套 (3 × 66,998 ≈ 200,994,貼近預算,要自己微調 SSD/記憶體) 強項:三個獨立節點——例如「寫手模型/監測摘要/實驗模型」分開;總並行吞吐可以好高。 弱項:單機塞唔落 70B+ 大型;每部頻寬低過 Ultra(Max 約 0.46–0.61TB/s,Pro 約 0.3TB/s)。
組合 D:分拆更多——「一堆 mini/Max」
例:一部 Ultra 96GB(54,749)做「大模型位」+ 兩部 Max 128(41,749×2)+ 兩部 mini Pro 64(25,249×2)≈ HK$188,745 或者乾脆四至七部高配 mini/Max 打散(視你點配)。 強項:故障域細、可按任務擴充、Apple 宣傳 Ultra 亦可用 Thunderbolt 5 做分散式推論(官方指叢集對比單機可快達約 3 倍,視工作負載)。 弱項:電費、網線、管理成本、軟件要自己做路由;唔係「開箱即一台神機」。
實測場景:Qwen3-8B + Qwen-Image-2.1 一齊跑
假設你日常就係呢對組合(好常見):
兩個一齊常駐,粗略要 約 40GB+ 統一記憶體先舒服(再加系統同瀏覽器)。以下係 粗估 ,用公開 256GB/社群數字推去各組合——512 一欄尤其係推估,用來諗分拆值唔值得 ,唔係落單保證。
組合 Qwen3-8B(短對話 decode) Qwen-Image-2.1(1024,模型已載入) 兩個一齊時點樣 A:一部 M5 Ultra 512/8TB 大約 90–120+ tok/s 量級(MLX 4-bit;mlx.app 估 M5 Ultra 8-bit 約 62–110,M3 Ultra 實測 4-bit 短對話約 120) Base 大約 30–35 秒/張 (M5 Ultra 256GB 上 mflux 約 30s;另有對照約 35s);Turbo 大約 8 秒/張 量級 記憶體極鬆。一齊跑時文字多數仲快;出圖會分薄 GPU/頻寬,或慢一成半截,但仍然一部機搞掂 B:兩部 256GB 級 Ultra 文字機獨佔:同上,約 100+ tok/s 出圖機獨佔:同上約 30s/Turbo ~8s ,唔使同文字搶 並行最靚 :一邊出 token 一邊出圖,加總吞吐通常贏單機雙開C:Max 128 + mini M5 Pro 64 Max 上約 24–42 tok/s (mlx.app M5 Max 量級);Pro 64 約 16–28 tok/s Max 128 夠放 Image(~37GB);速度估介乎 M4 Max(20 step 約兩分鐘量級)同 M5 Ultra 之間,粗略 約 1–2 分鐘/張(Base) ,Turbo 或數十秒 建議 Max 專出圖、mini 專 8B ,定 Max 雙載、mini 做第二條文字 。三套同價就係三對流水線 D:分拆更多(Ultra 96 + Max + mini…) 每部 mini/Max 各自 約 16–40 tok/s 量級;可開多條 8B 把 Image 固定喺 Ultra 或 Max ;其餘節點唔好硬塞 Base(32GB M6 偏緊) 最啱「多個寫手文字流 + 一部出圖機」;總文字 token 可以好高,出圖仍然受單一繪圖機上限
記憶體速查:8B 好細,瓶頸幾乎一定係 Image-2.1 。32GB M6 mini 用輕量 4-bit 包或者 Turbo 或可試,但同 8B 長期雙開唔穩陣——分拆時寧願留部 ≥64GB 畀出圖。
實務一句:若你真係日日 8B 傾偈 + Image-2 出圖 ,用 HK$19.7 萬買 512 滿血版,記憶體過剩;兩部 256 或者 Max+mini 乘幾套 ,通常用實際「每分鐘出幾多字/幾多圖」計會更抵。512 仍然贏喺:超長 context、更大文字模型、出圖同時仲要載住好大 LLM。
公開測試摘錄:Ultra/Max 級 token(有來源)
細機(例如入門 M5/Pro)同 Ultra 差距太大,比較意義低,呢度只留 Max/Ultra 級 。方法、context、量化唔同,只可橫向參考 ;你可接受門檻大約 30 tok/s 起。
機/晶片 模型 條件 Decode 大約 來源 M3 Ultra 60 核、96GB Qwen3-8B 4-bit MLX,短對話 約 120 tok/s llm-speed M5 Max、48GB Qwen3-14B 4-bit MLX 約 63 tok/s llamaperf M5 Max、48GB Qwen3-32B 4-bit MLX 約 28 tok/s (貼近/略低於 30)同上 M5 Max 40 核、128GB Qwen3.8-27B 4-bit oMLX,4k–16k 約 31–33 tok/s oMLX M5 Ultra Qwen3.8-27B 公開實測整理 約 48–51 tok/s 量級llmcheck /整理文M5 Ultra 256GB Qwen-Image-2.1 mflux,1024 約 30 秒/張 (Turbo 另約 8 秒量級)社群實測整理
M5 Ultra 256GB:公開有冇講過「同時並發幾多」?
有,而且講得幾具體——要分清兩種「同時」:
1)同一模型、多條請求一齊 decode(batch/多 session)
MacStories 用 M5 Ultra 256GB 、oMLX 跑 Qwen3.8-Flash-Next :實測 1/2/3 條同時 。作者寫明 256GB 上可以 stack 到三條 Flash-Next session ;三條一齊時整組約 22.1 秒 做完(每條約 6.5K in/600 out),合併輸出約 81.5 tok/s (單條時合併約 66)。重點:每條會慢過獨跑,但三條都完成得到。llamaperf 匯總 同一機 Flash-Next:單條平均 decode 約 121 tok/s ;2 並行約 74 tok/s/條 ;4 並行約 41 tok/s/條 ——若以 ≥30 tok/s 做「仲舒服」門檻,大約 2–4 條並行 仍過線;再加就會跌穿。27B 級:oMLX 有 batch 1/2/4 總吞吐上升嘅提交;另有服務向測試(注意有啲係 192GB 機)顯示 27B 可以推到更高 concurrent,但 每 user tok/s 會一路跌 ——過咗你嘅 30 門檻就要自己睇表。
2)記憶體入面「同時住住幾個模型」
256GB 統一記憶體夠大,可以 預載多個中型模型 (例如一個快答、一個寫長文/出圖),唔等於全部一齊全速 decode。一齊 decode 仍然係搶 同一條約 1.2TB/s 頻寬 。
實用結論:256GB Ultra 上,本地 agent/多 session 嘅「舒服並發」公開實測多落在 2–3 條(Flash-Next 類);推到 4 條仍可過約 40 tok/s/條。 512GB 理論上 KV/同時載模型更鬆,但 頻寬仍然係一條約 1.2TB/s ——唔會 magically 變成「四倍並行仍每條全速」。要更多條仍然 ≥30,細啲模型、短啲 context,或者 分拆多部機各有自己頻寬 ,往往先係本題。
本地部署:點解會諗「多部機」?
單機大 RAM 好吸引——一個大模型、超長 context、剪片旁邊仲載住 LLM,一部搞掂。但本地真正日用,好多時唔係「一部神機塞爆」,而係 幾條工作流長期開住 :寫稿、出圖、監測摘要、實驗新模型……呢時多部機嘅好處好實際:
各有自己嘅記憶體頻寬 — 單機雙開係搶同一條喉;兩部機各跑一個模型,加總吞吐通常更接近「兩倍獨跑」,而唔係打個折。 故障域細 — 一部要更新、過熱、或者你試爆某個實驗模型,另一部仲可以照寫稿/照告警。 任務隔離 — 出圖機專門載 Image;文字機專門載 chat;監測用細模型,唔同寫手搶資源。本地部署最怕「一個 process 食爆,全家卡」。 同價換節點數 — 用 512 滿血嗰筆錢,可以變成兩部 256,或者 Max + mini 乘幾套;並行任務愈多,呢種換法愈值得計。 擴充彈性 — 先兩部夠用,之後再加一部做實驗,唔使一次過買到頂。Thunderbolt 5 分散式推論係另一條路,但日常「兩條獨立 API」往往簡單過一開始就玩叢集。
512 仍然有位置:你證實要 單一超大模型 、或者 超長 context + 多 agent 共用大 KV 。只係喺「未有 512 公開並發數據」之前,更值得先問——你嘅本地負載,係一條大河,定係幾條細河要一齊流?
邊種「跑 token 會更多」?
要講清楚你比較緊嘅係邊個指標:
單一對話、要最大最醒嗰個模型 → 512GB 滿血 方向通常啱(記得:呢度多係推估)。 同時兩條以上獨立本地推論 (兩個 chat、兩個助手後端、一邊寫 code 一邊摘要郵件)→ 分拆兩部或更多 ,加總 tok/s 多數更高——本地部署最常見嘅痛點就係呢度。 要快、又要慳記憶體 → 優先揀 MoE 細起動 模型,再決定要唔要 Ultra。 影相/剪片/寫 code 同 AI 一齊 → 單機大 RAM 方便「剪片唔停、旁邊仲載住模型」;分拆就係「一部專創作、一部專模型」。
實務例子:
「寫手」用 27B 寫 blog 初稿;「監測」用 9B 將 curl/log 變一句人話告警——兩部機各跑各的,唔使 512。 要本機試 100B+ 級或者超長文件一次過入 context——512GB 先有討論價值。 剪 8K 同時載住大模型——大統一記憶體單機舒服啲。
機再滿血,都要 set 好 rules
分拆幾多部都好,如果你用會動手嘅本地助手,記得寫清楚規則 :
寫手 :只出稿,唔自動發佈 、唔開付款。 監測 :只告警,唔准自行重啟伺服器 。 彙總 :定時整清單,外寄停低等你確認。
密碼、OTP、學生個資唔貼 chat;用 Vault/1Password。機係工具,rules 先係遙控。
我自己會點揀(唔係叫你跟)
已經證實自己要 一個好大嘅本機模型 或者超長 context → 先望 512 滿血。 主要係 幾個中型模型並行 、想故障隔離、想本地同價換更多吞吐 → 我會優先計 兩部 256 或者 Max 128 + mini Pro 64 乘幾套 。 主要瀏覽文書 → 唔使糾結呢篇,望 Mac mini M6 就得。
想追系列可訂 RSS:https://www.rockfu.net/blog/feed/
(規格同售價以 Apple 香港當頁為準。512GB 並發/雙模型數字多為粗估 ,用來對照分拆思路;有來源嘅實測以文中連結為準。實際視模型、量化、context、軟件版本同室溫。呢篇只係分享諗法,唔係購買建議。)