# Apple 用 MLX 与 RDMA 在 Mac Studio 上本地及分布式推理大模型

> 原标题：Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio

- 来源：Apple Machine Learning Research
- 发布时间：2026-10-15T00:00:00.000Z
- 阿晓AI：https://aixiao-ai.com/items/fn7ryrktyh7s2kou8lvh7n0ot
- 原文：https://machinelearning.apple.com/research/mlx-distributed-inference

## 摘要

Apple 展示用最新版 MLX 在 Mac Studio 上运行近万亿参数的 Muse Spark Open，四台 M5 Ultra 通过 RDMA over Thunderbolt 5 做张量并行，生成速度达 36.73 tokens/s。

## 推荐理由

原文给出多机并行跑 816B 模型的实测数据与启动命令，可据此评估本地部署大模型的可行边界。