Apple Machine Learning Research·· 4 天前精选AI 评分63
Apple 用 MLX 与 RDMA 在 Mac Studio 上本地及分布式推理大模型
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
AI 导读
Apple 展示用最新版 MLX 在 Mac Studio 上运行近万亿参数的 Muse Spark Open，四台 M5 Ultra 通过 RDMA over Thunderbolt 5 做张量并行，生成速度达 36.73 tokens/s。
推荐理由
原文给出多机并行跑 816B 模型的实测数据与启动命令，可据此评估本地部署大模型的可行边界。
来源：Apple Machine Learning Research · machinelearning.apple.com