AWS Machine Learning Blog· Ananth Raghavendra·· 4 小时前AI 评分32
如何用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 发布 Ray LLM Deep Learning Containers，可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署，将 prefill 与 decode 分离到不同节点并共用同一个 OpenAI 兼容端点。该容器内置 vLLM、Ray Serve LLM、NIXL 和 EFA 堆栈，整个服务应用只需一段 YAML，无需编写 handler 或构建自定义镜像。
来源：AWS Machine Learning Blog · aws.amazon.com