AWS Machine Learning Blog· Ananth Raghavendra·· 10 小时前AI 评分34
如何用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
在 Amazon EKS 上用多节点 Ray LLM Deep Learning Containers 把一个大语言模型部署到两个 GPU 节点，由 prefill 节点和 decode 节点在一个 OpenAI 兼容端点后协同服务。
来源：AWS Machine Learning Blog · aws.amazon.com