跳到正文
Hugging Face Blog·· 2 天前AI 评分34

Ai2 如何为 GPU 集群设计高影响力调度系统

Impactful scheduling for GPU clusters

AI 导读

Ai2 用 GPU 时间预算、分层公平分配和时间切片契约替换了原有的优先级调度器,把各研究项目该分多少 GPU 时间的争论从逐案运维协调变成透明的行政预算流程。其集群管理数千块 NVIDIA H100、B200 和 B300 GPU,规模从 88 到 1024 块不等,服务约 150 名内部研究员,而待处理请求对 GPU 的需求常年是可用量的 2-3 倍。

来源:Hugging Face Blog · huggingface.co