AWS 开源 MoE 融合内核优化，H200 吞吐提升 2–4%
热点事件持续更新
AWS 开源 MoE 融合内核优化，H200 吞吐提升 2–4%
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
AWS 发布技术博客，介绍其针对 MoE 模型 decode 阶段 token 行数极薄、Hopper Tensor Core 利用率低的问题所做的融合内核优化。团队采用 Swap-AB 转置，让专家维度 N=8192 占据 WGMMA 要求的前导 M=64 位置。AWS 称该优化在 H200 上带来 2–4% 的端到端输出吞吐提升。 该优化已合入 vLLM，AWS 称在 0.24.0 及更高版本可用，同一博客中另称在 0.22.0 及更高版本可用；AWS 还称该改进已在其 Large Model Inference（LMI）v28 容器中提供。上述吞吐提升幅度为 AWS 的说法。
AI 根据报道生成 · 10 小时前更新
最新进展10月13日 23:17
Amazon SageMaker AI 上的 MoE 内核工程优化实践报道时间线
沿着报道，了解事件的不同侧面。
10月13日
- AWS Machine Learning BlogAmazon SageMaker AI 上的 MoE 内核工程优化实践
针对 MoE 模型在 decode 阶段 token 行数极薄导致 Hopper Tensor Core 利用率低的问题，团队通过 Swap-AB 转置让专家维度 N=8192 占据 WGMMA 要求的前导 M=64 位置，在 H200 上实现端到端输出吞吐提升 2–4%，该优化已合入 vLLM 0.24.0 及更高版本。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1010月14日 00:00
- 近 24 小时变化
- –
02.557.510
10月14日02:0004:0006:0008:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。