英伟达优化Kimi K3模型推理速度

AI快讯苏晓 2026-10-19 09:51:11 来源:中房网

扫描二维码分享

  中房网讯 10月18日,调研机构SemiAnalysis发文称,英伟达通过一项上游vLLM优化,让2.8万亿参数量的Kimi K3模型实现423 tok/s/user(每用户每秒每Token)的推理速度,对比相同硬件(GB300 NVL72)性能提升1.68倍。

  据介绍,该项优化通过大规模Megakernel融合,使用Cute DSL编写英伟达新推出的解码专用内核。该Megakernel包含1.2万行代码,代表着AI辅助生成高级计算内核的未来方向。

中国城市住房价格288指数

(2023-02)

1571.9点

  • 0.13%
  • -0.91%
日期指数环比同比
2023.011569.9-0.97%-0.14%
2022.121572.1-0.92%-0.11%
2022.111573.9-0.12%-1.08%
2022.101575.8-0.20%-1.01%
2022.091579.0-0.02%-0.87%
2022.081579.3-0.04%-0.62%
返回顶部