星岛财讯，10月21日，据蚂蚁开源官微消息，蚂蚁集团与vLLM社区联合开源Humming，一个通用、高性能的量化推理算子库。Humming具备以下特点：广泛的设备支持，覆盖多种GPU，以及兼容CUDA编程的设备；丰富的量化支持，通过统一架构支持Dense和MoE中丰富的权重与激活格式组合，覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、FlashInfer和DeepGEMM等现有实现。
来源︱公司动态
蚂蚁集团与vLLM联合开源Humming：高性能、灵活的量化推理内核
星岛财讯，10月21日，据蚂蚁开源官微消息，蚂蚁集团与vLLM社区联合开源Humming，一个通用、高性能的量化推理算子库。Humming具备以下特点：广泛的设备支持，覆盖多种GPU，以及兼容CUDA编程的设备；丰富的量化支持，通过统一架构支持Dense和MoE中丰富的权重与激活格式组合，覆盖多种整数和浮点类型、位宽及缩放方式。出色的执行性能在多种典型负载中显著优于vLLM Marlin、Flas...
2026-10-21 20:35
热门文章
-
周杰伦转发点赞“中国歌手”身份介绍，国台办回应！
星岛娱乐圈-明星热话 2026-10-21
-
绿民代反对抖音，自己偷偷用剪映
台湾 2026-10-21
-
“猛火”攻蓝，绿营一日三记狠手
台湾 2026-10-21
-
台当局禁赴陆参加孙中山诞辰纪念活动，国台办回应
时事 2026-10-21
-
记者采访遭殴打，手部关节多处划伤，被强行抢夺并摔毁摄像机，警方已介入调查
时事 2026-10-21
-
王虹获得“求是杰出科学家奖”，邓稼先、施一公、颜宁等曾获此奖
时事 2026-10-21
-
国家数据集团董事长、总经理亮相
时事 2026-10-20
-
沈伯洋推“市长，我不干了”肥皂箱，王鸿薇抛两问酸：选举作秀
台湾 2026-10-20
-
刘恺威与黎纪君承认恋情，“我们是打网球认识的”，有共同爱好，很合得来
视频 2026-10-20
-
美国政府要求其机构停止使用DeepSeek，外交部回应
时事 2026-10-20
