华为昇腾910B推理优化、AI Infra🌐 链接:

求助：有人优化过 vLLM Ascend 单卡部署 QWEN3.5-35B W8A8 类似模型吗？ 大家好，我最近在尝试使用 vLLM Ascend 0.19.1 在单卡上部署 QWEN3.5-35B W8A8 量化模型。目前模型可以正常加载和推理，但实际推理性能一直达不到预期，因此想从算子优化角度继续排查和改进。 想请教一下，社区里有没有同学优化过类似模型，比如： QWEN3.5-35B 或类似 30B～40B 级别大模型； W8A8 量化模型； vLLM Ascend 后端； 昇腾单卡推理；…