TensorRT-LLM怎么部署Qwen3.6-35B-A3B

加速计算 DGX Spark / GB10 用户论坛
,
1

用TensorRT-LLM，Docker，NVFP4量化来部署Qwen3.6-35B-A3B，总是出现transformers版本不兼容和其它模块版本不匹配，谁能解这个冲突？