希望能给一些指导配置安装的资料
官方手册上有入门指引,更深入的就要自己找资料了
您可以主要参考这里 Qwen3.5 & Qwen3.6 使用指南
另外,还有一些资料供您参考
| 文档 | 地址 | 说明 |
|---|---|---|
| NVIDIA NGC vLLM 运行文档 | docs.nvidia.com/deeplearning/frameworks/vllm-release-notes/running.html |
说明 NGC 容器怎么起、怎么挂卷 catalog.ngc.nvidia |
| Qwen 官方 vLLM 部署文档(中文) | qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html |
OpenAI 接口调用方式、thinking 参数、OOM 处理 qwen.readthedocs |
| vLLM Recipes 总索引 | docs.vllm.ai/projects/recipes/en/latest/index.html |
所有支持模型的 recipe 列表 vllm |
可以用这个:dgx-spark_lite-llm_llama-swap_vllm_llama-cpp_ollama,网址为:mARTin-B78/dgx-spark_lite-llm_llama-swap_vllm_llama-cpp_ollama: LLM Stack for nVidia DGX Spark containing LiteLLM, LamaSwap, vLLM, Llama.cpp and ollama 。图形界面、LiteLLM、vllm、llama-swap、Ollama、llama.cpp (persistent)、LiteLLM DB (Postgres)、Open WebUI及模型一站式配齐