原标题：Windows本地部署千问模型Qwen：CUDA 加速 + llama.cpp + Qwen3.6-35B 多模态模型一键启动教程 本地运行 Qwen3.6-35B-A3B（CUDA + llama.cpp + GGUF）完整教程 这套方案目标是：在 Windows 上用 NVIDIA 显卡（如 RTX 4060）本地运行大模型，并提供 OpenAI API 兼容接口。

---

一、环境准备

1. 安装 CUDA Toolkit

用于 GPU 加速推理。

下载地址：

https://developer.nvidia.com/cuda-downloads

安装时注意：

• 选择默认安装即可
• 确保勾选 CUDA Toolkit
• 安装完成后重启

验证（可选）：

nvcc --version

如果提示版本号，说明成功。

---

2. 下载 llama.cpp

项目地址：

https://github.com/ggml-org/llama.cpp

推荐方式：

Windows用户可直接到release目录下载对应cuda版本，40系及以后显卡可以直接下载cuda13.3版本

git clone https://github.com/ggml-org/llama.cpp

或者直接下载 ZIP 解压。

---

3. 准备模型文件（GGUF）

模型下载地址：

https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive

你需要下载两个文件：

必需模型：

• Qwen3.6-35B-A3B-...-IQ2_M.gguf

多模态（视觉）支持：

• mmproj-Qwen3.6-35B-A3B-...-f16.gguf

---

二、目录结构配置

进入 llama.cpp 目录后，建立如下结构：

llama.cpp/
│
├── llama-server.exe
├── models/
│     ├── Qwen3.6-35B-A3B-IQ2_M.gguf
│     ├── mmproj-Qwen3.6-35B-A3B-f16.gguf
│
└── start.bat

---

四、一键启动脚本

在 llama.cpp 根目录新建 start.bat：

@echo off
chcp 65001 >nul
title Qwen3.6-35B-A3B IQ2_M 一键启动

cd /d "%~dp0"

llama-server.exe ^
-m "models\Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-IQ2_M.gguf" ^
--mmproj "models\mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf" ^
-ngl 999 ^
-c 8192 ^
-n 4096 ^
--host 127.0.0.1 ^
--port 11434 ^
--jinja

pause

---

五、参数说明

m

主模型路径（GGUF）

---

-mmproj

多模态投影文件（图像能力）

---

ngl 999

GPU 层数

👉 代表尽可能全部丢给 GPU（显存够就越高越好）

---

c 8192

上下文长度（8K）

---

n 4096

最大生成 token 数

---

-port 11434

服务端口（类似 Ollama）

---

-jinja

启用 Qwen chat 模板格式

---

六、启动测试

双击：

start.bat

看到类似：

Server listening on http://127.0.0.1:11434

说明成功。

---

七、API 调用方式（OpenAI 兼容）

其他软件调用

API地址：http://127.0.0.1:11434/v1

API_KEY：留空或随意

示例（Python）

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:11434/v1",
    api_key="anything"
)

response = client.chat.completions.create(
    model="qwen",
    messages=[
        {"role": "user", "content": "你好，介绍一下你自己"}
    ]
)

print(response.choices[0].message.content)

---

示例（curl）

curl http://127.0.0.1:11434/v1/chat/completions ^
  -H "Content-Type: application/json" ^
  -H "Authorization: Bearer anything" ^
  -d "{
    \"model\": \"qwen\",
    \"messages\": [
      {\"role\": \"user\", \"content\": \"你好\"}
    ]
  }"

---

八、常见问题

1. GPU 没生效？

检查：

• 是否编译 CUDA 版本 llama.cpp
• ngl 是否 > 0

---

2. 速度很慢？

原因：

• IQ2_M 虽轻量，但 35B 仍然大
• 4060 8G 只能部分 GPU offload

优化：

• 降低 c 4096
• 降低 n 1024~2048

---

3. 显存爆了？

解决：

• 降 ngl
• 或换更低量化版本（IQ1 / IQ2）

---

4. 端口冲突？

修改：

--port 11435

---

九、进阶优化建议（很重要）

如果你是 4060 8G：

建议配置：

-ngl 20~35
-c 4096
-n 2048

这样最稳定。

---

十、整体架构总结

这套系统本质是：

GGUF 模型
   ↓
llama.cpp server
   ↓
OpenAI API 兼容接口
   ↓
任意应用调用（Python / Web / Cherry Studio / 自己网站）