Nvidia 4060Ti部署Qwen3.6方案🌐 链接:

2 hours ago

Nvidia 4060Ti部署Qwen3.6方案

🌐 链接: https://linux.do/t/topic/2998753

🔍 关键词: #api

🏷️ 分组: LinuxDo论坛

🕒 时间: 2026-10-09 12:44:01

LINUX DO

Nvidia 4060Ti部署Qwen3.6方案

一、硬件 GPU：Nvidia 4060Ti 16G CPU：Intel 12600KF 内存：64G 二、软件 OS：Debian13 部署：LLamaCPP 2.1 运行命令 taskset -c 0-11 llama-server --api-key "123456" \ -m ./Hermes3.6-35B-A3B-Uncensored-Genesis-Final-MTP-APEX-Compact.gguf \ -a Qwen3.6-35B-A3B \ …