Skip to main content

24g显存下本地qwen3.8 27b真的能用来干活了？🌐 链接:

  1. 24g显存下本地qwen3.8 27b真的能用来干活了？

    🌐 链接: https://linux.do/t/topic/2964642

    🔍 关键词: #api

    🏷️ 分组: LinuxDo论坛

    🕒 时间: 2026-09-29 09:50:06
    LINUX DO
    24g显存下本地qwen3.8 27b真的能用来干活了？
    纯讨论一下，显卡4090 24g，可以用20g左右（要留点显存其他软件用）。 模型用的unsloth的Qwen3.8-27B-UD-Q4_K_M.gguf。 主要想拿来辅助简单的编程agent，真的可以拿来干活了么？ 至少要支持一个96k上下文的会话吧。 还有各种量化版本，各位佬推荐什么方案啊？ GSQ-RCOIQ3_S UD-Q4_K_M Swift 1.5 SwiftxGSQ-RCO Flash-Next GGUF Bonsai2-27B QUASAR-QATNVFP4 Uncensored去审查版…