Skip to main content

来了 Strata 在你16GB显存上跑552B的Deepseek v4.1Flash🌐 链接:

  1. 来了 Strata 在你16GB显存上跑552B的Deepseek v4.1Flash

    🌐 链接: https://linux.do/t/topic/3069240

    🔍 关键词: #api

    🏷️ 分组: LinuxDo论坛

    🕒 时间: 2026-10-24 17:17:50
    LINUX DO
    来了 Strata 在你16GB显存上跑552B的Deepseek v4.1Flash
    Strata又有大动作了, 支持DeepseekV4.1-Flash了. ISTA也发布了GSQ-RCO版的1bit和2bit的deepseek模型了. 写的量化效果很好,损失非常小. 过几天大家调用的DeepseekV4.1-Flash 1017的API可能就是1bit量化的了. 这是Strata写的实测数据: PC output prompt RTX 5070 12 GB, 64 GB RAM about 5 tokens/s (code) 231 tokens/s at 8K…