Skip to main content

用 SGLang 本地部署 DeepSeek-V4-Flash记录🌐 链接:

  1. 用 SGLang 本地部署 DeepSeek-V4-Flash记录

    🌐 链接: https://linux.do/t/topic/2737704

    🔍 关键词: #api

    🏷️ 分组: LinuxDo论坛

    🕒 时间: 2026-08-11 11:29:31
    LINUX DO
    用 SGLang 本地部署 DeepSeek-V4-Flash记录
    环境与版本 - 服务器：Ubuntu 22.04 - 显卡驱动：CUDA 13.3 - 依赖管理：uv - 下载工具：`modelscope==1.39.1` - 推理引擎：`lmsysorg/sglang:latest-cu130` - 模型：`deepseek-ai/DeepSeek-V4-Flash-0731`（48 个分片，约 156GB，混合精度） - 部署规模：4 张 H800（TP4）即可完整跑 1. 下载模型 使用 ModelScope 将模型下载到本地。大文件下载建议绕过…