Skip to main content

Naive-N0.5-Flash: 用 AI 构建前沿 AI🌐 链接:

  1. Naive-N0.5-Flash: 用 AI 构建前沿 AI

    🌐 链接: https://linux.do/t/topic/2959198

    🔍 关键词: #api

    🏷️ 分组: LinuxDo论坛

    🕒 时间: 2026-09-28 00:33:24
    LINUX DO
    Naive-N0.5-Flash: 用 AI 构建前沿 AI
    Naive-N0.5-Flash 是一款面向编程与 AI 研发的 MoE 模型，总参数量为 309B，激活参数量为 15.5B。 原生 1M 上下文，不含全局注意力机制。 Naive-N0.5-Flash 将滑动窗口注意力机制（SWA）与采用 GQA4 的轻量化 DeepSeek 稀疏注意力机制（DSA）相结合，主要采用每 5 层 SWA 搭配 1 层 DSA 的布局。整个网络结构仅使用局部或稀疏注意力机制，不含任何全局注意力机制。 AI 优化推理，速度最高可达 2,000 tokens/s。…