据 Cohere 官方文档与 AI Weekly 报道（2026 年 9 月），Cohere Labs 已将 North-Small-Translate-1.0 上传至 Hugging Face。这是一个专为机器翻译打造的稀疏专家混合（MoE）模型：总参数 218B，每个 token 只激活 25B。官方给出的评测成绩是 WMT26 得分 83.60，若走 Agentic 多轮翻译工作流可提升到 84.36。同期，Cohere 还开源了一套围绕解码 megakernel 构建的推理引擎，在单张 H100 上把解码吞吐做到 vLLM 的 1.58 倍。
九年一个圈：翻译模型回到起点
时间线本身就是注脚。2017 年 Transformer 是为翻译而生的，Google 提出它就是为了替换自家机器翻译栈。九年后，由该论文作者创立的 Cohere 绕回起点，用一个专用翻译大模型重新回答同一个问题：把语言之间搬来搬去这件事，能不能做得更专、更省。
模型规格：218B 总量，25B 激活
North-Small-Translate-1.0 是稀疏 MoE 解码器，架构上沿用了 Command A 首次引入的设计。它共有 128 个专家，每个 token 选择 8 个专家，另外还有共享专家；路由对专家 logits 施加 sigmoid 激活，并在选中的 top-k 上做归一化。注意力层以 3:1 的比例交替堆叠滑动窗口注意力（窗口 4096，带 RoPE）与全局注意力（不含位置嵌入）。语言覆盖 50 种，其中 32 种为高资源语言，同时支持地区变体。
| 项目 | 参数 |
|---|---|
| 总参数量 | 218B |
| 每 token 激活参数 | 25B |
| 专家结构 | 128 个专家，每 token 选 8 个，另有共享专家 |
| 注意力结构 | 滑动窗口（4096，带 RoPE）与全局注意力按 3:1 交替 |
| 语言覆盖 | 50 种语言（含 32 种高资源语言）及地区变体 |
| WMT26 评测 | 83.60；Agentic 多轮翻译工作流 84.36 |
| 开放形式 | 免费层 Chat V2 API，以及 W4A16、FP8、BF16 开放权重 |
| 许可与部署 | CC BY-NC 4.0（非商用）；4 位 NVFP4 可单张 B200，BF16 需 4 张 B200 或 8 张 H100 |
许可条款是需要重点看的一段。权重以 CC BY-NC 4.0 发布，明确为非商用；官方同时说明，模型可通过免费层 Chat V2 API 调用，并提供 W4A16、FP8、BF16 三种量化格式的开放权重。对研究者，这意味着可以在自有基础设施上评估和部署；对企业，则要区分「试用」和「投产」——有分析直言，权重定位为研究用途，任何想把 84.36 这个数字用进生产环境的机构，都需要走 Cohere 的商业渠道。
推理侧的另一半：单卡 H100 上的 megakernel
与模型同期，Cohere 公开了围绕解码 megakernel 构建的服务引擎 cohere-megakernel。它的做法是把整个解码前向传播做成一个持续运行的 CUDA kernel，而不是让每一层各自发起 kernel 再等待。效果可以量化：在 BF16、单张 H100、batch size 为 1 的条件下，它做到 292 tokens/秒，相当于 H100 理论带宽上限（约 470 tokens/秒）的 62%；作为对照，vLLM 服务 North Mini Code（30B 参数，每 token 激活 3.3B）时的解码速度是 185 tokens/秒，即上限的 39%。两者相比，解码吞吐提升 1.58 倍，跨五个基准的端到端加速为 1.25 倍至 1.41 倍。
瓶颈的物理原因并不复杂。在 BF16 下，每个解码步都要流式读取 6.6GB 权重，外加 8K 上下文约 0.5GB 的 KV cache，而 H100 的 HBM 带宽是 3.35 TB/s。常规服务栈每次前向传播会启动上百个小 kernel：kernel 边界要等最慢的 SM，wave quantization 会浪费整个 wave，false dependency 又让权重流不断停顿。Cohere 统计认为，这些停顿占据了被浪费带宽中的大部分。
- 数量级：解码单步只算出极少 token，却要搬动整个模型的权重，属于典型的带宽受限场景。
- 机制：把上百次 kernel 启动合并成一个持久 kernel，减少调度与等待，而不是提升算力峰值。
- 边界：官方明确该引擎只在 batch size 1 至 8、仅解码阶段、且模型锁定 North Mini Code 的条件下成立。
为什么值得为翻译单独做一个模型
官方对 North Small Translate 的定位，是给研究者、开发者和企业提供评估与部署机器翻译的灵活方式，同时让他们保留对自己数据与基础设施的控制权。这句话点出了专用模型的两个实际诉求：一是数据不出域，二是部署可控。通用大模型走接口调用虽然省事，但翻译往往是企业内部流量最大的文本处理任务之一，长期按 token 计费的成本曲线并不友好；把权重拿回本地来跑，等于把边际成本换成固定成本。
另一层动机来自对标。有媒体以「在 WMT26 上超过 DeepL」为题报道这次开源，翻译质量的对标对象已经明确指向长期占据商用翻译市场的专用服务。而 83.60 与 84.36 之间的距离同样值得注意：后者需要 Agentic 多轮翻译工作流才能拿到，也就是说，模型本身的分数和系统级流水线的分数是两件事——同一套权重，换一种调用方式就能多出 0.76 分。
两个发布放在一起看
一个是「更专的模型」，一个是「更省的引擎」，方向一致：不再用通用大模型的规模去覆盖所有任务，而是在具体任务上把参数效率与推理效率同时压榨。对使用方来说，有两点可以直接迁移。其一，翻译这类高频、格式稳定的任务值得用专用模型评估，而不是默认调用通用大模型；其二，许可与部署成本必须在选型阶段算清楚，4 位量化能上单张 B200，BF16 则要 4 张 B200 或 8 张 H100，量级差异会直接改变单位成本。
两个项目的边界也很清楚。North Small Translate 只做翻译，覆盖 50 种语言；megakernel 只服务 North Mini Code 的解码阶段，batch size 上限为 8。这种各自负责一段的做法，与通用模型追求全能形成了对照：专用化的代价是适用范围窄，回报是在窄区间内的效率优势足够显著。
- 选型时先看许可：非商用权重只能用于内部评估与实验，不能直接支撑对外服务。
- 部署成本按量化格式估算：4 位与 BF16 之间的硬件需求差到 8 倍量级。
- 评测时区分单次调用与多轮工作流：同一个模型在不同调用链下的分数并不相同。
常见问题
问：North Small Translate 可以商用吗？
权重以 CC BY-NC 4.0 发布，属非商用许可。官方同时提供免费层 Chat V2 API；企业若要在生产环境使用其最佳评测成绩，需要走 Cohere 的商业渠道。
问：1.58 倍加速在所有场景都成立吗？
不是。该数字来自 BF16、单张 H100、batch size 为 1 的解码场景；官方说明引擎适用范围为 batch size 1 至 8、仅解码阶段，且模型锁定 North Mini Code。
问：218B 参数的模型为什么能单卡部署？
因为它是稀疏 MoE，每个 token 只激活 25B 参数；官方建议 4 位 NVFP4 格式可放在单张 B200 上，BF16 则需要 4 张 B200 或 8 张 H100。
参考来源
- Cohere.《Announcing Cohere's North Small Translate》2026
- AI Weekly.《Cohere Labs posts 218B-param translation MoE for 50 languages》2026
- AILog（aimodeling.com）.《Cohere Open-Sources 218B Translation MoE, Tops DeepL on WMT26》2026
- Cohere.《Inside the megakernel serving engine for North Mini Code》2026
- AI Weekly.《Cohere open-sources decode megakernel, 1.58x vLLM on one H100》2026
- AILog（aimodeling.com）.《Cohere megakernel engine: one CUDA file, 1.58x vLLM on H100》2026
