月之暗面发布 Kimi K3 模型权重及完整技术报告
月之暗面正式开放 Kimi K3 模型权重，并同步发布完整技术报告。
Kimi K3总参数达 2.8 万亿，每个token激活约 1040 亿 参数。技术报告系统介绍了该模型的核心设计。同时，月之暗面还开放了MoonEP、FlashKDA和AgentEnv三项关键基础设施技术。模型采用 Kimi K3 License 开放，其中包含达到一定收入规模的MaaS服务商需与 月之暗面 签署协议等限制。
月之暗面正式发布 Kimi K3 模型权重及完整技术报告。
Kimi K3 采用混合专家架构，总参数规模达到 2.8 万亿，每个 token 激活约 1040 亿参数，共设置 896 个路由专家，并从中选择 16 个参与计算。模型同时具备原生视觉理解能力，支持最长 100 万 token 上下文。
在技术报告中，月之暗面详细介绍了多项关键设计。
其中，Kimi Delta Attention 与 Gated MLA 按比例组合，以降低长上下文计算成本。
Attention Residuals 用于改善跨层信息传递。
Stable LatentMoE 通过新的激活函数和负载均衡方法，提高超高稀疏度模型的训练稳定性。
MoonViT-V2 则采用从零开始的下一词元预测方式训练视觉编码器。
除模型权重和技术报告外，月之暗面还同步开放 MoonEP、FlashKDA 和 AgentEnv。
三项技术分别面向大规模 MoE 专家并行通信、高性能 KDA 算子以及分布式智能体训练环境，覆盖 Kimi K3 从预训练到强化学习后训练的重要基础设施环节。
Kimi K3 的代码和权重采用 Kimi K3 License 发布，其中包括部分限制规定。
例如，达到一定收入规模的 MaaS 企业，在将模型及其衍生版本用于商业用途前，需要与 月之暗面 另行签署协议。
相关链接：
