Moonshot AI 发布 Kimi K3.1 Pro 模型权重

Moonshot AI 决定在 Hugging Face 上发布其 Kimi K3.1 Pro 模型的权重，允许开发者下载并在自己的服务器上运行该模型。此举将控制权从仅依赖 Moonshot AI 的托管应用程序或 API，转变为为独立用户提供更大的自主权，让他们可以在自己的基础设施中集成、定制和试验该模型。

K3.1 Pro 模型采用专家混合架构，总参数达 2.8 万亿，但每次推理约激活 1040 亿个参数。这种设计通常旨在在庞大的参数空间和操作期间的计算效率之间取得平衡。据报道其一百万个 token 的上下文窗口表明其能够处理大量输入，这对于复杂的应用程序（如金融研究、编码、3D 创建和持续代理任务）非常有利，正如 Moonshot AI 所指出。

华为宣布通过 vLLM Ascend 和 SGLang 支持 Kimi K3.1 Pro 的推理，特别是针对其 Atlas A3 和 Ascend 950 系统，这表明对于在该硬件上运行的用户可能存在优化。此支持意味着使用华为 AI 计算基础设施的开发者可能会发现独立部署和运行 K3.1 Pro 更具可行性，这可能会降低集成如此规模模型的实际障碍。