继之前宣布埃隆·马斯克（Elon Musk）的人工智能公司xAI将发布其Grok AI模型的开源版本之后。今天，该公司宣布发布其开源的 Grok-1 AI 模型，使其免费提供给全球开发人员和研究人员。该公告是在 3 月 17 日发布的，此前围绕马斯克承诺开源该模型的期待和猜测。Grok-1 的发布标志着人工智能领域的一个重要里程碑，因为它为创新和实验提供了强大的工具。

Grok-1 （314B） AI模型

Grok-1 是一个大型语言模型，拥有 3140 亿个参数，并采用具有 8 名专家的混合专家 （MoE） 架构。该模型由 xAI 使用基于 JAX 和 Rust 构建的自定义训练堆栈从头开始训练。需要注意的是，发布的版本是基本模型，这意味着它没有针对任何特定任务进行微调。因此，用户在与模型交互时应谨慎行事，因为它可能会生成不适合所有受众的内容。

“ 这是 2023 年 10 月结束的 Grok-1 预训练阶段的原始基础模型检查点。这意味着该模型不会针对任何特定应用（例如对话）进行微调。我们正在 Apache 2.0 许可下发布权重和架构。

• 基础模型在大量文本数据上训练，未针对任何特定任务进行微调。
• 314B 参数 Mixture-of-Experts 模型，其中 25% 的权重在给定令牌上处于活动状态。
• 2023 年 10 月，xAI 使用 JAX 和 Rust 之上的自定义训练堆栈从头开始训练。

Grok-1 的权重和架构已在 Apache 2.0 许可下发布，允许商业和个人使用。要访问该模型，用户可以通过 Grok 个人资料页面上提供的 torrent 链接下载它。xAI 还在其 GitHub 存储库中提供了代码，以及开始使用该模型的说明。Wes Roth 介绍了新的大型语言模型的构造和架构。

Grok-1 的技术规格

Grok-1 的 3140 亿个参数使其成为一个强大的模型，尽管与其他一些 AI 模型相比，它并不是最大的模型。例如，GPT-4 估计在专家混合配置中有 1.76 万亿个参数。然而，Grok-1 仍然优于许多其他开源模型，例如 Llama 2（70 亿个参数）和 Mistral 模型（460 亿个参数）。

• 具有 8 名专家的混合专家架构，允许高效处理任务并将其路由到专用组件
• 对于任何给定的输入令牌，模型的权重中有 25% 处于活动状态，从而优化了计算资源
• Tokenizer 词汇大小类似于 GPT-4
• 64 个嵌入尺寸和 Transformer 层
• 根据用例，每个令牌从八名专家中选出两名

开源开发

Grok-1 作为开源模型的发布对 AI 社区和 AI 开发的未来具有重大意义。通过使该模型免费访问，埃隆·马斯克（Elon Musk）和xAI使强大的人工智能工具的访问民主化，使研究人员、开发人员和爱好者能够进行实验、创新并为该领域的进步做出贡献。

此举正值世界各国政府正在努力解决如何监管人工智能的问题之际。一些人提议禁止在开源许可下发布强大的人工智能模型的权重或内部工作原理，违规行为可能会被判入狱。然而，开源人工智能的支持者认为，这种限制将把权力集中在大型科技公司手中，限制竞争和创新。

Grok-1 的开源可以平衡 AI 权力的集中化，确保这些技术的好处可以被更广泛的社区分享和利用。随着埃隆·马斯克（Elon Musk）继续开发和完善该模型，预计未来的版本也将作为开源版本提供，从而进一步促进该领域的发展和进步。

Elon Musk 的 xAI 将 Grok-1 作为开源 AI 模型发布，是 AI 社区向前迈出的重要一步。通过免费提供对强大工具的访问，xAI 为人工智能领域的创新、实验和协作打开了大门。随着围绕人工智能监管的争论仍在继续，像Grok-1这样的开源模型在确保人工智能发展的未来更加公平和可及方面的重要性怎么强调都不为过。跳转到官方 GitHub 存储库。

由于模型较大（314B 参数），因此需要具有足够 GPU 内存的计算机才能使用示例代码测试模型。此存储库中 MoE 层的实现效率不高。选择该实现是为了避免需要自定义内核来验证模型的正确性。– 此版本中的代码和关联的 Grok-1 权重在 Apache 2.0 许可证下获得许可。该许可证仅适用于此存储库中的源文件和 Grok-1 的模型权重。