马斯克的Gork-1大模型开源了！

马斯克的AI大模型Gork-1开源了！

马斯克旗下 的大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家（MoE）模型「Grok-1」，以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。老马果然信守承诺，不愧为当今时代的“源神”，大家快给老马刷火箭！

这是Gork-1的核心要点：

简单来说就是老马开源的这个大模型是由8个混合专家模型做的，一共有3140亿的参数，仅仅两个active的大小就有86B，超过了Llama2的参数大小（70B），他的开源协议是Apache 2.0，也就是你可以以几乎任何方式使用代码，包括商用。

不过要注意的是，他这个模型是Base Model，没有经过调教，也就是说如何将它用于Chat可能效果没有那么理想。

在老马的博客[1]中也将这个模型和其他模型进行了对比：

这个模型一共进行了四项基准测试，分别是：

GSM8k：中学数学单词题（Cobbe et al.2021）

MMLU：多学科选择题（Hendryks et al.2021）提供了5次上下文示例

HumanEval：Python代码完成任务（Chen et al.2021）

MATH：用LaTeX编写的中学和高中数学问题（Hendryks et al.2021）

可以看到，Gork-1的表现并不能说是最优，但胜在开源！

Gork-1开源的地址是：

https://github.com/xai-org/grok-1

虽然马斯克的Gork-1开源了，但其实普通人其实并没办法跑这个模型，因为经过网上大佬的测算，要跑这个模型需要 8 * 80G = 640G 的显卡，普通人有个12G的显卡就已经顶天了，更别说640G了！

而且我在Github上也看到，就算是 8 * 80G，也有可能会出现 OOM，也就是爆显存

如果你真的对跑模型很感兴趣，我在网上也看到一种方式，那就是租GPU服务器，但费用也不少，据说要几百块。

Gork-1的模型也不小，大概是320GB左右，相比于显卡的大小，还算能接受的一个范围之内，目前有多种方式可以下载这个模型

磁链：magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com[2]%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk[3]%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org[4]%3A1337%2Fannounce

HuggingFace：https://huggingface.co/xai-org/grok-1/tree/main

modelscope：https://modelscope.cn/models/cjc1887415157/grok-1/files