喂痞子别太坏结合Colossal-AI在AI大模型系统优化领域的丰富积累，已迅速支持对Grok-1的张量并行。

　　模型权重将会被自动下载和加载，推理结果也能保持对齐。如下图中Grok-1 greedy search的运行测试。

　　具体来说是2023年10月预训练阶段的原始基础模型，没有针对任何特定应用（例如对话）进行微调。

　　结构上，Grok-1采用了混合专家（MoE）架构，包含8个专家，总参数量为314B（3140亿），处理Token时，其中的两个专家会被激活，激活参数量为86B。

　　单看这激活的参数量，就已经超过了密集模型Llama 2的70B，对于MoE架构来说，这样的参数量称之为庞然大物也毫不为过。

　　在GitHub页面中，官方提示，由于模型规模较大（314B参数），需要有足够GPU和内存的机器才能运行Grok。

　　这里MoE层的实现效率并不高，选择这种实现方式是为了避免验证模型的正确性时需要自定义内核。

　　量子位了解，Colossal-AI将在近期进一步推出对Grok-1在并行加速、量化降低显存成本等优化，欢迎持续关注。

　　特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

　　俄罗斯对莫斯科暴恐事件的应对已经快成一个笑线名凶手认罪，供出雇主，俄：现在嫌疑给到美国和乌克兰

　　奔跑吧12官宣全阵容，Angelababy彻底出局，内娱咖位直降处境尴尬

　　拜登称“曾多次乘坐火车或汽车”通勤经过被撞大桥，美媒拆台：大桥上没铁轨

　　英特尔为锐炫 A750E / A580E 显卡注册 PCI ID，预计为嵌入式产品

　　英特尔给出AI PC定义，推出酷睿 Ultra Meteor Lake NUC 开发套件

　　微星推出 MPG 274URF QD 27 英寸显示器：4K 160Hz QD IPS 面板