Llama 3突然来袭！开源社区再次沸腾：GPT-4级别模型可以自由访问的时代到来

本文由 量子位 撰写/授权提供，转载请注明原出处。

本文来源：量子位（QbitAI）

作者：克雷西、鱼羊

Llama 3 来了！

就在刚刚，Meta 官网上新，官宣了 Llama 3 80 亿和 700 亿参数版本。

并且推出即为开源 SOTA：

Meta 官方数据显示，Llama 3 8B 和 70B 版本在各自参数规模上超越一众对手。

8B 模型在 MMLU、GPQA、HumanEval 等多项基准上均胜过 Gemma 7B 和 Mistral 7B Instruct。

而 70B 模型则超越了闭源的当红炸子鸡 Claude 3 Sonnet，和谷歌的 Gemini Pro 1.5 打得有来有回。

Huggingface 链接一出，开源社区再次沸腾。

眼尖的盲生们还第一时间发现了华点：

Meta 更藏了一手 4000 亿参数+的 Llama 3 版本，不逊于 Claude 3 超大杯 Opus 的那种！

AI 写作助手创企 HyperWriteAI 的 CEO 见此已忍不住感慨：

我们正在步入一个新世界，一个 GPT-4 级别的模型开源并且可以自由访问的世界。

英伟达科学家 Jim Fan 则认为，还在训练中的 Llama 3 400B 将成为开源大模型的分水岭，改变很多学界研究和初创公司的发展方式。

更多技术细节，Meta 在博客文章中给出。

架构层面，Llama 3 选择了经典的仅解码（decoder-only）式 Transformer 架构，采用包含 128K token 词汇表的分词器。

训练数据上看，Llama 3 的训练数据规模达到了 15T tokens，全部来自于公开信息，其中 5% 为非英文数据，涵盖 30 多种语言。

Llama 3 的数据量比 Llama 2 的训练数据多 7 倍，其中代码比 Llama 2 多 4 倍。

此外，为了提高 Llama 3 模型的推理效率，Meta AI 还采用了分组查询注意力 (GQA)机制，在 8192 个 tokens 的序列上训练模型，并使用掩码确保自注意力不会跨越文档边界。

结果，无论是8B 还是 70B 版本，Llama 3 相较于近似规模的上一代 Llama 2，都取得了重大飞跃。

在迄今为止的 8B 和 70B 参数规模的模型中，Llama 3 都成为了新的 SOTA 模型。

在语言（MMLU）、知识（GPQA）、编程（HumanEval）、数学（GSM-8K、MATH）等能力上，Llama 3 几乎全面领先于同等规模的其他模型。

除了这些常规的数据集，Meta AI 还评估了 Llama 3 在现实场景中的性能，并为此研发了一套高质量的测试数据集。

这个测试集包含了 1800 条数据，涵盖代码、推理、写作、总结等 12  个关键用例，并针对开发团队保密。

结果，Llama 3 不仅大幅超越 Llama 2，也战胜了 Claude 3 Sonnet、Mistral Medium 和 GPT-3.5 这些知名模型。

而在 AGIEval、BIG-Bench、ARC-Challenge 这些更高阶、更困难的数据集上，Llama 3 的表现同样可圈可点。

8B 版本在这些任务上超越了 Mistral 和 Gemma，70B 版本则战胜了 Gemini Pro 和 MoE 架构的 Mixtral，分别斩获相应规模的 SOTA。

不过美中不足的是，Llama 3 的上下文窗口只有8k，这与现在动辄几十上百万窗口的大模型相比，仿佛还停留在上一代（手动狗头）。

但也不必过度担忧，Matt Shumer 就对此持乐观态度，他表示相信在开源社区的努力下，窗口长度很快就会扩展上去。

目前，Llama 3 两种参数量的基础和 Instruct 版本都已上线 Hugging Face 可供下载。

此外，微软 Azure、谷歌云、亚马逊 AWS、英伟达 NIM 等云服务平台也将陆续上线 Llama 3。

同时，Meta 还表示 Llama 3 会得到英特尔、英伟达、AMD、高通等多家厂商提供的硬件平台支持。

值得一提的是，此次与基础模型一同发布的，还有基于 Llama 3 的官方 Web 版本，名字就叫 Meta AI。

目前该平台有对话和绘画两大功能，只用对话的话无需注册登录、即开即用，使用绘画功能则需要先登录账号。

不过，目前该平台还不支持中文，也暂未上线文本上传等功能。

代码方面，该平台也能够运行一些简单的 Python 程序，但似乎只能输出文本，涉及到绘图这样的任务就无法运行了。

总得来看，这个网页版本还比较初级，但也不妨期待一波后面的更新。

一个小插曲是，其实在 Meta 官宣前几个小时，微软的 Azure 市场已经偷跑了 Llama 3 8B Instruct 版本的消息。

开源模型机器学习在线平台 Replicate 上的 Llama 3 价格表也被网友们第一时间扒拉了出来。

但很快，这些“小道消息”就都被 404 了。

好在乌龙完了，官方也没拖着，关心开源大模型的小伙伴们，可以造作起来了（doge）。

参考链接：

[1]https://ai.meta.com/blog/meta-llama-3/

[2]https://about.fb.com/news/2024/04/meta-ai-assistant-built-with-llama-3/

[3]https://huggingface.co/meta-llama/Meta-Llama-3-70B

*插播一条消息：在全球化的时代浪潮中，AI+跨境电商正迎来前所未有的发展机遇，为了让不同领域的企业聚集在一起，展示在AI跨境电商领域的服务和产品，促进行业内的信息流通和合作机会，白鲸跨境与白鲸技术栈正在招募一群富有激情和创造力的伙伴，共同绘制AI+跨境电商的生态图谱！如有感兴趣者，可点击下方链接进行报名。

AI+跨境电商图谱招募令报名链接：https://www.baijing.cn/activity/1636

扫码关注公众号

获取更多技术资讯