Llama 3

核心特性

1. 模型规模与性能
   • 提供 80 亿和 700 亿参数两种版本，最小版本（80 亿参数）性能已接近 GPT-4 水平，在 HumanEval 等基准测试中超越 GPT-3.5。
   • 训练数据量达 15 万亿 token，是 Llama 2 的 7 倍，代码数据量增加 4 倍，支持 8K 上下文长度（Llama 2 的 2 倍）。
   • 采用新的 Tokenizer（词汇表扩展至 12.8 万）和分组查询注意力（GQA）技术，提升多语言处理效率和长文本理解能力。
2. 多模态能力
   • 初始版本仅支持文本生成，但 Meta 计划在后续版本中加入图像生成功能。
   • 2024 年 9 月发布的 Llama 3.2 实现多模态升级，支持语音交互（集成欧美明星声纹）和图像生成。
3. 开源与商业化
   • 延续开源策略，允许开发者免费使用、微调及二次开发，但对月活超 7 亿的企业需单独授权。
   • 已部署于 AWS、谷歌云、微软 Azure、Hugging Face 等主流云平台，并适配 AMD、英伟达等硬件。

关键应用场景

1. Meta 生态整合
   用于升级 Meta AI 聊天机器人，并深度集成至 Facebook、Instagram、WhatsApp 等平台的搜索与推荐功能。
2. 开发者工具
   • 支持代码生成、文本创作、多语言对话等场景，被开发者用于构建垂直领域 AI 应用（如客服、教育工具）。
   • 国内国家超算互联网已上线 Llama 3 中文微调版本（如 Llama-3-8B-chinese-chat），降低本地化开发门槛。
3. 科研与教育
   作为开源模型，为研究人员提供可定制的基础框架，推动 AI 伦理、算法优化等方向的研究。

争议

1. 抄袭事件
   2024 年 6 月，斯坦福团队发布的 Llama3-V 被指抄袭中国面壁智能的 MiniCPM-Llama3-V，因误用未公开的战国古文字数据且代码高度相似，最终项目被撤下。