Mixtral 8x22B 模型介绍

Mixtral 8x22B 是 Mistral AI 发布的开放大语言模型，采用稀疏混合专家架构，总参数约 1,410 亿，每次激活约 390 亿。

能力

模型面向较高性价比的使用场景，能力包括多语言理解、数学推理、代码生成、原生函数调用，以及受约束的输出。64K 词元上下文窗口支持对大型文档进行信息检索。

Mistral AI 表示，稀疏激活使模型运行较快，在当时社区模型中具备较好的性能与成本比。

来源：Mistral AI 博客。

结果

根据官方报告，在 MMLU、HellaS、TriQA、NaturalQA 等推理和知识基准中，激活参数约 390 亿的 Mixtral 8x22B 超过了当时的 Command R+、Llama 2 70B 等开放模型。

来源：Mistral AI 博客。

在 GSM8K、HumanEval、MATH 等编程和数学测试中，模型也领先于原文所比较的开放模型。Mixtral 8x22B Instruct 在 GSM8K 的 maj@8 评估下得分为 90%。

来源：Mistral AI 博客。

查看模型说明和使用方式。模型使用 Apache 2.0 许可发布。