腾讯推出业界已开源Transformer最大MoE模型“混元Large”

腾讯今日宣布推出Hunyuan-Large大模型，官方表示这是目前业界已开源的基于Transformer的最大MoE模型，拥有3890亿总参数和520亿激活参数，该项目有望为研究人员和开发者提供强大的工具和支持。

腾讯在Hugging Face上开源了Hunyuan-A52B-Pretrain、Hunyuan-A52B-Instruct和Hunyuan-A52B-Instruct-FP8，并发布了技术报告和训练推理操作手册，详细介绍了模型能力和训练与推理的操作。

Hunyuan-Large通过高质量合成数据增强训练，能够学习到更丰富的表示，处理长上下文输入，并更好地泛化到未见数据。该模型采用了分组查询注意力（GQA）和跨层注意力（CLA）策略，显著减少了KV缓存的内存占用和计算开销，提高了推理吞吐。此外，为不同专家设置不同的学习率，确保每个子模型都能有效地从数据中学习，并为整体性能做出贡献。

Hunyuan-Large的预训练模型支持高达256K的文本序列，Instruct模型支持128K的文本序列，显著提升了长上下文任务的处理能力。该模型在多种语言和任务上进行了广泛实验，验证了其实际应用效果和安全性。