腾讯近日宣布开源其全新语言模型“**混元-A13B**”,该模型引入了创新的**动态推理方法**,使其能够根据任务复杂性在快速和深度“思考”之间智能切换。
核心亮点:动态推理与MoE架构
“混元-A13B”的核心优势在于其**实时调整推理深度**的能力。对于简单的查询,模型会启用**快速模式**,以最少的推理步骤迅速响应;而面对更复杂的问题,它则能激活涉及**多步骤思考的深度推理过程**。用户还可以通过特定命令来手动控制这种行为,使用“**/think**”启用深度模式,或使用“**/no_think**”关闭深度模式。
该模型采用了**混合专家(MoE)架构**,总参数量高达**800亿**,但在实际推理过程中,仅有**130亿个参数**处于活跃状态,这有助于提高运行效率。此外,“混元-A13B”支持最高达**256,000个标记的上下文窗口**,处理长文本的能力显著增强。
训练数据与性能表现
根据腾讯发布的技术报告,“混元-A13B”已在**20万亿个token**上进行训练,并针对推理任务及更广泛的用例进行了优化。为了提升模型在科学任务中的可靠性,腾讯特别从**STEM(科学、技术、工程、数学)领域**收集了**2500亿个token**进行训练,数据涵盖数学教科书、考试、GitHub开源代码、逻辑谜题以及从中**学到大学的科学文本**。
腾讯声称,其“**混元-A13B-Instruct**”版本能够与OpenAI、Deepseek和阿里巴巴Qwen等领先模型相媲美。报告指出,在**2024年美国数学竞赛AIME**中,“混元-A13B”的准确率达到了**87.3%**,领先于OpenAI o1的74.3%。
然而,需要注意的是,从**2025年的结果来看**,OpenAI o1在该轮测试中领先近3%。此外,腾讯的比较数据基于Deepseek-R1的**过时1月版本**,而Deepseek在**5月发布的版本**在AIME2024和2025中的表现更优异,分别取得了91.4分和87.5分。
发评论,每天都得现金奖励!超多礼品等你来拿
登录 在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则