百度正式发布了文心大模型4.5系列模型,并且将其完全开源。用户可以通过文心一言(https://yiyan.baidu.com)立即体验这一最新的开源技术。

这一系列模型涵盖了多种参数配置,包括激活参数为47B 和3B 的混合专家(MoE)模型,以及稠密型模型0.3B 参数的设计,合计达到了十款不同的模型。

百度重磅开源文心大模型 4.5 系列,十款新模型亮相!

在训练和推理方面,文心4.5系列模型使用了飞桨深度学习框架,达到47% 的模型 FLOPs 利用率。实验结果显示,该系列模型在多项文本和多模态基准测试中表现优异,尤其是在指令遵循、世界知识记忆、视觉理解和多模态推理等任务上,取得了 SOTA(state-of-the-art)水平的成绩。

百度重磅开源文心大模型 4.5 系列,十款新模型亮相!

文心4.5系列模型的权重根据 Apache2.0协议开源,允许进行学术研究和产业应用。此外,飞桨还提供了开源的产业级开发套件,兼容多种硬件,降低了后训练和部署的门槛。

为了便于开发者使用,文心4.5系列还提供了一站式使用指南,包括如何快速掌握模型的精调和对齐。开发者可以通过 ERNIEKit 和 FastDeploy 等工具,轻松实现模型的训练和部署。FastDeploy 支持多种硬件平台,提供高性能、低门槛的推理部署体验。

百度重磅开源文心大模型 4.5 系列,十款新模型亮相!

此次开源不仅包括了模型的预训练权重和推理代码,还在多个平台上提供了下载和部署服务。用户可以在飞桨星河社区和 HuggingFace 等知名平台上找到并使用这些模型。值得注意的是,百度还推出了开放模型的 API 服务,用户可在百度智能云的千帆大模型平台上进行调用和使用。这意味着,无论是研究人员还是开发者,都能更方便地接触到最新的 AI 技术。

文心4.5系列模型的开源包含了预训练权重和推理代码,所有项目已被上传至:

 Hugging Face(https://huggingface.co/baidu)、

GitHub(https://github.com/PaddlePaddle/ERNIE)

飞桨星河社区(https://aistudio.baidu.com/overview)。

如果需要深入了解技术细节,用户可下载技术报告(https://yiyan.baidu.com/blog/publication)进行查阅。

划重点:  

🌟 文心4.5系列模型于6月30日正式开源,提供10款不同版本的模型。  

📈 模型采用创新的多模态异构架构,提升多模态理解能力。  

🛠️ 开发者可通过 ERNIEKit 和 FastDeploy 工具,快速进行模型的训练和部署。