在6月30日,百度正式宣布开源其文心大模型4.5系列,涵盖了多种规模的模型,包括47B和3B激活参数的混合专家(MoE)模型,以及0.3B参数的稠密型模型。这一系列模型的开源不仅包括预训练权重,还提供了推理代码,旨在为全球开发者、企业和研究机构提供便利。用户可以在国内开源平台GitCode上免费下载和体验这些模型,支持多种应用场景的部署和微调。
此次开源的文心大模型4.5系列共包含10款模型,最大的模型总参数量达到424B。百度在MoE架构上进行了创新,提出了一种多模态异构模型结构,旨在提升多模态理解能力,同时保持文本任务的性能。所有模型均使用飞桨深度学习框架进行高效训练和推理,且在大语言模型的预训练中,模型FLOPs利用率(MFU)达到了47%。
值得一提的是,英特尔在此次文心系列模型发布中发挥了重要作用。通过其OpenVINO工具套件,英特尔实现了对文心端侧模型的适配,并在英特尔酷睿Ultra平台上完成了端侧部署。OpenVINO是一个开源工具套件,旨在优化和加速深度学习模型的推理性能,支持跨平台部署,充分利用英特尔的硬件资源。
文心大模型4.5于今年3月首次发布,是百度首个原生多模态大模型,在多模态理解、文本和逻辑推理等方面表现优异,测试结果显示其性能优于GPT4.5,且API调用价格仅为后者的1%。