7月1日，記者獲悉，百度正式開源文心大模型4.5系列模型，涵蓋47B、3B激活參數的混合專家（MoE）模型，與0.3B參數的稠密型模型等10款模型，並實現預訓練權重和推理代碼的完全開源。

　　目前，文心大模型4.5開源系列已可在飛槳星河社區、HuggingFace等平臺下載部署使用，同時開源模型API服務也可在百度智能雲千帆大模型平臺使用。今年2月，百度就已預告了文心大模型4.5系列的推出計劃，並明確將於6月30日起正式開源。

　　據瞭解，文心大模型4.5開源系列針對MoE架構提出了一種創新性的多模態異構模型結構，適用於從大語言模型向多模態模型的持續預訓練範式，在保持甚至提升文本任務性能的基礎上，顯著增強了多模態理解能力，其優越的性能主要得益於多模態混合專家模型預訓練、高效訓練推理框架和針對模態的後訓練等關鍵技術點。

　　此外，文心大模型4.5開源系列均使用飛槳深度學習框架進行高效訓練、推理和部署。在大語言模型的預訓練中，模型FLOPs利用率（MFU）達到47%。實驗結果顯示，其系列模型在多個文本和多模態基準測試中達到SOTA水平，尤其在指令遵循、世界知識記憶、視覺理解和多模態推理任務上效果突出。

　　據瞭解，文心大模型4.5開源系列權重按照Apache 2.0協議開源，支持開展學術研究和產業應用。此外，基於飛槳提供開源的產業級開發套件，廣泛兼容多種芯片，降低模型的後訓練和部署門檻。

　　此次文心大模型4.5系列開源後，百度實現了框架層與模型層的“雙層開源”。

（文章來源：廣州日報）