11 月 16 日下午消息,今日,騰訊混元最新語言模型 Hy4 flash 發布,模型總參數量為 224B (其中 64B Engram 參數),激活參數僅為 12B,支持多模態和 1M 上下文長度。Hy4 flash 是迄今為止最高性價比的 Hy 模型:每百萬 Token 輸入 0.5 元、輸出 2 元,命中緩存時僅需 0.02 元,價格相比 Hy4 大幅降低。
據介紹,為了達到極致的性價比,同時兼顧智能水平和實用性,混元團隊做了一系列工作:
在預訓練階段,Hy4 flash 加入了混合注意力、LatentMoE、Engram 等架構特性,KV cache 大小僅為 Hy3 的 1/24、Hy4 的 1/6,且通過大量 scaling ladder 實驗確保效果符合預期。
在後訓練階段,通過自蒸餾 Hy4 獲得了較強的綜合智能水平,再通過強化學習使端到端任務輸出長度降低 50%。
在評估階段,構建基於 WorkBuddy 典型任務的內部評測集 WorkIndex,並結合人評,聚焦日常工作的產物效果、單輪輸出長度、端到端用時,而非遠離日常工作的公開排行榜分數。
在推理階段,結合 megakernel、4bit量化、dflash 等手段極致優化,使 Hy4 flash 解碼速度超過 150 tps,且可以大規模低成本部署運營。
最終,Hy4 flash 在綜合效果上略優於更大參數的 Hy4 preview (總參數為 770B,激活參數 49B),但成本顯著降低。按內部評測集 WorkIndex(覆蓋 PPT 製作與修改、文檔編輯、表格修復、音視頻處理及視覺理解等 WorkBuddy 典型任務)綜合測算,Hy4 flash 單任務成本僅為 Hy4 preview 的 1/13、Hy4 的 1/20、DeepSeek-V4.1-Flash-1027(Max 檔位,忙時價格)的 1/8。
據悉,Hy4 flash 已在騰訊雲 TokenHub、WorkBuddy、元寶、企業微信、QQ、ima、Marvis 等產品上線,即將接入 OpenRouter。11 月 30 日前,用戶可在 WorkBuddy 限時免費使用,騰訊雲 TokenHub API 限時 5 折使用。