騰訊混元發布 Hy4 flash:單任務成本為 Hy4 二十分之一

新浪科技
10小時前

11 月 16 日下午消息,今日,騰訊混元最新語言模型 Hy4 flash 發布,模型總參數量為 224B (其中 64B Engram 參數),激活參數僅為 12B,支持多模態和 1M 上下文長度。Hy4 flash 是迄今為止最高性價比的 Hy 模型:每百萬 Token 輸入 0.5 元、輸出 2 元,命中緩存時僅需 0.02 元,價格相比 Hy4 大幅降低。

據介紹,為了達到極致的性價比,同時兼顧智能水平和實用性,混元團隊做了一系列工作:

在預訓練階段,Hy4 flash 加入了混合注意力、LatentMoE、Engram 等架構特性,KV cache 大小僅為 Hy3 的 1/24、Hy4 的 1/6,且通過大量 scaling ladder 實驗確保效果符合預期。

在後訓練階段,通過自蒸餾 Hy4 獲得了較強的綜合智能水平,再通過強化學習使端到端任務輸出長度降低 50%。

在評估階段,構建基於 WorkBuddy 典型任務的內部評測集 WorkIndex,並結合人評,聚焦日常工作的產物效果、單輪輸出長度、端到端用時,而非遠離日常工作的公開排行榜分數。

在推理階段,結合 megakernel、4bit量化、dflash 等手段極致優化,使 Hy4 flash 解碼速度超過 150 tps,且可以大規模低成本部署運營。

最終,Hy4 flash 在綜合效果上略優於更大參數的 Hy4 preview (總參數為 770B,激活參數 49B),但成本顯著降低。按內部評測集 WorkIndex(覆蓋 PPT 製作與修改、文檔編輯、表格修復、音視頻處理及視覺理解等 WorkBuddy 典型任務)綜合測算,Hy4 flash 單任務成本僅為 Hy4 preview 的 1/13、Hy4 的 1/20、DeepSeek-V4.1-Flash-1027(Max 檔位,忙時價格)的 1/8。

據悉,Hy4 flash 已在騰訊雲 TokenHub、WorkBuddy、元寶、企業微信、QQ、ima、Marvis 等產品上線,即將接入 OpenRouter。11 月 30 日前,用戶可在 WorkBuddy 限時免費使用,騰訊雲 TokenHub API 限時 5 折使用。

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10