騰訊混元 TurboS 技術報告首次全公開：560B 參數混合 Mamba 架構，自適應長短鏈融合

InfoQ

05/24

日前，全球權威大模型公開競技場 -Chatbot Arena 評測排行榜公佈最新排名，騰訊混元旗艦大語言模型 TurboS 位列全球第 7，在國內大模型中僅次於 Deepseek。放眼國際，排在前面的也僅有谷歌 Gemini、 OpenAI 以及 xAI 三家國際頂級機構。騰訊混元基礎模型為什麼能夠取得這麼亮眼的成績？在技術上有哪些創新？答案就藏在最新發布的騰訊混元 TurboS 技術報告中。論文...

網頁鏈接

免責聲明：投資有風險，本文並非投資建議，以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請，作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考，不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證，投資者應自行研究並在投資前尋求專業建議。

熱議股票

{"basename":"/hant","ssrTDKData":{"titleTemplate":"%s - 老虎證券","title":"老虎证券全球投资理财平台| 一站式投资美股新股港股A股","description":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","keywords":"老虎證券,老虎證券開戶,老虎券商,老虎證券官網,老虎證券app,tigertrade老虎證券,股票,炒股,新加坡股票交易平臺,投資,投資理財","social":{"ogDescription":"老虎证券助您一站式投资美股，新股，港股，A股等全球金融理财产品。新加坡华人最信赖的在线投资平台，现在加入即享低费用，24/5 无时差炒美股投资理财！","ogImage":"https://c1.itigergrowtha.com/portal5/static/media/og-logo.be62fbe1.png","ogUrl":"https://www.itiger.com/hant/news/2537116057"},"companyName":"老虎證券"},"pageData":{"isMobile":false,"isTiger":false,"isTTM":true,"region":"SGP","license":"TBSG","edition":"fundamental"},"isCrawlerRequest":true,"__swrFallback__":{"@#url:\"https://stock-news.skytigris.cn/v3/news\",params:#id:\"2537116057\",edition:\"fundamental\",auth_exemption:1,,,undefined,":{"share":"https://ttm.financial/m/news/2537116057?lang=zh_TW&edition=fundamental","thumbnail":"","is_english":false,"pubTime":"2025-05-24 10:16","share_image_url":"https://static.laohu8.com/9a95c1376e76363c1401fee7d3717173","id":"2537116057","market":"hk","top_or_hot":-1,"title":"騰訊混元 TurboS 技術報告首次全公開：560B 參數混合 Mamba 架構，自適應長短鏈融合","media":"InfoQ","content":"<div>\n<p>日前，全球權威大模型公開競技場 -Chatbot Arena 評測排行榜公佈最新排名，騰訊混元旗艦大語言模型 TurboS 位列全球第 7，在國內大模型中僅次於 Deepseek。放眼國際，排在前面的也僅有谷歌 Gemini、 OpenAI 以及 xAI 三家國際頂級機構。騰訊混元基礎模型為什麼能夠取得這麼亮眼的成績？在技術上有哪些創新？答案就藏在最新發布的騰訊混元 TurboS 技術報告中。論文...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20250524120416a48a6b37&s=b\">網頁鏈接</a>\n\n</div>\n","source":"tencent","html":"<!DOCTYPE html>\n<html>\n<head>\n<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\" />\n<meta name=\"viewport\" content=\"width=device-width,initial-scale=1.0,minimum-scale=1.0,maximum-scale=1.0,user-scalable=no\"/>\n<meta name=\"format-detection\" content=\"telephone=no,email=no,address=no\" />\n<title>騰訊混元 TurboS 技術報告首次全公開：560B 參數混合 Mamba 架構，自適應長短鏈融合</title>\n<style type=\"text/css\">\na,abbr,acronym,address,applet,article,aside,audio,b,big,blockquote,body,canvas,caption,center,cite,code,dd,del,details,dfn,div,dl,dt,\nem,embed,fieldset,figcaption,figure,footer,form,h1,h2,h3,h4,h5,h6,header,hgroup,html,i,iframe,img,ins,kbd,label,legend,li,mark,menu,nav,\nobject,ol,output,p,pre,q,ruby,s,samp,section,small,span,strike,strong,sub,summary,sup,table,tbody,td,tfoot,th,thead,time,tr,tt,u,ul,var,video{ font:inherit;margin:0;padding:0;vertical-align:baseline;border:0 }\nbody{ font-size:16px; line-height:1.5; color:#999; background:transparent; }\n.wrapper{ overflow:hidden;word-break:break-all;padding:10px; }\nh1,h2{ font-weight:normal; line-height:1.35; margin-bottom:.6em; }\nh3,h4,h5,h6{ line-height:1.35; margin-bottom:1em; }\nh1{ font-size:24px; }\nh2{ font-size:20px; }\nh3{ font-size:18px; }\nh4{ font-size:16px; }\nh5{ font-size:14px; }\nh6{ font-size:12px; }\np,ul,ol,blockquote,dl,table{ margin:1.2em 0; }\nul,ol{ margin-left:2em; }\nul{ list-style:disc; }\nol{ list-style:decimal; }\nli,li p{ margin:10px 0;}\nimg{ max-width:100%;display:block;margin:0 auto 1em; }\nblockquote{ color:#B5B2B1; border-left:3px solid #aaa; padding:1em; }\nstrong,b{font-weight:bold;}\nem,i{font-style:italic;}\ntable{ width:100%;border-collapse:collapse;border-spacing:1px;margin:1em 0;font-size:.9em; }\nth,td{ padding:5px;text-align:left;border:1px solid #aaa; }\nth{ font-weight:bold;background:#5d5d5d; }\n.symbol-link{font-weight:bold;}\n/* header{ border-bottom:1px solid #494756; } */\n.title{ margin:0 0 8px;line-height:1.3;color:#ddd; }\n.meta {color:#5e5c6d;font-size:13px;margin:0 0 .5em; }\na{text-decoration:none; color:#2a4b87;}\n.meta .head { display: inline-block; overflow: hidden}\n.head .h-thumb { width: 30px; height: 30px; margin: 0; padding: 0; border-radius: 50%; float: left;}\n.head .h-content { margin: 0; padding: 0 0 0 9px; float: left;}\n.head .h-name {font-size: 13px; color: #eee; margin: 0;}\n.head .h-time {font-size: 12.5px; color: #7E829C; margin: 0;}\n.small {font-size: 12.5px; display: inline-block; transform: scale(0.9); -webkit-transform: scale(0.9); transform-origin: left; -webkit-transform-origin: left;}\n.smaller {font-size: 12.5px; display: inline-block; transform: scale(0.8); -webkit-transform: scale(0.8); transform-origin: left; -webkit-transform-origin: left;}\n.bt-text {font-size: 12px;margin: 1.5em 0 0 0}\n.bt-text p {margin: 0}\n</style>\n</head>\n<body>\n<div class=\"wrapper\">\n<header>\n<h2 class=\"title\">\n騰訊混元 TurboS 技術報告首次全公開：560B 參數混合 Mamba 架構，自適應長短鏈融合\n</h2>\n<h4 class=\"meta\">\n<p class=\"head\">\n<strong class=\"h-name small\">InfoQ</strong><span class=\"h-time small\">2025-05-24 10:16</span>\n</p>\n</h4>\n</header>\n<article>\n<div>\n<p>日前，全球權威大模型公開競技場 -Chatbot Arena 評測排行榜公佈最新排名，騰訊混元旗艦大語言模型 TurboS 位列全球第 7，在國內大模型中僅次於 Deepseek。放眼國際，排在前面的也僅有谷歌 Gemini、 OpenAI 以及 xAI 三家國際頂級機構。騰訊混元基礎模型為什麼能夠取得這麼亮眼的成績？在技術上有哪些創新？答案就藏在最新發布的騰訊混元 TurboS 技術報告中。論文...</p>\n\n<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20250524120416a48a6b37&s=b\">網頁鏈接</a>\n\n</div>\n\n<div class=\"bt-text\">\n\n\n<p> 來源：<a href=\"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20250524120416a48a6b37&s=b\">InfoQ</a></p>\n<p>為提升您的閱讀體驗，我們對本頁面進行了排版優化</p>\n\n\n</div>\n</article>\n</div>\n</body>\n</html>\n","isBrief":false,"type":0,"news_type":1,"symbol":"LU1152091168.USD","symbol_name":"UBS (LUX) EQUITY FUND - CHINA OPPORTUNITY (USD) \"PM\" INC","start_time":0,"source_url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20250524120416a48a6b37&s=b","article_id":"2537116057","we_media_id":null,"thumbnails":[],"rights":{"source":"tencent","url":"http://gu.qq.com/resources/shy/news/detail-v2/index.html#/?id=nesSN20250524120416a48a6b37&s=b","rn_cache_url":null,"customStyle":"body{padding-top:10px;}#news_title{font-weight:bold;#titleStyle#;}#news_description span{font-size:12px;#descriptionStyle#;}.footer-note{#statement#}","selectors":".mod-LoadTzbdNews, body","filters":".relate-stock, .hot-list, .recom-box, .wx-sou","directOrigin":true},"url":"https://stock-news.laohu8.com/highlight/detail?id=2537116057","pubTimestamp":1748052978,"columns":[],"sourceInfo":{"source_id":"tencent","name":"腾讯"},"weMediaInfo":null,"summary":"答案就藏在最新發布的騰訊混元 TurboS 技術報告中。騰訊混元團隊最新推出的混元 TurboS 模型，是一款新穎的超大型 Hybrid Transformer-Mamba 架構 MoE 模型。以下，通過模型技術報告我們將逐一解開騰訊混元 Turbo S 的神秘面紗。最終，騰訊混元 TurboS 在包含 16 萬億 Token 的語料上進行訓練。模型架構混元 TurboS 的核心是一種混合架構，整合了 Transformer、Mamba2 和 FFN 組件，旨在實現訓練和推理的效率與可擴展性。混元 TurboS 的 SFT 數據被細緻地劃分為多個主題，為每個主題收集高質量樣本並整合。","collect":0,"end_time":0,"defaultTopTitle":"qq.com","property":[],"viewcount":null,"language":"zh","relate_stocks":{"80700":"腾讯控股-R","LU1152091168.USD":"UBS (LUX) EQUITY FUND - CHINA OPPORTUNITY (USD) \"PM\" INC","LU0577902298.EUR":"FULLERTON LUX FUNDS - ASIA GROWTH & INCOME EQUITIE \"I\" (EUR) ACC","00700":"腾讯控股","IE00B0169L03.USD":"FSSA ASIA FOCUS FUND \"I\" (USD) ACC","IE00B5MMRT66.SGD":"NEUBERGER BERMAN CHINA EQUITY \"A\" (SGDHDG) ACC","LU2399975544.HKD":"ALLIANZ ALL CHINA EQUITY \"AT\" (HKD) ACC","LU1323998911.USD":"BGF ASIAN MULTI-ASSET INCOME \"A\" (USD) ACC","LU0106252389.USD":"SCHRODER ISF EMERGING MARKETS \"A\" ACC","HTCD.SI":"Tencent HK SDR 10to1","LU0593848301.USD":"未来资产亚洲卓越消费股票基金A","LU2242644610.SGD":"Fidelity China Innovation A-ACC-SGD","LU0188438112.USD":"SCHRODER ISF ASIAN EQUITY YIELD \"A\" ACC","LU0235996351.USD":"UBS (LUX) KEY SELECTION SICAV - ASIAN EQUITY (USD) \"P\" (USD) ACC","LU0173614495.USD":"富达中国焦点A","IE0032431581.USD":"PINEBRIDGE GREATER CHINA EQUITY \"A\" (USD) ACC","IE0003895053.USD":"PINEBRIDGE ASIA DYNAMIC ASSET ALLOCATION \"AD\" USD  ACC","LU1366334651.USD":"ALLSPRING EMERGING MARKETS EQUITY INCOME \"I\" (USD) INC","LU0228659784.USD":"施罗德金砖四国基金","IE00B031J352.USD":"FSSA GREATER CHINA GROWTH \"I\" (USD) INC","LU0588545904.SGD":"Eastspring Investments - Asian Equity Income ASDM SGD","LU1282649141.HKD":"ALLIANZ ASIAN MULTI INCOME PLUS \"AMG\" (HKD) INC","SG9999017495.SGD":"UGDP UNITED GLOBAL QUALITY GROWTH \"B\" (SGD) ACC","LU2462611646.USD":"AMUNDI FUNDS REAL ASSETS TARGET INCOME \"A2\" (USD) INC MTI","LU0588545730.USD":"EASTSPRING INVESTMENTS ASIAN EQUITY INCOME \"ADM\" (USD) INC","SG9999002828.SGD":"Eastspring Investments Unit Trusts - Dragon Peacock A SGD","LU0072462343.USD":"贝莱德亚洲巨龙基金","IE0008368742.USD":"首域中国增长基金I Acc","LU0456846285.SGD":"JPMorgan Funds - Greater China A (acc) SGD","IE00B97KM107.HKD":"FSSA ASIAN EQUITY PLUS \"I\" (HKD) ACC","LU0572944931.SGD":"Janus Henderson Horizon China Opportunities A2 SGD","LU0449509016.USD":"HSBC GIF BRIC EQUITY \"AC\" (USD) ACC","LU1642822792.SGD":"THREADNEEDLE (LUX) ASIAN CONTRARIAN EQUITY \"A\" (SGD) ACC","LU1725190679.HKD":"SCHRODER ISF EMERGING MARKETS MULTI-ASSET \"A\" (HKD) INC MF","LU1831875114.USD":"SCHRODER ISF ALL CHINA EQUITY \"A\" (USD) ACC","LU0561508036.HKD":"ALLIANZ CHINA EQUITY \"A\" (HKD) INC","LU0890818403.SGD":"JPMorgan Funds - Emerging Markets Dividend A (mth) SGD-H","LU0080751232.USD":"富达环球多元动力基金A","LU0985320562.USD":"NORDEA 1 GLOBAL STARS EQUITY \"BP\" (USD) ACC","LU1804176565.USD":"EASTSPRING INV GLOBAL GROWTH EQUITY \"A\" (USD) ACC","SG9999006597.SGD":"United China-India Dynamic Growth SGD","SG9999018865.SGD":"United Global Quality Growth Fd Cl Dist SGD-H","BK1095":"互动媒体与服务","SG9999001903.USD":"Aberdeen Standard Pacific Equity USD","LU0084288322.USD":"Natixis Asia Equity RD USD","LU0823041008.USD":"AMUNDI FUNDS EMERGING WORLD EQUITY \"A2\" (USD) ACC","LU1102505929.USD":"FIDELITY SUSTAINABLE EMERGING MARKETS EQUITY  \"A\" (USD) ACC","SG9999014906.USD":"大华全球优质成长基金Acc USD","SGXZ90724238.SGD":"UNITED ASIA \"A\" (SGD) INC","LU0821914370.USD":"贝莱德亚洲成长领袖A2"},"translate_title":"Tencent Hunyuan TurboS technical report is fully disclosed for the first time: 560B parameter hybrid Mamba architecture, adaptive long and short chain fusion","themeId":null,"isJumpTheme":false,"ttsUrl":null,"symbols_score_info":{"80700":0.9,"HTCD.SI":0.6,"00700":1,"TCHmain":0.6},"content_text":"日前，全球權威大模型公開競技場 -Chatbot Arena 評測排行榜公佈最新排名，騰訊混元旗艦大語言模型 TurboS 位列全球第 7，在國內大模型中僅次於 Deepseek。放眼國際，排在前面的也僅有谷歌 Gemini、 OpenAI 以及 xAI 三家國際頂級機構。騰訊混元基礎模型為什麼能夠取得這麼亮眼的成績？在技術上有哪些創新？答案就藏在最新發布的騰訊混元 TurboS 技術報告中。論文鏈接：https://arxiv.org/abs/2505.15431隨着大型語言模型（LLM）的飛速發展，模型能力與效率的平衡成為了前沿研究的關鍵議題。騰訊混元團隊最新推出的混元 TurboS 模型，是一款新穎的超大型 Hybrid Transformer-Mamba 架構 MoE 模型。該模型通過 Mamba 架構在長序列處理上的卓越效率與 Transformer 架構在上下文理解上的固有優勢的有機協同，實現了性能與效率的精妙平衡。混元 TurboS 引入了創新的自適應長短思維鏈機制，能夠根據問題複雜度動態切換快速響應模式與深度思考模式，從而優化計算資源分配。更重要的是，其模型激活參數達到了 56B（總參數 560B），是業界首個大規模部署的 Transformer-Mamba 專家混合（MoE）模型。架構創新以及參數量的保證，讓模型效果進步明顯，國際最權威的大模型評測排行榜 LMSYS Chatbot Arena 最新排名顯示:混元 TurboS 取得了整體 1356 的高分，在所有 239 個參賽模型中位列全球前 7 名。圖：截自 Chatbot Arena 官網 5 月 18 日排名多語種能力方面表現突出，中文、法語、西班牙語並列排名全球第一，韓文排名全球第二。多任務處理能力方面，四大關鍵任務（困難提示、創意寫作、多輪對話、長問題）均排名全球前五。以下，通過模型技術報告我們將逐一解開騰訊混元 Turbo S 的神秘面紗。三大核心創新，讓模型性能顯著提升騰訊混元 TurboS 的核心創新體現在以下幾個方面：架構協同：巧妙地融合了 Mamba 架構處理長序列的高效性與 Transformer 架構卓越的上下文理解能力。這兩種架構的結合，旨在取長補短，實現性能與效率的最大化。模型包含 128 層，採用了創新的「AMF」（Attention → Mamba2 → FFN）和「MF」（Mamba2 → FFN）模塊交錯模式。這種設計使得模型在擁有 5600 億總參數（56B 激活參數）的同時，保持了較高的運算效率。自適應思維鏈 (Adaptive Long-short CoT)：該機制是 Hunyuan-TurboS 的一大亮點。它借鑑了短思維鏈模型（如 GPT-4o）的快速響應和計算友好特性，以及長思維鏈模型（如 o3）強大的複雜推理能力。面對簡單問題，TurboS 自動激活「無思考」（no thinking）模式，以最小計算成本提供足夠質量的答案；而當遇到複雜問題時，則自動切換至「思考」（thinking）模式，運用逐步分析、自我反思和回溯等深度推理方法，給出高準確度的回答。先進的後訓練策略：為了進一步增強模型能力，騰訊混元團隊設計了包含四個關鍵模塊的後訓練流程：監督微調（SFT）：通過精心構建的百萬級自然和合成指令數據進行微調。自適應長短 CoT 融合：通過專門訓練的教師模型和獨特的強化學習框架，實現推理策略的自主選擇、計算資源的有效分配，並通過無損壓縮和重構長思維鏈來提升響應的可讀性。多輪推敲學習（Multi-round Deliberation Learning）：SFT 模型在模擬評估環境中與其他先進混元模型進行比較，通過多 LLM 裁判組和人類專家的評估驅動迭代優化。兩階段大規模強化學習：利用 GRPO，第一階段聚焦於提升推理能力，第二階段則致力於改善全領域的通用指令遵循能力。預訓練：在 16 萬億 Token 的語料上進行訓練本節將詳細介紹預訓練數據的處理、創新的模型架構設計，以及退火（Annealing）和長上下文預訓練策略。預訓練數據預訓練數據的質量、數量和多樣性對 LLM 的性能至關重要。相較於先前的混元 Large 模型，騰訊混元 TurboS 在數據處理上進行了顯著增強。團隊開發了全面的評估模型和數據混合模型，引入了包含數十個結構化領域標籤的基礎質量標準，確保了數據選擇和整合的原則性。最終，騰訊混元 TurboS 在包含 16 萬億 Token 的語料上進行訓練。模型架構混元 TurboS 的核心是一種混合架構，整合了 Transformer、Mamba2 和 FFN 組件，旨在實現訓練和推理的效率與可擴展性。宏觀參數：模型總層數為 128 層，激活參數量 56B，總參數量 560B。其中，每個 Attention、FFN、Mamba2 塊計為一層。層級構成：FFN 層佔比 50%，Attention 層佔比約 5.5%，Mamba2 層佔比約 44.5%。FFN 層採用 MoE 結構，包含 1 個共享專家和 32 個專門專家，每個前向傳播激活 1 個共享專家和 2 個專門專家。Mamba2 層採用狀態空間模型（SSM）架構，實現了序列長度的線性複雜度 O(n)。模塊模式：「AMF」（Attention→Mamba2→FFN）被確認為一種優化的原子配置，有效平衡了效率。同時，結構中也採用了「MF」（Mamba2→FFN）模塊以進一步提升效率。Hunyuan-TurboS 採用了「AMF」和「MF」模塊的交錯架構。退火階段 (Annealing)退火階段的數據是異構混合的，包括高質量預訓練數據、代碼、數學、STEM 相關語料、指令遵循數據（如長 CoT 數據）和其他合成樣本。長上下文擴展預訓練的最後階段，採用課程學習策略逐步擴展模型的上下文窗口，從 4K Tokens 擴展到 32K，最終到 256K Tokens。預訓練模型評估在 23 個廣泛使用的基準上對預訓練的騰訊混元 TurboS 進行了評估，結果顯示其與 SOTA 模型相比具有強大的基礎能力。注：表格中，其它模型的評測指標來自官方評測結果，官方評測結果中不包含部分來自混元內部評測平台後訓練：自適應長短思維鏈融合後訓練階段對混元 TurboS 的各項能力進行了精雕細琢和顯著增強。該階段包含四個環環相扣的關鍵模塊：監督微調、自適應長短思維鏈融合、多輪反思學習以及兩階段大規模強化學習。監督微調 (SFT)SFT 數據的質量和多樣性對 LLM 在各類任務上的表現至關重要。混元 TurboS 的 SFT 數據被細緻地劃分為多個主題，為每個主題收集高質量樣本並整合。數據來源與構建涵蓋數學（教材、考試、競賽）、代碼（開源倉庫代碼片段轉為指令對）、邏輯（公共 / 授權數據源，自動化合成）、科學（物理、化學、生物）、語言中心任務（理解、翻譯、生成）、創意寫作、英文及多語言、複雜指令、角色扮演、知識問答、多輪對話、金融 / 法律 / 醫學以及安全等 13 個領域。最終構建了百萬級樣本的 SFT 數據集（包含推理型和非推理型數據）。其中，需要較長 CoT 的複雜推理任務（數學、代碼、科學、邏輯）會經過額外處理，採用內部教師模型，生成自適應長短 CoT 響應。非推理型數據則直接使用原始響應。自適應長短思維鏈融合(Adaptive Long-short CoT Fusion)該方法旨在讓 LLM 能夠根據問題複雜度自主決定使用長 CoT 還是短 CoT，以及推理的深度，創造性地將兩種推理模式融合進單一模型。先前研究表明長 CoT 在數學等推理領域特別有效，因此該方法主要應用於推理數據（數學、STEM 等），而非推理數據主要使用短 CoT 模式。團隊訓練了一個自適應長短 CoT 融合教師模型，其訓練分為兩階段：自適應長短 CoT SFT 訓練首先，使用推理數據訓練 Hunyuan-Base 得到一個短 CoT 模型。然後，用此短 CoT 模型對所有推理數據進行推理並進行一致性檢查。若短 CoT 模型回答正確，則直接作為訓練樣本。若首次嘗試錯誤，則將問題和短 CoT 的錯誤響應輸入混元 -T1（混元長鏈推理模型）繼續生成後續推理過程和答案，並將此擴展的推理過程和答案轉換為短 CoT 的響應風格。重複此混元 -T1 生成過程，直至獲得正確答案。最後，將所有失敗嘗試與正確響應拼接，作為自適應長短融合教師模型的訓練響應。用此數據訓練 Hunyuan-Base，得到自適應 SFT 模型。自適應長短 CoT 的強化學習此長短自適應獎勵框架使 LLM 能根據問題難度選擇合適的思考模式。難度自適應獎勵：在 GRPO 採樣期間，為每個提示生成不同推理深度的響應。在線拒絕採樣機制評估提示難度並選擇合適的模式——複雜問題分配長 CoT，簡單問題分配短 CoT。長 CoT 壓縮獎勵：對於長推理鏈，在計算獎勵時應用長度懲罰。當多條推理路徑達到相同正確性時，較短的路徑獲得更高獎勵，從而在保持準確性的同時最小化冗餘。推敲學習 (Deliberation Learning)為進一步提升混元 -TurboS 的能力，團隊提出了一種基於「反思學習」原則的人機協作迭代優化策略。該方法利用一個「數據飛輪」，模型通過相互競爭逐步改進，由強大的基於 LLM 的裁判和人類專家識別弱點，為後續 SFT 迭代提供信息。訓練強大的裁判 LLM 模擬人類標註者基於騰訊混元 TurboS 開發和訓練了一組裁判模型（Judge Models）。響應評估不依賴單一整體評分，而是跨多個預定義維度（準確性、有用性、無害性、連貫性、簡潔性、指令遵循度）。每個裁判對成對比較提供維度評分和文本解釋。通過多數投票或加權評分系統等共識機制聚合這些多維判斷。構建數據飛輪後訓練騰訊混元 TurboS核心是一個通過競爭性評估和有針對性的 SFT 持續增強混元 -TurboS 能力的迭代改進循環。裁判（Judging）：使用混元 -TurboS SFT 模型和混元系列其他前沿模型（混元 Large, 混元 Turbo, 混元 T1）對精選訓練集中的相同提示生成響應，然後由多 LLM 裁判組進行細緻評估。弱點推敲（Weakness Deliberation）：通過人類專家和 LLM 監督識別模型弱點。領域專家審查複雜的比較結果和自動化系統可能遺漏的細微模型失敗。迭代 SFT（Iterative SFT）：根據弱點畫像，為已識別的缺陷開發定製的訓練批次，通常包含「失敗數據」。這些數據由人類專家用高質量輸出仔細標註，並增量添加到訓練過程中。採用課程學習，隨着模型掌握程度的提高逐步增加任務複雜度和技巧的微妙性。通用獎勵系統(General Reward System)為實現有效的強化學習，設計了一個圍繞三個關鍵組件組織的通用獎勵系統。帶參考答案的生成式獎勵模型 (GRM)比較候選答案與參考答案。對確定性解的任務（如閉卷問答），參考答案是真實答案；對開放式任務（如創意寫作），提供精心策劃的參考，GRM 將其視為語義錨點而非精確匹配。GRM 使用成對偏好方案訓練。答案一致性模型輕量級分類器，驗證生成答案是否與參考答案匹配（匹配為 1，否則為 0），用於數學等有標準答案的任務。代碼沙箱 (Sandbox)支持 36 種編程語言的多語言代碼沙箱，用於執行單元測試。獎勵聚合模塊整合特定領域規則產生統一評分，系統總共覆蓋 16 個子主題和超過 30 個評分服務。強化學習訓練 (RL Training)採用基於 GRPO 框架的增量式、領域聚焦的 RL 流程。這是一個兩階段策略：兩階段 GRPO 訓練策略階段一：推理 GRPO。目標是邏輯、編碼、數學和科學領域。混合 30 萬訓練數據（代碼: 數學: 邏輯 & 科學 = 2:2:1）。由於 SFT 主幹模型在這些任務上已表現強勁且輸出熵較低，因此應用相對較小的 KL 散度約束以鼓勵更廣泛的探索。階段二：通用 GRPO。優化擴展到通用任務，重點是平衡各領域性能。繼續包含 10% 來自階段一的推理數據。階段一的超參數（如裁剪範圍、學習率）基本保留，但增加 KL 散度懲罰係數以緩解災難性遺忘。更多 GRPO 實施細節:GRPO 損失：在 Token 級別重新制定 GRPO 損失，顯著提高 KL 穩定性。提示過濾：過濾掉模型總是成功或失敗的極端案例，保留不穩定的提示（模型採樣輸出差異大）作為理想的對抗樣本。採樣：RL 期間生成響應的採樣温度設為 1.0。較低温度會導致熵快速衰減，阻礙探索。組獎勵調整：對每個提示的響應組內重新縮放獎勵，確保不良響應獲得負優勢，良好響應獲得正優勢，從而促進穩定的策略更新。自動化評估結果與業界領先的開源和閉源模型在關鍵基準上進行對比：數學推理：在非推理模型中表現 SOTA，僅次於 DeepSeek-v3-0324。邏輯推理：在 BBH、DROP、Zebra-Logic 等複雜基準上，與 DeepSeek-V3-0324 共同樹立了新的性能標杆。代碼任務：與 Qwen2.5-Max 能力相當。知識與中文任務：在知識密集型任務中表現 SOTA，尤其在中文知識評估（C-Eval, CMMLU, C-SimpleQA）上表現強勁。對齊任務：在 AlpacaEval 上平均得分比 GPT-4.5 高 11.8 分，在 AlignmentBench 和 MTBench 評估中均排名第一。指令遵循：與 Claude3.7 和 GPT-4.5 相當。自適應 CoT 的推理效率在評估推理成本效益時，混元 TurboS 在所有評估模型中實現了最具成本效益的輸出生成。值得注意的是，模型在 LMSYS Chatbot Arena 上取得了與 Deepseek-R1 相當的性能，卻僅使用了後者 52.8% 的 Token 量，證明了騰訊混元所提出的自適應長短思維鏈融合方法的有效性，也突顯了騰訊混元 TurboS 在提供高性能 LLM 推理方面的卓越成本效益。騰訊自研的高效基礎設施為訓練和推理加速騰訊混元 TurboS 的訓練與推理依賴於騰訊自研的高效基礎設施。強化學習訓練框架 (Angel-RL)：基於騰訊自研的大模型訓練框架 AngelPTM 和推理框架 AngelHCF 全面集成了張量並行（TP）、流水線並行（PP）、專家並行（EP）、上下文並行（CP）和序列拼接優化，同時，上下文並行實現了串行和並行兩種狀態傳遞方法（下圖），在採樣端支持 INT8 量化，並且，利用騰訊定製的 Starlink 網絡有效實現通信計算重疊。針對 RL 訓練中多模型導致 GPU 顯存瓶頸的問題，設計了結合混合與專用資源分配的多模型 RL 工作流，並使用 AngelPTM 的 ZeroCache 技術（將去重模型狀態卸載到 CPU 內存）降低 GPU 顯存壓力。推理與部署 (AngelHCF)：針對 TurboS 的 Mamba 混合架構，從三個關鍵維度實施了優化，最終相比純 Transformers MoE 模型實現了 1.8 倍的加速：Mamba Kernel 優化：Prefill 階段利用 Mamba2 結構特性增強計算並行性；Decode 階段設計了 SelectivescanUpdate Kernel 以減輕顯存帶寬限制。MoE 優化：優先採用專家並行以緩解解碼時顯存瓶頸，智能冗餘專家分配平衡 GPU 負載，優化通信與計算重疊。混合架構精度優化：在 Kernel 層面為 Mamba 狀態創新性地採用 fp32 精度，將混合架構的長文本生成質量提升至與全 Attention 模型相當的水平，在數學密集型和編程競賽級推理任務中，Token 消耗降低 35%-45%（相比原始 fp16/bf16）。總 結騰訊混元團隊在本報告中詳細介紹了騰訊混元 TurboS，這是一款創新的超大型混合 Transformer-Mamba 專家混合（MoE）模型，它獨特地融合了 Mamba 在長序列處理上的高效率和 Transformer 卓越的上下文理解能力，採用了新穎的 AMF/MF 模塊模式以及自適應長短思維鏈（CoT）機制。這款 56B 激活參數（560B 總參數）的模型成為業界首個大規模部署的 Mamba 架構。混元 TurboS 在 LMSYS Chatbot Arena 上獲得 1356 分，並在 23 個自動化基準測試中平均得分 77.9%，展現了強大性能。至關重要的是，騰訊混元 TurboS 在高性能和計算效率之間取得了有效平衡，以遠低於許多推理模型的推理成本提供了強大的能力。這項工作為高效、大規模預訓練模型樹立了新範式，推動了易於獲取且功能強大的人工智能系統的發展。今日好文推薦谷歌AI核爆：升級全系模型，Gemini 2.5雙榜登頂！所有產品用AI重做，OpenAI如何接招？微軟重磅開源 Copilot！64 歲 VS Code 創始人親口承認：眼紅 Cursor，但真正價值在後端，它「抄」不過去！Jeff Dean：一年內 AI 將取代初級工程師，網友：「Altman只會畫餅，Jeff説的話才致命」千份簡歷零 Offer，42歲PHP程序員靠開網約車維生：AI時代，中年危機正在上演？","kind":"news","is_publish_news":true,"is_publish_highlight":false,"is_publish_live":false,"is_publish_wemedia":null,"editions":null,"column":"","sentiment":"0","news_tag":"","news_rank":0,"symbols":[],"gpt_button":0,"need_auth":false,"code":"91000000","status":"200"}}}