作者 | 黃昱
騰訊加快推進大模型在實際場景中的落地,這一次輪到了翻譯場景。
4月29日,騰訊混元推出並開源極致量化壓縮版本翻譯模型 Hy-MT1.5-1.8B-1.25bit,把支持 33 種語言的翻譯大模型壓縮至 440MB,無需聯網,下載即可直接在手機本地運行。
除了模型權重開源,騰訊混元也推出了一個實際可用的「騰訊混元翻譯Demo版」,並特別適配了「後台取詞模式」。
無論是在本地查看郵件還是瀏覽網頁,混元翻譯都能隨叫隨到。
華爾街見聞體驗騰訊混元翻譯Demo版後發現,該版本也無需網絡,無需訂閱。目前國內用戶在魔搭社區即可下載,但只能在安卓端運行,iOS還未適配。
騰訊方面表示,該騰訊混元翻譯Demo版也完全本地處理、不涉及個人信息的採集和上傳,一次下載永久使用。
如果實際翻譯能力能夠比肩有道翻譯官、谷歌翻譯等市面主流翻譯工具,且保持永久免費、離線本地運行、不上傳隱私數據的優勢,那騰訊此番動作,無疑將攪動整個翻譯賽道格局。
騰訊混元這一離線翻譯模型基於混元翻譯大模型Hy-mt1.5打造 。Hy-mt1.5 是騰訊混元團隊打造的專業翻譯大模型,模型參數為1.8B,原生支持 33 種語言、5 種方言/民漢及 1056 個翻譯方向。
騰訊透露,Hy-mt1.5 實現了比肩商業翻譯 API 和 235B 級大模型的翻譯效果 。在嚴格的評測基準中,其翻譯質量也超越了Google 翻譯等主流系統。
在實際業務場景中,混元團隊發現原始的 1.8B 模型即使在 FP16 精度下,依然佔用 3.3GB 內存,對於手機內存來說,依然太大、太慢,所以需要量化壓縮。
因此針對不同的手機用戶, 騰訊特別推出了2-bit 與 1.25-bit 兩種極致的量化壓縮方案。
在AI應用爆發的當下,各家都在拼命為各自的大模型找到合適細分場景。
除了騰訊混元,國內外大廠在手機端離線AI翻譯這塊其實早就捲起來了,不少都推出了輕量級、可端側離線運行的開源翻譯模型,包括阿里、谷歌、Meta等。