快科技4月15日消息,阿里ATH旗下創新事業部研發的視頻生成模型HappyHorse-1.0,近日已悄然在Arena.ai平台上線開放測試,目前正處於正式發布前的最後優化階段。
官方表示,早期評測結果顯示該模型在視頻編輯任務中表現突出,目前已進入發布前的最後優化階段,預計將在兩周後正式推出版本更新。
經阿里內部消息確認,該模型將於4月30日開放API。目前已向社區開放早期體驗入口,邀請用戶參與測試與反饋。
上周,該模型突然以匿名身份空降全球權威AI平台Artificial Analysis Video Arena的盲測排行榜,在文生視頻和圖生視頻(無音頻)兩個賽道同時壓過字節跳動Seedance 2.0和快手可靈3.0,強勢登頂。
該模型採用150億參數的40層單流自注意力Transformer架構,實現了原生音視頻同步生成。
簡單來說,其他視頻模型需要先生成無聲視頻,再配樂對口型,幾道工序下來,不僅費時費力,還容易出錯。
而快樂馬把視頻和音頻的生成徹底合併進了一個流程,畫面和聲音是一起出來,一次前向推理直接輸出帶聲音的成片,不需要任何後期拼接。
此外,該模型還原生支持英語、普通話、粵語、日語、韓語、德語和法語七種語言的脣形同步。
