千问大模型升级实时语音识别大模型Fun-ASR-Realtime 支持30种语言+16种方言

智通财经
Jul 06

智通财经APP获悉,7月6日,千问大模型正式升级实时语音识别大模型Fun-ASR-Realtime。Fun-ASR-Realtime为一款首字延迟控制在百毫秒级别、识别准确率接近离线模型的流式语音识别模型,支持16种方言和30种语言。

语音识别模型分为离线和实时两类。离线模型可一次性输入录好的音频,准确度更高;实时模型边录边识,需又准又快,识别难度更高,适合直播字幕、会议实时转写、客服通话等低延迟场景。Fun-ASR-Realtime面向的正是后一种——让"又快"和"又准"同时成立。

速度:首字百毫秒,尾字不掉队

在速度上,模型首字时延控制在百毫秒级别,话音刚落,文字即开始呈现;对很长的句子,尾字输出的延迟同样很低。

以“重返荒岛”100小时直播为例,多人两岛互动、说话人频繁切换,赛制复杂还遇上了暴雨,观众可即时看到Tim和中国boy等嘉宾的发言字幕,直接增强了观看体验。

准确率:接近离线模型,还能“越听越准”

在准确率上,Fun-ASR-Realtime接近其离线模型Fun-ASR-Flash,并面向泛 Context(包含历史对话上下文和实时热词)进行了专项强化,具备上下文理解能力。

举一个直播里的真实例子:Tim说出的"夜鹭"最初被误识为"叶鹿",在补充上下文"观鸟的朋友应该知道"后,模型立刻自我纠正。

多语言和方言:这是Fun-ASR-Realtime最能听的部分

相较于市面上的实时模型,Fun-ASR-Realtime 支持的语音种类更加丰富,可识别16种方言和30种语言。

在覆盖八大方言区的16种方言识别测试中,Fun-ASR-Realtime字符准确率平均为 88.62%,在12类方言上领先,超越火山与腾讯相关产品。尤其在高难度的吴语系方言上表现惊艳——上海话:92.41%,苏州话:89.21%,温州话(号称"最难懂方言"):82.74%。

在福建话、客家话等复杂方言上,模型同样全面领先。

Fun-ASR-Realtime在16 种方言识别测试中领先。CER为字符错误率(Character Error Rate),1-CER代表字符准确率。

复杂场景与多语种:从工业远场到出海市场

在5类工业中文和英文场景的语音识别横向测评中,针对复杂背景、远场嘈杂以及各种带口音的场景,Fun-ASR-Realtime依然表现良好,中文平均字符准确率88.42%、英文91.58%,均领先相关产品。

Fun-ASR-Realtime在5 类工业中文和英文场景的语音识别横向测评中领先。

在此基础上,模型面向泰语等东亚、东南亚多语言场景进行了专项优化,识别准确率提升了20%,适用于出海客服、国际会议等场景。

离线模型Fun-ASR-Flash:全球权威榜单第一

Fun-ASR-Realtime的离线模式模型Fun-ASR-Flash也已于近期上线。在全球权威AI评测平台Artificial Analysis上,Fun-ASR-Flash(榜单上为该模型曾用名"Fun-realtime-ASR-preview")字错率1.7%,位列全球第一。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10