騰訊混元開源同聲傳譯大模型 Hy-SimulMT:延遲低於人類譯員,質量比肩專業口譯

BlueSky

AI 摘要

  • 騰訊混元開源了同聲傳譯大模型 Hy-SimulMT。
  • 該模型可實時進行中英語音翻譯,並同步輸出語音。

騰訊混元於10月26日發布並開源同聲傳譯大模型 Hy-SimulMT,主打中英語音到語音的實時翻譯。模型可在說話人發言的同時接收音頻,邊聽邊譯,同步輸出譯文與語音,並支持實時音色克隆,嘗試還原說話人的聲音與語氣。

發布與開源情況

據來源報導,Hy-SimulMT 已在騰訊 Hy 翻譯 App 首發,供用戶免費體驗。開源倉庫同步上線 HuggingFace、ModelScope 與 GitHub 三個平台。

低時延為核心指標

低時延是 Hy-SimulMT 的核心設計目標。來源提到,實測響應約3秒,低於人類專業譯員約4至5秒的平均水平。

與持證同傳專家的對比

來源指出,測試涵蓋軟件 AI、醫學、製造能源、商務管理等十個領域的音頻,並與6位持證同傳專家進行對比,其中包括3位 CATTI 一級與3位 CATTI 二級譯員。以 StreamLAAL 衡量的延遲結果如下:

對象StreamLAAL 延遲
Hy-SimulMT3.3 秒
CATTI 一級專家4.5 秒
CATTI 二級專家4.7 秒

來源表示,Hy-SimulMT 的延遲優於上述兩組專家,翻譯質量達到人類同傳專家水平。

長音頻與短音頻測試結果

長音頻評測集 RealSI

在長音頻評測集 RealSI 上,延遲以 StreamLAAL 衡量,翻譯質量以 GEMBA 衡量,質量評分由 GPT6.1-Sol 進行。Hy-SimulMT 的延遲約3.1秒,質量約86分。來源稱其延遲為最低、質量為開源模型中最佳,並超過多數商用同傳 API。

短音頻四項測試

  • RealSI-Sentence:得分 84.7,來源稱為全場最高。
  • FLEURS:Hy-SimulMT 得分 90.3,居開源模型首位;Gemini3.5-LiveTranslate 得分 92.4,為該單項第一。
  • ACL60/60:Hy-SimulMT 得分 81.2,居開源模型首位;Gemini3.5-LiveTranslate 得分 82.6,為該單項第一。

技術策略:先開口、後修補

來源指出,模型採用「先開口、後修補」策略控制延遲,修補後的聽感接近譯員自我修正。

專家評價

廣外高翻學院副院長王巍巍與中國翻譯協會原常務副會長仲偉合教授認為,Hy-SimulMT 在語音識別穩定性、同傳響應速度與譯語播報質量方面表現不俗,有助於推動機器同傳走進真實場景。

限制與待觀察之處

上述數據均來自來源所引述的測試與評分,其中質量評分包含由 GPT 模型打分的 GEMBA 指標。來源未提供第三方獨立驗證的資料。此外,測試主要涵蓋中英語音、特定領域與所列評測集,模型在其他語言、口音或更複雜場景中的表現,來源尚未提供相關資料。

Reference Link : news.aibase.com

Related Articles

Stay Connected

0FansLike
0FollowersFollow
22,800SubscribersSubscribe
spot_img

Latest Articles