Meta推語音對語音翻譯技術 說閩南語直接變英文！

合成示意圖／Meta

過去常見語言翻譯系統，多半是建立在有實際語音及對應文字內容，並且透過交叉比對或深度學習方式進行翻譯，而 Meta 稍早宣佈推出全球第一款直接以語音對語音方式進行翻譯的技術，藉此讓原本沒有對應標準書寫文字內容的閩南語，可以直接透過口說方式翻譯成英語，甚至支援雙向翻譯。

閩南語在全球使用人口超過 5,000 萬人，主要分佈在臺灣、中國福建、新加坡、馬來西亞等地，本身並未具備對應文字內容，主要透過口說方式交流、學習，因此若以目前常見的語言翻譯系統運作邏輯來看，閩南語基本上難以被翻譯成其他語言，或是從其他語言翻譯，原因在於沒有足夠文本與聲音內容進行訓練，另一方面也在於可將語言直接翻譯爲閩南語的人相對較少，因此很難建立合適的翻譯模型。

在 Meta 提出設計中，最初會將會將沒有文字的語言念音轉爲數位資料，並且將這些資料以不同語言對應文字進行標示分類，在此次示範閩南語與英語翻譯過程中，便是將閩南語的念音所轉換數位資料以 5 中文作爲中間語言，並且透過機器學習方式進行比對訓練，在後續實際翻譯過程就能順利將閩南語翻譯成英語（亦即將閩南語轉換成中文，再將中文轉換爲英語），同時也能反過來將英語翻譯成閩南語，進而透過數位語音方式念出。

若碰到語音內容無法透過第一道流程完成翻譯，系統就會透過第二道流程嘗試透過其他語言轉譯，最終則可將語音內容翻譯成所需語言。

至於爲了確保翻譯準確度，Meta 也透過 Taiwanese Across Taiwan 建立長達 300 小時長度的臺文語音語料庫，建立第一個閩南語與英語雙向語音翻譯基準資料集，藉此確保翻譯結果正確。

目前 Meta 已經可讓閩南語使用者與英語使用者對話，但現階段仍僅能在每次翻譯單一完整語句，未來預期將會持續讓翻譯成效精進。

而參與此項技術研究、來自臺灣的 Meta 軟體工程師陳鵬仁，便以其 70 歲的父親陳聖獎爲例，雖然閩南語在許多情況下與中文相關，但其實仍有不少差異，因此長年習慣以臺語與人溝通的父親，在必須以中文溝通情況下，往往就會讓說話速度變慢，甚至較難正確表達，因此希望透過人工智慧方式讓父親可以更容易以臺語與他人溝通，甚至能夠轉換成英語。

透過名爲「S2UT」（speech-to-unit translation）的技術，Meta 更宣佈將開放透過名爲 LASER 的自然語言處理工具打造的 SpeechMatrix 大型語音對語音訓練模型，讓其他研究人員可以建立更多無法透過文字內容紀錄的語言，藉此讓更多語言也能便利地透過人工智慧方式翻譯成其他語言，藉此讓不同語言使用者能更輕易溝通，並且打破語言隔閡。

不過，跟其他語言會有口音、不同地區用語差異情況一樣，即便同樣都是閩南語，在臺灣地區說的臺語，跟中國福建、閩南一帶說的閩南語，以及在新加坡、馬來西亞等地區所使用的閩南語多少都會有些不同，因此在後續設計顯然也必須建立更多訓練模型，才能順利對應不同地區的語言互譯。

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》