FaceBook推出強大的多語言模型，試圖理解所有人類語言

以下文章來源于數(shù)據(jù)實戰(zhàn)派 ，作者Facebook

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自數(shù)據(jù)實戰(zhàn)派

作者：MetaAI

譯者：張雨嘉

語言交流是人們?nèi)粘Ｉ钪凶畛Ｓ玫慕换シ绞?，而隨著語音技術(shù)的發(fā)展，未來人們還可以與電子設備以及虛擬世界進行交互，將虛擬體驗與現(xiàn)實世界合二為一。

但是，現(xiàn)有的語音技術(shù)僅適用于數(shù)千種世界語言中的一小部分。

有效的方法是基于有限標記數(shù)據(jù)的少樣本學習，或者無監(jiān)督的語音識別方法，而這些方法的成功取決于自監(jiān)督模型的性能。

目前，Meta AI 團隊（ 原Facebook AI）發(fā)布了一個用于多種語音任務的自監(jiān)督模型——XLS-R。

通過在之前 2 倍以上的語言數(shù)量和近 10 倍的公共數(shù)據(jù)集上進行訓練，XLS-R 模型的性能遠超以前的多語言模型。

為了讓單一模型實現(xiàn)理解多種不同語言語音的能力，Meta AI 團隊對 XLS-R 進行微調(diào)，以執(zhí)行語音識別、語音翻譯和語言識別任務。并分別在以下基準上獲得不錯的結(jié)果：用于語音識別的 BABEL、CommonVoice 和 VoxPopuli；用于外文到英文翻譯的 CoVoST-2；以及用于語言識別的 VoxLingua107。

為了讓更多人可以使用這種方法，F(xiàn)B已經(jīng)和 Hugging Face 聯(lián)手發(fā)布該模型，并可以在 GitHub 的 fairseq 項目中使用 (https://github.com/pytorch/fairseq/tree/master/examples/wav2vec)。

XLS-R 在 436,000 多小時的公開語音錄音數(shù)據(jù)上進行訓練，并且基于  wav2vec 2.0 模型對語音表征進行自監(jiān)督學習。該方法的訓練數(shù)據(jù)量比去年發(fā)布的最好模型 XLSR-53 還多 10 倍。

通過收集會議記錄、有聲讀物等不同來源的語音數(shù)據(jù)，XLS-R 模型已經(jīng)可以支持 128 種不同語言，是之前語言數(shù)量的約 2.5 倍。

最大 XLS-R 模型有超過 20 億個參數(shù)，其性能遠遠優(yōu)于其他較小的模型，因為更多的參數(shù)可以更充分地學習數(shù)據(jù)集中的多種語言。并且團隊發(fā)現(xiàn)，與在單一語言上預訓練相比，更大的模型可以得到更好的性能。

將 XLS-R 在四個多語言的語音識別任務上進行評估，結(jié)果表明它在 37 種測試語言上的表現(xiàn)都優(yōu)于之前的工作。具體包括 BABEL 的5種語言、CommonVoice 的 10 種語言、MLS 的 8 種語言和 VoxPopuli 的 14 種語言。

圖 | 在 BABEL 上的單詞錯誤率結(jié)果。與以前的工作相比，XLS-R 有明顯改進

團隊還在語音翻譯任務上對模型進行評估，語音翻譯就是將錄音翻譯成另一種語言。而且為了實現(xiàn)一個能夠執(zhí)行多任務的模型，他們將 XLS-R 在 CoVoST-2 基準的不同翻譯方向上進行微調(diào)。結(jié)果顯示，這種單一模型可以在英語和其他 21 種語言之間完成翻譯。

對英語以外的語言進行編碼時，XLS-R 有比較明顯的改進，這也是多語言語音表征方面的一大突破。模型在將印度尼西亞等低資源語種（low-resource language）翻譯為英語方面有顯著改進，BLEU 指標的平均準確率翻了一番，也是口語翻譯方面的一大進步。BLEU 指標的提升，意味著模型生成的自動翻譯結(jié)果與人工翻譯間有更高的相似性。

圖 | 自動語音翻譯在 BLEU 上的準確性，模型對高資源語言（例如法語、德語）、中等資源語言（例如俄語、葡萄牙語）和低資源語言（例如泰米爾語、土耳其語）的語音翻譯成英語時，準確性逐漸降低。

XLS-R 證明了通過跨語言預訓練可以提高模型在低資源語言上的性能。

在語音識別和將外語翻譯到英語的語言翻譯任務上的準確率提高了一倍以上。

FB表示，XLS-R 是用單一模型理解多種不同語言語音的關(guān)鍵一步，是在已知公共數(shù)據(jù)上進行多語言預訓練方面的最大努力。相信該研究將使機器學習應用更好地理解所有人類語言，使語音技術(shù)在全球范圍尤其是在服務欠缺地區(qū)中被使用。

未來，他們將繼續(xù)從少監(jiān)督學習中開發(fā)新方法來改進算法，并將其擴展到全球 7,000多 種語言上。

如果你想使用該模型，可以查看 Hugging Face 上有關(guān)微調(diào)模型的教程（

https://huggingface.co/blog/fine-tune-xlsr-wav2vec2）。