IJCAI 2021 | 系統(tǒng)調研168篇文獻，領域泛化首篇綜述問世

以下文章來源于王晉東不在家 ，作者王晉東

編者按：近年來，遷移學習中的領域泛化正引起越來越多的關注，其在眾多領域都得到了廣泛應用。在 IJCAI 2021 上，微軟亞洲研究院研究員王晉東發(fā)表了該領域的第一篇綜述論文，梳理總結了領域泛化方向的發(fā)展現狀與未來發(fā)展方向。

領域泛化（Domain Generalization, DG）是近幾年非常熱門的一個研究方向。它研究的問題是從若干個具有不同數據分布的數據集（領域）中學習一個泛化能力強的模型，以便在未知（Unseen）的測試集上取得較好的效果。

本文是介紹領域泛化的第一篇綜述文章《Generalizing to Unseen Domains: A Survey on Domain Generalization》。該論文一共調研了168篇文獻，其中直接與領域泛化相關的有90篇。文章從問題定義、理論分析、方法總結、數據集和應用介紹、未來研究方向等幾大方面對領域泛化問題進行了詳細的概括和總結。

該論文的精簡版已被國際人工智能頂會 IJCAI 2021 錄用。

文章鏈接：

https://arxiv.org/abs/2103.03097

PDF：https://arxiv.org/pdf/2103.03097

作者單位：微軟亞洲研究院、中央財經大學

問題定義

領域泛化問題與領域自適應（Domain Adaptation, DA）最大的不同：領域自適應在訓練中，源域和目標域數據均能訪問（無監(jiān)督領域自適應中則只有無標記的目標域數據）；而在領域泛化問題中，我們只能訪問若干個用于訓練的源域數據，測試數據是不能訪問的。毫無疑問，領域泛化是比領域自適應更具有挑戰(zhàn)性和實用性的場景：畢竟我們都喜歡「一次訓練、到處應用」的足夠泛化的機器學習模型。

例如，在下圖中，領域自適應問題假定訓練集和測試集都可以在訓練過程中被訪問，而領域泛化問題中則只有訓練集。

圖1：PACS數據集中領域泛化示例。訓練集數據由簡筆畫、卡通畫、藝術畫作構成的圖片。領域泛化的目的是學習一個在未知目標域中表現良好的泛化模型。

領域泛化問題的示意圖如下所示，其形式化定義如下：

圖2：領域泛化示意圖

領域泛化不僅與領域自適應問題有相似之處，其與多任務學習、遷移學習、元學習、終身學習等，都有一些類似和差異之處。我們在下表中對它們的差異進行了總結。

表1：領域泛化與其它相關學習范式對比

理論

我們從領域自適應理論出發(fā)，分析影響不同領域學習結果的因素，如 圖片-divergence、圖片-divergence 等，繼而過渡到領域泛化問題中，分析影響模型泛化到新領域的因素。從理論上總結了領域泛化問題的重要結果，為今后進行相關研究指明了理論方向。

詳細結果請參考原文第 3 部分。

方法

領域泛化方法是我們的核心。我們將已有的領域泛化方法按照數據操作、表征學習、學習策略分為三大方面，如下圖所示。

圖3：領域泛化方法分類

其中：

數據操作，指的是通過對數據的增強和變化使訓練數據得到增強。這一類包括數據增強和數據生成兩大部分。

表征學習，指的是學習領域不變特征（Domain-invariant representation learning）以使得模型對不同領域都能進行很好地適配。領域不變特征學習方面主要包括四大部分：核方法、顯式特征對齊、領域對抗訓練、以及不變風險最小化（Invariant Risk Minimiation, IRM）。特征解耦與領域不變特征學習的目標一致、但學習方法不一致，我們將其單獨作為一大類進行介紹。

學習策略，指的是將機器學習中成熟的學習模式引入多領域訓練中使得模型泛化性更強。這一部分主要包括基于集成學習和元學習的方法。同時，我們還會介紹其他方法，例如自監(jiān)督方法在領域泛化中的應用。

在文章中，我們對每大類方法都進行了詳細地介紹與總結。

應用與數據集

領域泛化問題在眾多領域都得到了廣泛應用。大多數已有工作偏重于設計更好的領域泛化方法，因此，其往往都在圖像分類數據上進行評估。除此之外，領域泛化方法還被應用于行人再識別（Re-ID）、語義分割、街景識別、視頻理解等計算機視覺的主流任務中。

特別地，領域泛化方法被廣泛應用于健康醫(yī)療領域，例如帕金森病識別、組織分割、X 光胸片識別、以及震顫檢測等。

在自然語言處理領域，領域泛化被用于情感分析、語義分割、網頁分類等應用。

領域泛化也在強化學習、自動控制、故障檢測、語音檢測、物理學、腦機接口等領域中得到了廣泛應用。

下圖展示了領域泛化問題中流行的標準數據集。

表2：領域泛化8個主流數據集

未來挑戰(zhàn)

我們對領域泛化進行了以下展望：

連續(xù)領域泛化：一個系統(tǒng)應具有連續(xù)進行泛化和適配的能力，目前只是離線狀態(tài)的一次應用。

新類別的領域泛化：目前我們假定所有的領域具有相同的類別，未來需要擴展到不同類別中、乃至新類別中。

可解釋的領域泛化：盡管基于解耦的方法在可解釋性上取得了進步，但是，其他大類的方法的可解釋性仍然不強。未來需要對它們的可解釋性進行進一步研究。

大規(guī)模預訓練與領域泛化：眾所周知，大規(guī)模預訓練（如 BERT）已成為主流，那么在不同問題的在規(guī)模預訓練中，我們如何利用領域泛化方法來進一步提高這些預訓練模型的泛化能力？

領域泛化的評價：盡管有工作在經驗上說明已有的領域泛化方法的效果并沒有大大領先于經驗風險最小化，但其只是基于最簡單的分類任務。我們認為領域泛化需要在特定的評測，例如行人再識別中才能最大限度地發(fā)揮其作用。未來，我們需要找到更適合領域泛化問題的應用場景。