NLPer，是時(shí)候重視因果推理了！這有一份楊笛一等撰寫的綜述

的因果推理。

科學(xué)研究的一個(gè)基本目標(biāo)是了解因果關(guān)系。然而，盡管因果在生活和社會(huì)科學(xué)中扮演了重要角色，它在 NLP 中卻沒(méi)有得到同樣重要的地位，后者通常更加重視預(yù)測(cè)任務(wù)。隨著因果推理和語(yǔ)言處理交叉研究領(lǐng)域的出現(xiàn)，二者之前的界限正變得模糊，但 NLP 中的因果推理研究仍然分散在各個(gè)領(lǐng)域，沒(méi)有統(tǒng)一的定義、基準(zhǔn)數(shù)據(jù)集和對(duì)剩余挑戰(zhàn)的清晰表述。

在這篇綜述論文中，來(lái)自以色列理工學(xué)院的 Amir Feder、佐治亞理工學(xué)院的楊笛一等十幾位研究者系統(tǒng)闡述了自然語(yǔ)言處理中的因果推理，為計(jì)算語(yǔ)言學(xué)界提供了一個(gè)統(tǒng)一的因果推理概述。具體來(lái)說(shuō)，他們介紹了估計(jì)因果效應(yīng)的統(tǒng)計(jì)學(xué)挑戰(zhàn)，包括文本作為 outcome、treatment 或解決干擾（confounding）的手段等情況。此外，他們還探討了因果推理的潛在用途，以提高 NLP 模型的性能、穩(wěn)健性、公平性和可解釋性。

論文鏈接：https://arxiv.org/pdf/2109.00725v1.pdf

為什么要重視 NLP 中的因果推理

很多科學(xué)領(lǐng)域?qū)τ趯⑽谋菊铣蓴?shù)據(jù)越來(lái)越感興趣。NLP 研究人員可能不熟悉這些領(lǐng)域的一個(gè)關(guān)鍵特性，即強(qiáng)調(diào)因果推理。例如，在推薦一種新的****物療法之前，臨床醫(yī)生想知道這種****物與疾病進(jìn)展之間的因果關(guān)系。因果推理涉及一個(gè)通過(guò)干預(yù)（intervention）創(chuàng)造的反事實(shí)世界的問(wèn)題：如果當(dāng)時(shí)給病人用了****，他們的病情會(huì)如何發(fā)展？正如下面將要解釋的，在觀察數(shù)據(jù)中，因果效應(yīng)并不等同于服用****物的患者與其觀察到的疾病進(jìn)展之間的相關(guān)性?，F(xiàn)在有關(guān)于使用傳統(tǒng)（非文本）數(shù)據(jù)集進(jìn)行有效推理的技術(shù)的深入文獻(xiàn)，但這些技術(shù)在自然語(yǔ)言數(shù)據(jù)中的應(yīng)用引發(fā)了新的挑戰(zhàn)。

一直以來(lái)，傳統(tǒng) NLP 應(yīng)用的研究目的都是作出準(zhǔn)確的預(yù)測(cè)：通常任何統(tǒng)計(jì)相關(guān)性都被認(rèn)為是可接受的，無(wú)論潛在的因果關(guān)系如何。然而，隨著 NLP 在高風(fēng)險(xiǎn)場(chǎng)景中的部署愈發(fā)普遍，我們不能依賴通常的假設(shè)，即訓(xùn)練和測(cè)試數(shù)據(jù)是同分布的。我們可能不會(huì)滿足于無(wú)法解釋的黑箱預(yù)測(cè)器。對(duì)于這兩個(gè)問(wèn)題，因果推理提供了一條有希望的道路：數(shù)據(jù)生成過(guò)程中因果結(jié)構(gòu)的領(lǐng)域知識(shí)可以提示歸納偏置，從而帶來(lái)更穩(wěn)健的預(yù)測(cè)器，而預(yù)測(cè)器本身的因果視角可以提供關(guān)于其內(nèi)部運(yùn)轉(zhuǎn)方式的新見(jiàn)解。

因此，這篇綜述的核心主張是：加深因果推理與 NLP 之間的聯(lián)系，可能對(duì)促進(jìn)社會(huì)科學(xué)和 NLP 研究具有重要意義。

這篇綜述寫了什么？

在論文中，研究者將因果推理與 NLP 之間的交集分為兩個(gè)不同的領(lǐng)域：1）從文本中估計(jì)因果關(guān)系；2）利用因果形式體系提高 NLP 方法的可靠性。他們利用兩個(gè)例子說(shuō)明了其中的區(qū)別。

例 1. 一個(gè)在線論壇允許其用戶在他們的個(gè)人資料中用一個(gè)圖標(biāo)表示性別。他們注意到，圖標(biāo)為「女性」的用戶所發(fā)的帖子得到的點(diǎn)贊量要少一些。為了評(píng)估這一政策（允許用戶在資料中提供性別信息），他們問(wèn)了一個(gè)問(wèn)題：被認(rèn)為是女性會(huì)降低帖子的受歡迎程度嗎？

例 1 中要探討的是「被認(rèn)為是女性（treatment）」和「帖子得到的點(diǎn)贊量（outcome）」之間是否存在因果關(guān)系。這里的反事實(shí)問(wèn)題就成了：如果我們操控了一個(gè)帖子的性別圖標(biāo)，它能得到多少個(gè)贊？

被觀察到的「被認(rèn)為是女性」和「帖子得到的點(diǎn)贊量」之間的關(guān)聯(lián)一般不符合因果效應(yīng)。這是因?yàn)?，出現(xiàn)這種關(guān)聯(lián)可能有兩方面原因：1）確實(shí)存在因果關(guān)系；2）由干擾因子引起的偽相關(guān)，即那些與 treatment 和 outcome 都有關(guān)系的變量。

在這個(gè)例子中，帖子的話題就可能是一個(gè)干擾因子：圖標(biāo)為女性的用戶所發(fā)的帖子可能更多的是關(guān)于某個(gè)話題的，而該話題本身就很難吸引人點(diǎn)贊。正如論文第二部分所言，由于干擾因子的存在，在沒(méi)有假設(shè)的情況下估計(jì)因果關(guān)系是不可能的。

例 1 強(qiáng)調(diào)的是這樣一種設(shè)置：文本編碼了因果效應(yīng)的相關(guān)干擾因子。「文本作為一種干擾因子（text as a confounder）」是我們可以用文本數(shù)據(jù)作出的眾多因果推理之一。文本數(shù)據(jù)還可以編碼 outcome 或感興趣的 treatment。例如，我們可能想知道被感知到的性別如何影響到一個(gè)帖子所收到的回復(fù)的情緒（text as outcome），或者一種寫作風(fēng)格如何影響到一個(gè)帖子所收到的贊（text as treatment）？

NLP 有助于因果推理。文本數(shù)據(jù)的因果推理涉及幾個(gè)不同于典型因果推理的挑戰(zhàn)：文本是高維的，需要復(fù)雜的建模來(lái)衡量語(yǔ)義上有意義的因素，如主題，而且需要仔細(xì)思考，以形式化因果問(wèn)題對(duì)應(yīng)的干預(yù)。從主題模型到上下文嵌入，NLP 在建模語(yǔ)言方面的發(fā)展為從文本中提取所需信息以估計(jì)因果效應(yīng)提供了有前景的方法。然而，我們需要新的假設(shè)，以確保 NLP 方法的使用能夠帶來(lái)有效的因果推理。作者在論文的第三部分討論了從文本中估計(jì)因果效應(yīng)的現(xiàn)有研究，并指出了其中的挑戰(zhàn)和機(jī)遇。

例 2. 一家醫(yī)學(xué)研究中心想要構(gòu)建一個(gè)分類器，用于從病人醫(yī)療記錄的文本敘述中檢測(cè)臨床診斷。這些記錄匯總在多個(gè)醫(yī)院站點(diǎn)，目標(biāo)臨床狀況的頻率和敘述的寫作風(fēng)格都有所不同。當(dāng)分類器應(yīng)用于訓(xùn)練集之外的站點(diǎn)的記錄時(shí)，它的準(zhǔn)確率會(huì)下降。事后分析表明，這個(gè)分類器在看起來(lái)不相關(guān)的特性上投入了很高的權(quán)重，比如格式標(biāo)記。

和例 1 一樣，例 2 也涉及到一個(gè)反事實(shí)問(wèn)題：如果我們改變醫(yī)院站點(diǎn)，同時(shí)保持真實(shí)的臨床狀態(tài)不變，分類器的預(yù)測(cè)是否會(huì)改變？我們希望分類器依靠那些表達(dá)臨床狀況的短語(yǔ)來(lái)作出判斷，而不是寫作風(fēng)格。然而，在訓(xùn)練數(shù)據(jù)中，由于站點(diǎn)成了混淆變量，臨床狀況和寫作風(fēng)格之間就有了虛假的相關(guān)性：例如，某個(gè)站點(diǎn)可能由于它自身的位置或特殊性而更容易遇到目標(biāo)臨床條件，也可能使用獨(dú)特的文本特征，如在每個(gè)敘述的開頭使用樣板文本。在訓(xùn)練集中，這些特征將影響標(biāo)簽的預(yù)測(cè)，但它們不太可能在新站點(diǎn)的部署場(chǎng)景中有用。在本例中，醫(yī)院站點(diǎn)就像一個(gè)干擾因子：它在文本的某些特征和預(yù)測(cè)目標(biāo)之間建立了虛假的相關(guān)性。

例 2 顯示了缺乏穩(wěn)健性是如何降低 NLP 方法可靠性的。一個(gè)相關(guān)的問(wèn)題是，NLP 系統(tǒng)通常是黑盒，這讓我們很難理解人類可解釋的文本特征如何導(dǎo)致觀測(cè)到的預(yù)測(cè)。在這種設(shè)置中，我們想知道文本的某些部分（例如一些 token 序列）是否導(dǎo)致了 NLP 方法的輸出（例如分類預(yù)測(cè)）。

因果推理可以幫助 NLP。為了解決 NLP 方法的穩(wěn)健性和可解釋性問(wèn)題，我們需要新的標(biāo)準(zhǔn)來(lái)學(xué)習(xí)不只會(huì)利用相關(guān)性的模型。例如，我們希望預(yù)測(cè)器在我們對(duì)本文稍作更改時(shí)保持不變，例如在保持 ground truth 標(biāo)簽不變的情況下更改格式。

利用因果來(lái)發(fā)展新的準(zhǔn)則，為建立可靠、可解釋的自然語(yǔ)言處理方法提供服務(wù)，這是相當(dāng)有希望的。在論文的第 4 部分，研究者概述了現(xiàn)有的研究，并列舉了使用因果推理來(lái)促進(jìn)自然語(yǔ)言處理研究的挑戰(zhàn)和機(jī)遇。

以下是該論文的完整目錄：

更多細(xì)節(jié)請(qǐng)參考論文。