NLP類別不均衡問題之loss大集合

來源：PaperWeekly

所有的 Loss 實(shí)踐代碼在這里：https://github.com/shuxinyin/NLP-Loss-Pytorch

數(shù)據(jù)不均衡問題也可以說是一個(gè)長尾問題，但長尾那部分?jǐn)?shù)據(jù)往往是重要且不能被忽略的，它不僅僅是分類標(biāo)簽下樣本數(shù)量的不平衡，實(shí)質(zhì)上也是難易樣本的不平衡。 解決不均衡問題一般從兩方面入手： 

• 數(shù)據(jù)層面：重采樣，使得參與迭代計(jì)算的數(shù)據(jù)是均衡的；

• 模型層面：重加權(quán)，修改模型的 loss，在 loss 計(jì)算上，加大對少樣本的 loss 獎勵。

1. 數(shù)據(jù)層面的重采樣

關(guān)于數(shù)據(jù)層面的重采樣，方式都是通過采樣，重新構(gòu)造數(shù)據(jù)分布，使得數(shù)據(jù)平衡。一般常用的有三種：

• 欠采樣；

• 過采樣；

• SMOTE。 

1. 欠采樣：指某類別下數(shù)據(jù)較多，則只采取部分?jǐn)?shù)據(jù)，直接拋棄一些數(shù)據(jù)，這種方式太簡單粗暴，擬合出來的模型的偏差大，泛化性能較差；
2. 過采樣：這種方式與欠采樣相反，某類別下數(shù)據(jù)較少，進(jìn)行重復(fù)采樣，達(dá)到數(shù)據(jù)平衡。因?yàn)檫@些少的數(shù)據(jù)反復(fù)迭代計(jì)算，會使得模型產(chǎn)生過擬合的現(xiàn)象。 
3. SMOTE：一種近鄰插值，可以降低過擬合風(fēng)險(xiǎn)，但它是適用于回歸預(yù)測場景下，而 NLP 任務(wù)一般是離散的情況。 
這幾種方法單獨(dú)使用會或多或少造成數(shù)據(jù)的浪費(fèi)或重，一般會與 ensemble 方式結(jié)合使用，sample 多份數(shù)據(jù)，訓(xùn)練出多個(gè)模型，最后綜合。 
但以上幾種方式在工程實(shí)踐中往往是少用的，一是因?yàn)閿?shù)真實(shí)據(jù)珍貴，二也是 ensemble 的方式部署中資源消耗大，沒法接受。因此，就集中看下重加權(quán) loss 改進(jìn)的部分。

2. 模型層面的重加權(quán)

重加權(quán)主要指的是在 loss 計(jì)算階段，通過設(shè)計(jì) loss，調(diào)整類別的權(quán)值對 loss 的貢獻(xiàn)。比較經(jīng)典的 loss 改進(jìn)應(yīng)該是 Focal Loss, GHM Loss, Dice Loss。

2.1 Focal Loss
Focal Loss 是一種解決不平衡問題的經(jīng)典 loss，基本思想就是把注意力集中于那些預(yù)測不準(zhǔn)的樣本上。 
何為預(yù)測不準(zhǔn)的樣本？比如正樣本的預(yù)測值小于 0.5 的，或者負(fù)樣本的預(yù)測值大于 0.5 的樣本。再簡單點(diǎn)，就是當(dāng)正樣本預(yù)測值>0.5 時(shí)，在計(jì)算該樣本的 loss 時(shí)，給它一個(gè)小的權(quán)值，反之，正樣本預(yù)測值<0.5 時(shí)，給它一個(gè)大的權(quán)值。同理，對負(fù)樣本時(shí)也是如此。 
以二分類為例，一般采用交叉熵作為模型損失。

其中  是真實(shí)標(biāo)簽， 是預(yù)測值，在此基礎(chǔ)又出來了一個(gè)權(quán)重交叉熵，即用一個(gè)超參去緩解上述這種影響，也就是下式。

def __init__(self, num_class, alpha=None, gamma=2, reduction='mean'):
    super(MultiFocalLoss, self).__init__()
    self.gamma = gamma
    ......

    def forward(self, logit, target):
        alpha = self.alpha.to(logit.device)
        prob = F.softmax(logit, dim=1)

        ori_shp = target.shape
        target = target.view(-1, 1)

        prob = prob.gather(1, target).view(-1) + self.smooth  # avoid nan
        logpt = torch.log(prob)

        alpha_weight = alpha[target.squeeze().long()]
        loss = -alpha_weight * torch.pow(torch.sub(1.0, prob), self.gamma) * logpt

        if self.reduction == 'mean':
            loss = loss.mean()

        return loss

上面的 Focal Loss 注重了對 hard example 的學(xué)習(xí)，但不是所有的 hard example 都值得關(guān)注，有一些 hard example 很可能是離群點(diǎn)，這種離群點(diǎn)當(dāng)然是不應(yīng)該讓模型關(guān)注的。

class GHM_Loss(nn.Module):
    def __init__(self, bins, alpha):
        super(GHM_Loss, self).__init__()
        self._bins = bins
        self._alpha = alpha
        self._last_bin_count = None

    def _g2bin(self, g):
        # split to n bins
        return torch.floor(g * (self._bins - 0.0001)).long()


    def forward(self, x, target):
        # compute value g
        g = torch.abs(self._custom_loss_grad(x, target)).detach()

        bin_idx = self._g2bin(g)

        bin_count = torch.zeros((self._bins))
        for i in range(self._bins):
            # 計(jì)算落入bins的梯度模長數(shù)量
            bin_count[i] = (bin_idx == i).sum().item()

        N = (x.size(0) * x.size(1))

        if self._last_bin_count is None:
            self._last_bin_count = bin_count
        else:
            bin_count = self._alpha * self._last_bin_count + (1 - self._alpha) * bin_count
            self._last_bin_count = bin_count

        nonempty_bins = (bin_count > 0).sum().item()

        gd = bin_count * nonempty_bins
        gd = torch.clamp(gd, min=0.0001)
        beta = N / gd  # 計(jì)算好樣本的gd值

        # 借由binary_cross_entropy_with_logits,gd值當(dāng)作參數(shù)傳入
        return F.binary_cross_entropy_with_logits(x, target, weight=beta[bin_idx])

class DSCLoss(torch.nn.Module):

    def __init__(self, alpha: float = 1.0, smooth: float = 1.0, reduction: str = "mean"):
        super().__init__()
        self.alpha = alpha
        self.smooth = smooth
        self.reduction = reduction

    def forward(self, logits, targets):
        probs = torch.softmax(logits, dim=1)
        probs = torch.gather(probs, dim=1, index=targets.unsqueeze(1))

        probs_with_factor = ((1 - probs) ** self.alpha) * probs
        loss = 1 - (2 * probs_with_factor + self.smooth) / (probs_with_factor + 1 + self.smooth)

        if self.reduction == "mean":
            return loss.mean()

總結(jié)

本文主要討論了類別不均衡問題的解決辦法，可分為數(shù)據(jù)層面的重采樣及模型 loss 方面的改進(jìn)，如 focal loss, dice loss 等。最后說一下實(shí)踐下來的經(jīng)驗(yàn)，由于不同數(shù)據(jù)集的數(shù)據(jù)分布特點(diǎn)各有不同，dice loss 以及 GHM loss 會出現(xiàn)些抖動、不穩(wěn)定的情況。當(dāng)不想挨個(gè)實(shí)踐的時(shí)候，首推 focal loss，dice loss。 

以上所有 Loss 的代碼僅為邏輯參考，完整的代碼及相關(guān)參考論文都在：

https://github.com/shuxinyin/NLP-Loss-Pytorch