對(duì)全連接層的通俗理解

如果你是搞 AI 算法的同學(xué)，相信你在很多地方都見(jiàn)過(guò)全連接層。

無(wú)論是卷積神經(jīng)網(wǎng)絡(luò)（CNN），還是自然語(yǔ)言處理（NLP）網(wǎng)絡(luò)，都能看到全連接層的身影。

那么到底什么是全連接層，這一層在神經(jīng)網(wǎng)絡(luò)中有什么作用，以及它和矩陣乘法、卷積運(yùn)算有什么關(guān)系呢？

1、什么是全連接層

全連接層（Fully Connected Layer），有時(shí)也被叫作密集層（Dense Layer）。

之所以這么叫，是因?yàn)檫@一層的每個(gè)神經(jīng)元都與前一層的每個(gè)神經(jīng)元連接在一起，形成了一個(gè)全連接的網(wǎng)絡(luò)結(jié)構(gòu)。

全連接結(jié)構(gòu)：圖源網(wǎng)絡(luò)

這種全連接的方式與卷積和池化不同，卷積和池化是通過(guò)固定大小的卷積核或池化窗口在輸入上移動(dòng)，以便有效地捕捉局部特征。

因此，"全連接"強(qiáng)調(diào)了這一層中的神經(jīng)元與前一層中的所有神經(jīng)元之間的連接，與卷積和池化層的局部連接方式形成對(duì)比。

2、全連接有什么作用

既然是所有神經(jīng)元的全部連接，說(shuō)明它可以捕獲到前面所有的特征，經(jīng)過(guò)運(yùn)算就可以更加有效、完備的融合所有特征。

使得神經(jīng)網(wǎng)絡(luò)最終看到的特征是個(gè)全局特征（一只貓），而不是局部特征（眼睛或者鼻子）。

有一個(gè)螞蟻開(kāi)會(huì)的比喻來(lái)比喻全連接層，比較形象。

假設(shè)你是一只螞蟻，你的任務(wù)是找小面包。這時(shí)候你的視野比較窄，只能看到很小一片區(qū)域，也就只能看到一個(gè)大面包的部分。

當(dāng)你找到一片面包之后，你根本不知道你找到的是不是全部的面包，所以你們所有的螞蟻開(kāi)了個(gè)會(huì)。

你們互相把自己找到的面包的信息分享出來(lái)，通過(guò)開(kāi)會(huì)分享，最終你們確認(rèn)，哦，你們找到了一個(gè)大面包。

上面說(shuō)的螞蟻開(kāi)會(huì)的過(guò)程，就是全連接，這也是為什么，全連接需要把所有的節(jié)點(diǎn)都連接起來(lái)，盡可能的完成所有節(jié)點(diǎn)的信息共享。

說(shuō)到這，大概就能理解全連接的作用了吧，那就是可以完成全部特征的融合。

3、全連接和卷積以及矩陣乘的關(guān)系

單純從數(shù)學(xué)運(yùn)算上來(lái)看，全連接就是矩陣運(yùn)算，關(guān)于矩陣運(yùn)算的本質(zhì)，這里說(shuō)的更清晰一些：5分鐘搞懂矩陣乘法的本質(zhì)。

全連接和卷積的區(qū)別，除了上面說(shuō)的前者是全局視野，卷積是局部視野之外，還有一個(gè)很重要的聯(lián)系。

那就是如果卷積的卷積核變?yōu)?x1，那么相當(dāng)于卷積核的每一個(gè)像素都與輸入圖片的每一個(gè)像素相關(guān)聯(lián)，此時(shí)1x1的卷積，也就變成了矩陣乘了。

全連接一般放在一個(gè)神經(jīng)網(wǎng)絡(luò)的最后，用來(lái)做分類。

假設(shè)神經(jīng)網(wǎng)絡(luò)前面很多層學(xué)到了1000個(gè)特征，那么最后一層全連接就可以把這1000個(gè)特征進(jìn)行全部融合，融合之后就可以知道這張圖片是一只狗。

借用“圖靈的貓”對(duì)這個(gè)算法的解釋：全連接層在整個(gè)卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用。

如果說(shuō)卷積層、池化層和激活函數(shù)層等操作是將原始數(shù)據(jù)映射到隱層特征空間的話，全連接層則起到將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間的作用。