深度學(xué)習(xí)基礎(chǔ)概念筆記

我們都知道，函數(shù)某個位置可導(dǎo)，那么就可以確定這個點的斜率。要找到局部最小值，可以根據(jù)這個點的斜率移動 w。如根據(jù)此時斜率的值我們可以確定 w 應(yīng)該向右移動一段距離。

此時移動 w 的距離稱為步長。步長的選取很關(guān)鍵，如果步長過長，那么每次 w 偏移過大，永遠(yuǎn)都找不到真正的最小值。而如果步長選取過小，那么收斂會變得很慢，而且有可能在中間某段平滑處停下來，找到的也不是真正的最小值。而步長怎么選擇呢?其實比較坑爹，某些時候有經(jīng)驗值，大部分時候則只能自己調(diào)整去試驗。

在學(xué)習(xí)的過程中，遇到的最常見的一個問題是走不動了。比如在下圖中。從 A 點走到 B 點，B 點由于斜率平滑，慢慢走到了 C 點，這時候可能 C 點斜率是平滑了，那么 w 將無法繼續(xù)往下走，永遠(yuǎn)停留在 C 點!這樣得到的神經(jīng)網(wǎng)絡(luò)的誤差 L 顯然不是最小的，權(quán)值 w 也不是最佳的。

因此，在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中，常用的做法是模擬物理世界引入一個動量球。假設(shè)每次的移動看成 是一個動量球的移動。在移動過程中，動量球先從最高點往下走，雖然下載下來后斜率減少，但是由于動量球?qū)⒁苿酉聛淼闹亓菽苻D(zhuǎn)變的動能，它會繼續(xù)往下走，從而移動過平緩區(qū)。當(dāng)動量球到達(dá)某個局部最低點的時候，動量球會依靠自己的動能繼續(xù)滾動，設(shè)法尋找到下一個局部最低點。當(dāng)然，動量球不是萬能的，它也可能會遇到山坡上不去最終滑下來停留在某個局部最小值(并不是真正的最小值)。但是動量球的引入，大大增加了學(xué)習(xí)過程的魯棒性，擴寬了局部最小值的尋找范圍。

實際上，借助理解神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過程，我們會更加理解為什么深度越高的網(wǎng)絡(luò)不一定就越好。對于深度越高的神經(jīng)網(wǎng)絡(luò)，平滑區(qū)會越來越多，局部最小點也會越來越多。沒有合適的算法，很容易就陷入某個局部最小值里面去，而這個最小值可能還不如深度更淺的神經(jīng)網(wǎng)絡(luò)獲得的局部最小值小。也就是說，神經(jīng)網(wǎng)絡(luò)復(fù)雜之后，對架構(gòu)和算法的要求大大加高。

卷積

如果對卷積這個數(shù)學(xué)概念還沒有了解，可以先看知乎這里通俗的解釋。

怎樣通俗易懂地解釋卷積?

如果沒有做過圖像處理，還需要先看看卷積核，感受一下它的神奇。

圖像卷積與濾波的一些知識點

以圖片的卷積為例，深度學(xué)習(xí)中的卷積計算就是使用卷積核遍歷一張圖片的過程。

根據(jù)對于邊緣的處理不同，卷積分為相同填充和有效填充兩種方法。相同填充中，超出邊界的部分使用補充 0 的方法，使得輸入和輸出的圖像尺寸相同。而在有效填充中，則不使用補充 0 的方法，因此輸出的尺寸會比輸入尺寸小一些。

例 1：3*3 的卷積核在 5*5 的圖像上進(jìn)行有效填充的卷積過程

例 2. 兩個 3*3*3 卷積核在 5*5 圖像上進(jìn)行相同填充卷積過程。動圖

圖像有 r，g，b 三個通道。這里使用卷積核也分為 3 個通道分別進(jìn)行卷積運算

池化

池化是卷積神經(jīng)網(wǎng)絡(luò)中用到的一種運算。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層后面一般是池化層。先進(jìn)行卷積運算，再進(jìn)行池化運算。

池化層在神經(jīng)網(wǎng)絡(luò)中起到的是降低參數(shù)和計算量，引入不變形的作用。

池化常用的是兩種，一種是 Avy Pooling，一種是 Max Pooling。下圖是 Max Pooling 的示意圖，可以看到分別找的是 2*2 矩陣中的最大值，Avy Pooling 則是將矩陣所有值加起來，求平均值。