Adaline神經(jīng)網(wǎng)絡(luò)隨機(jī)逼近LMS算法的仿真研究

該方法與前一算法區(qū)別在于：用ε(k)X(k)代替E[ε(k)X(k)]，從而避免統(tǒng)計(jì)計(jì)算的困難，但同時(shí)使加權(quán)矢量的變化趨向隨機(jī)性；步幅α變成一個(gè)隨時(shí)序k變化的量，可以證明，當(dāng)α(k)滿足以下條件時(shí)，學(xué)習(xí)是收斂的：α(k)是時(shí)序k∞ ∞
的非增函數(shù)；在這樣k=0 k=0的條件下，W(k)隨著k增大而趨向W*的概率為1。

4 隨機(jī)逼近LMS算法仿真
按以下步驟對隨機(jī)逼近算法編制程序進(jìn)行仿真：
(1)對圖1所示的正弦波和三角波分別進(jìn)行64點(diǎn)均勻采樣，組成64維輸入樣本矢量。

(2)W(0)選擇服從(0，1)之間均勻分布的隨機(jī)矢量，初始步長參數(shù)α選為0．03，選定誤差的平方臨界值ε02(k)=10-5，將X0，X1交替重復(fù)地送入采用線性函數(shù)的神經(jīng)元，反復(fù)訓(xùn)練，直至ε2(k)≤ε02(k)，這樣可以得到誤差平方和學(xué)習(xí)次數(shù)之間的關(guān)系，如圖2所示。
從圖2中可以看出．當(dāng)α=0．03時(shí)，學(xué)習(xí)是收斂的，學(xué)習(xí)次數(shù)k=1 147，學(xué)習(xí)完成時(shí)ε(k)=3．2x10-3，其平方小于所確定的ε02(k)。把X0，X1重新送入神經(jīng)元，計(jì)算后得到實(shí)際輸出值Y0=0．003 9，Y1=0．999 9，這和預(yù)期輸出值相當(dāng)接近，從而較好完成了X0，X1的分類。
(3)設(shè)置不同的步幅α，分別計(jì)算并繪制ε2(k)變化曲線，觀察ε2(k)的收斂性、收斂速度與α的關(guān)系，試驗(yàn)結(jié)果如圖3所示。從圖3中可以看出，當(dāng)α 很小時(shí)，學(xué)習(xí)收斂，學(xué)習(xí)速度很慢，且收斂的穩(wěn)定性較好；當(dāng)α增大，學(xué)習(xí)仍保持收斂，但學(xué)習(xí)速度加快，同時(shí)穩(wěn)定性降低；當(dāng)α=0．08時(shí)，學(xué)習(xí)已不再收斂。