在線極限學(xué)習(xí)機(jī)及其在圖像識別中的應(yīng)用

　　摘要：針對海量圖像數(shù)據(jù)的識別問題，本文提出了在線極限學(xué)習(xí)機(jī)(online optimized ELM，OP-ELM)。OP-ELM以單隱層前饋神經(jīng)網(wǎng)絡(luò)(single hidden layer feed forward networks，SLFNs)為基礎(chǔ)，固定了隱含節(jié)點(diǎn)數(shù)以及節(jié)點(diǎn)參數(shù)，在在線增量學(xué)習(xí)過程中綜合考慮歷史數(shù)據(jù)和新數(shù)據(jù)，產(chǎn)生全局唯一的最優(yōu)解，降低了計(jì)算資源的需求，繼承了極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)學(xué)習(xí)速度快泛化性能好的優(yōu)點(diǎn)。因此非常適合于海量圖像數(shù)據(jù)的在線學(xué)習(xí)問題。在公開圖像數(shù)據(jù)集Caltech4和Scene13上的實(shí)驗(yàn)表明，本文提出的方法取得了與前沿離線識別方法性能相當(dāng)?shù)淖R別效果，與基于SVM的在線學(xué)習(xí)方法LA-SVM相比，在參數(shù)規(guī)模、參數(shù)調(diào)節(jié)以及學(xué)習(xí)算法效率方面具有明顯優(yōu)勢。

　　引言

　　隨著科學(xué)技術(shù)尤其是多媒體技術(shù)的進(jìn)步與發(fā)展，人們生活中觸手可及的圖像數(shù)據(jù)呈現(xiàn)出爆炸式的增長趨勢。然而，由于圖像底層特征和高層語義之間的語義鴻溝，目前圖像內(nèi)容分析和識別技術(shù)的發(fā)展遠(yuǎn)遠(yuǎn)落后于圖像數(shù)據(jù)的增長速度。面對如此海量的圖像數(shù)據(jù)，現(xiàn)有的圖像分類模型和方法在計(jì)算效率和泛化能力方面面臨嚴(yán)峻挑戰(zhàn)。

　　雖然神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、核學(xué)習(xí)等學(xué)習(xí)已在圖像分析領(lǐng)域取得了廣泛的應(yīng)用，但這些方法的訓(xùn)練算法復(fù)雜度較大，學(xué)習(xí)時(shí)間過長，并不適合于大型數(shù)據(jù)集。在單隱層前饋神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，我們提出了在線極限學(xué)習(xí)機(jī)(Online Optimized Extreme Learning Machine，OP-ELM)。OP-ELM以單隱層前饋神經(jīng)網(wǎng)絡(luò)SLFNs為基礎(chǔ)，繼承了極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)[3]不需要調(diào)整網(wǎng)絡(luò)的輸入權(quán)值以及隱元的偏置，學(xué)習(xí)速度快泛化性能好的優(yōu)點(diǎn);另一方面，OP-ELM通過將歷史數(shù)據(jù)知識固化到隱含節(jié)點(diǎn)輸出矩陣中，降低了計(jì)算資源的要求，綜合考慮歷史數(shù)據(jù)和新數(shù)據(jù)，產(chǎn)生全局唯一的最優(yōu)解。

　　本文后續(xù)內(nèi)容的組織結(jié)構(gòu)如下：第一章介紹圖像分類問題中，極限學(xué)習(xí)機(jī)的模型及方法的背景知識;第二章給出本文提出的在線極限學(xué)習(xí)機(jī)模型及訓(xùn)練方法;第三章是實(shí)驗(yàn)設(shè)定及實(shí)驗(yàn)結(jié)果分析;第四章對本文進(jìn)行了小結(jié)。