學(xué)貫中西(2):認(rèn)識AI的記憶(背誦)技能

0   前言

人類學(xué)習(xí)任何知識的過程中，多多少少都會依賴天生的記憶（memorization）能力。也就是俗稱的背誦能力。機(jī)器學(xué)習(xí)（ML）也是一樣，首先具有背誦的能力，進(jìn)而舉一反三，對一些新事物進(jìn)行預(yù)測和推論。這種舉一反三的能力，在AI 中稱為泛化（generalization）能力。

于是，本期先來看一下機(jī)器學(xué)習(xí)中的記憶（背誦）技能；下一期（《電子產(chǎn)品世界》2022 年第1 期）繼續(xù)說明泛化機(jī)能。

1   復(fù)習(xí)：五行的相生與相克關(guān)系

回憶一下，上一期（《電子產(chǎn)品世界》2021 年11 期）曾經(jīng)介紹了五行之間有“相生”關(guān)系，也有“相克”關(guān)系。

圖1

而且，在上一期也介紹了OHE（one-hot-encoding）編碼，表示五行的要素如下：

圖2

于是，在機(jī)器學(xué)習(xí)模型中，五行中的各元素有如下對應(yīng)關(guān)系：

金 ---- > [10000] 木 ---- > [01000]

水 ---- > [00100] 火 ---- > [00010]

土 ---- > [00001]

由于每一個編碼中都含有1 個1，其他都為0，所以稱為one-hot-encoding 編碼；簡稱OHE 編碼。

2   范例：把五行的相生關(guān)系記憶（背）起來

由于剛才提到的OHE 編碼中各有5 個值，例如：金（[10000]）與水（[00100]）之間具有相生關(guān)系。于是，各準(zhǔn)備5 個神經(jīng)元來表示它們，如圖3、圖4。

圖3

圖4

然后建立兩組神經(jīng)元之間的連結(jié)（connection），并且賦予1 個權(quán)重（值），如圖4 所示。這樣就準(zhǔn)備好了1 個簡單的神經(jīng)網(wǎng)絡(luò)（neural network）結(jié)構(gòu)，就能讓它來學(xué)習(xí)并記憶（背）五行元素之間的相生或相克關(guān)系。

接下來，就展開機(jī)器學(xué)習(xí)，來記住金（[10000]）與水（[00100]）之間的相生關(guān)系。于是權(quán)重（值）就會發(fā)生變化，如圖5 所示。

圖5

圖5 中的線條寬度表示權(quán)重（值）的大小。這樣就記住了金與水之間的相生關(guān)系了。那么，這個神經(jīng)網(wǎng)絡(luò)繼續(xù)學(xué)習(xí)更多相生關(guān)系，例如學(xué)習(xí)并記住水與木之間的相關(guān)系，如圖6 所示。

圖6

繼續(xù)努力學(xué)習(xí)，這個神經(jīng)網(wǎng)絡(luò)就記住了5 個元素之間的所有“相生”關(guān)系了，如圖7、圖8 所示。

圖7

圖8

于是，圖7 中的神經(jīng)網(wǎng)絡(luò)就記住了圖8 中的五行相生關(guān)系了。

3   范例：背誦之后，隨時可以“想起來”

一旦記住了五行元素之間的相生關(guān)系，就能隨時運(yùn)用這項(xiàng)記憶了，只要提到金，就立刻聯(lián)想到：金生水，如圖9 所示。

圖9

再如，只要提到土，就立刻聯(lián)想到：土生金，如圖10 所示。

圖10

以上說明了機(jī)器學(xué)習(xí)如何展現(xiàn)其記憶的技能。就如同人的背誦能力一般，可以記住許多事物的關(guān)系。通過回憶，我們常?？吹交蚵牭剑骸疤珮O生兩儀，兩儀生四象，四象生八卦?！边@里的“生”是這些詞匯的主要關(guān)系。同樣，機(jī)器學(xué)習(xí)也能迅速記住它們之間的關(guān)系。

4   實(shí)踐AI的學(xué)習(xí)和記憶：使用TensorFlow建模框架

現(xiàn)在，將五行的相生關(guān)系的數(shù)據(jù)放在Excel 畫面上，如圖11 所示。

圖11

其中的輸入值（X[]）與對應(yīng)的目標(biāo)值（T[]）之間是相生關(guān)系。這個X[] 和T[] 就是AI 模型的學(xué)習(xí)數(shù)據(jù)，又稱為訓(xùn)練數(shù)據(jù)（training data）。接著，請按下“學(xué)習(xí)”按鈕，就開始學(xué)習(xí)了，很快學(xué)習(xí)完畢，且記住了這些元素之間的相生關(guān)系。前面已經(jīng)說明，AI 模型使用權(quán)重（weight）來表達(dá)這些關(guān)系。從畫面上，可以看到模型訓(xùn)練之后的權(quán)重，如圖12 所示。

圖12

這里的權(quán)重（值）等于圖7 中連線的粗細(xì)程度，也就是代表神經(jīng)元之間的連結(jié)強(qiáng)度。這樣，AI 模型就記住了五行元素之間的相生關(guān)系。接下來，將這個Excel畫面上的相生關(guān)系改為相克關(guān)系，并按下“學(xué)習(xí)”按鈕，開始學(xué)習(xí)。學(xué)習(xí)完畢輸出權(quán)重，如圖13 所示。

圖13

同樣的學(xué)習(xí)和記憶方法，它通過兩組權(quán)重數(shù)據(jù)就能記住兩種不同的關(guān)系。以此類推，AI 模型可以和人們一樣學(xué)習(xí)和記憶各式各樣的事物、概念，以及它們之間的關(guān)聯(lián)性。也可以繼續(xù)學(xué)習(xí)更多的知識和智能，形成1個知識體系，例如俗稱的知識圖譜等。

一旦記住了五行元素之間的相生關(guān)系，就能隨時運(yùn)用這項(xiàng)記憶，只要提到金，就立刻聯(lián)想到：金生水；也會聯(lián)想到：金克木，如圖14 所示。

圖14

當(dāng)按下“回答”按鈕時，AI 模型就依據(jù)其記憶（通過權(quán)重）得出其連結(jié)強(qiáng)度，如圖14，如果問它：金的相生與相克的元素為何？它就會取出記憶中的權(quán)重計算得出：相生[0.1, 0.1, 0.4, 0.1, 0.1]，其最接近于[0,0,1,0,0]，意味著：金生水。而且還計算出：相克[0.1, 0.4, 0.1, 0.1,0.1]，其最接近于[0, 1, 0, 0, 0]，意味著：金克木。同樣，在圖14 中，AI 模型也回答了：火生土和火克金。

5   結(jié)束語

學(xué)習(xí)和記憶是AI 機(jī)器學(xué)習(xí)的基礎(chǔ)技能。當(dāng)它搭配分類（classification）技能，就可以對未曾見過的事物進(jìn)行歸類而舉一反三，對新事物進(jìn)行預(yù)測。這就是俗稱泛化的能力。下一期（注：《電子產(chǎn)品世界》2022 年第1期），將會繼續(xù)說明。

（本文來源于《電子產(chǎn)品世界》雜志2021年12月期）