小小的大腦，大大的智慧——仿昆蟲智能為通用AI帶來(lái)的新思路（1）

本文從視覺(jué)、追蹤和導(dǎo)航三個(gè)方面入手，以近年來(lái)的新應(yīng)用為例，帶領(lǐng)讀者一窺機(jī)器人與昆蟲之間奇妙的化學(xué)反應(yīng)。

很多工程師的夢(mèng)想都是創(chuàng)造出能夠在復(fù)雜的環(huán)境下穩(wěn)定勝任一系列任務(wù)——比如行走和導(dǎo)航——的機(jī)器人。為了實(shí)現(xiàn)這一目標(biāo)，早期的研究者們?cè)噲D將機(jī)器人身處的環(huán)境抽象化，然后根據(jù)其所可能應(yīng)對(duì)的情況和任務(wù)制定一系列規(guī)則，并賦予機(jī)器人一定的推理能力。在這段期間, 全世界范圍內(nèi)也許最成功的機(jī)器人是名叫赫伯特的機(jī)器人。 

赫伯特的前身是由西屋電氣工程師 Roy J. Wensley 開發(fā)用來(lái)遠(yuǎn)程調(diào)用變電系統(tǒng)的機(jī)器人 Televox，僅由一組控制單元組成。Televox 本質(zhì)上是一個(gè)聲控系統(tǒng)，為了實(shí)現(xiàn)遠(yuǎn)程遙控的目的，該控制單元的一部分放在變電站另一部分則放置于調(diào)度員處。調(diào)度員可以利用 Televox 將指令轉(zhuǎn)為不同的聲音頻率發(fā)送到另一端，經(jīng)過(guò)解碼后再執(zhí)行相應(yīng)操作。這一發(fā)明成功后，Wensley 進(jìn)一步開發(fā)，并將 Televox 包裝為了一個(gè)有“臉”、身體和身體的機(jī)器人，也就是赫伯特機(jī)器人。

圖：世界上最早的機(jī)器人之一：Herbert Televox 和其開發(fā)者 Roy J. Wensley

source: https://medium.com/robotics-today/first-humanoid-robot-ever-87df3ee079b0

用今天的眼光來(lái)看，赫伯特也許完全算不上智能，因?yàn)樗饕强恳?guī)則驅(qū)動(dòng)的，它的行為與人也并不相似。以當(dāng)時(shí)最為人津津樂(lè)道的赫伯特作為家庭助手為例，操作人必須按照相對(duì)固定的腳本緩慢的向赫伯特傳達(dá)命令，有時(shí)還必須按下特定的按鈕來(lái)進(jìn)行選擇或確認(rèn)。因?yàn)楹詹夭⒉荒苷嬲斫獠僮魅说恼Z(yǔ)音，它只能識(shí)別一系列已經(jīng)寫入系統(tǒng)的指令——還是在固定的音節(jié)上。可以說(shuō)，赫伯特只能在其系統(tǒng)內(nèi)規(guī)定的規(guī)則范圍內(nèi)工作，這與今天大行其道的聯(lián)結(jié)主義 (connectionism) 是不同的。

聯(lián)結(jié)主義， 又稱仿生主義，認(rèn)為心理現(xiàn)象可以用簡(jiǎn)單并一致的網(wǎng)絡(luò)——如神經(jīng)網(wǎng)絡(luò)——來(lái)描述，不同的行為可以通過(guò)這些基礎(chǔ)結(jié)構(gòu)之間復(fù)雜的互動(dòng)實(shí)現(xiàn)，這與人腦工作的方式相似。因此，聯(lián)結(jié)主義追求用簡(jiǎn)潔的方式構(gòu)建有通用性的解法，而規(guī)則驅(qū)動(dòng)的算法則是 case by case，有很大的可能會(huì)隨著環(huán)境的復(fù)雜度增加而變得過(guò)于龐大。

顯然，隨著擬人機(jī)器人的發(fā)展，不少學(xué)者也轉(zhuǎn)向了其他方向來(lái)試圖開發(fā)更類人、具有更高智能的機(jī)器人。一些研究者將目光投向自然界，試圖從動(dòng)物——比如昆蟲等結(jié)構(gòu)比較簡(jiǎn)單的動(dòng)物——身上利用聯(lián)接主義進(jìn)行研究、學(xué)習(xí)和模仿。這不難理解，從昆蟲的神經(jīng)科學(xué)研究上看，昆蟲的神經(jīng)系統(tǒng)比大部分動(dòng)物都簡(jiǎn)單很多，使對(duì)昆蟲的大腦建模相對(duì)來(lái)說(shuō)簡(jiǎn)單。但另一方面，許多昆蟲的大腦在大小、重量上都不值一提，有些甚至還“視力其差”，但這并不影響昆蟲高效、穩(wěn)定的完成覓食和協(xié)作等復(fù)雜的行為。此外，盡管昆蟲的身體類型、行為、棲息地和生活方式種類繁多，但各個(gè)物種的大腦組織之間仍存在許多令人驚訝的一致性，這表明它們可能是有效，高效和通用的解決方案。[3] 

本文從視覺(jué)、追蹤和導(dǎo)航三個(gè)方面入手，以近年來(lái)的新應(yīng)用為例，帶領(lǐng)讀者一窺機(jī)器人與昆蟲之間奇妙的化學(xué)反應(yīng)。

一、視覺(jué)場(chǎng)景識(shí)別 - A Hybrid Compact Neural Architecture for Visual Place Recognition

在視覺(jué)場(chǎng)景識(shí)別領(lǐng)域，流行的算法大致可以分為兩類：以深度學(xué)習(xí)為代表的更多依賴于計(jì)算機(jī)科學(xué)的模型，和利用大腦的特性建模的更多依賴于神經(jīng)科學(xué)的模型。本文作者則旨在結(jié)合兩類研究的優(yōu)點(diǎn)，實(shí)現(xiàn)新的緊湊而高性能的模型。

視覺(jué)位置識(shí)別（VPR）是指僅基于圖像所提供的視覺(jué)線索，而不使用任何其他信息，來(lái)識(shí)別圖像中描繪的位置的任務(wù)[6]。對(duì)于在現(xiàn)實(shí)環(huán)境中長(zhǎng)時(shí)間運(yùn)行的任何機(jī)器人系統(tǒng)或自動(dòng)駕駛車輛而言，可靠地執(zhí)行視覺(jué)位置識(shí)別（VPR）都是一項(xiàng)挑戰(zhàn)。因?yàn)橥粋€(gè)地方因?yàn)闀r(shí)間，如白天 / 夜晚或天氣 / 季節(jié)周期，的變化可能看起來(lái)完全不相似，而多個(gè)地方在某些特定的情況下反而可能看起來(lái)十分相似。另外一個(gè)問(wèn)題是目前流行的預(yù)訓(xùn)練模型大多是在單個(gè)圖像上訓(xùn)練的，雖然這些模型也取得了很好的成績(jī)，但是期通常會(huì)忽略連續(xù)圖像內(nèi)所蘊(yùn)含的時(shí)間信息。

而昆蟲等生物卻能夠非常有效地從低分辨率數(shù)據(jù)中提取有關(guān)其環(huán)境的信息，它們能夠在各種環(huán)境條件下（不同光照、對(duì)比度等）強(qiáng)大地執(zhí)行視覺(jué)處理任務(wù)。一般認(rèn)為，昆蟲對(duì)位置的識(shí)別主要是通過(guò)蕈形體（mushroom bodies）實(shí)現(xiàn)的。蕈形體是昆蟲或其他節(jié)肢動(dòng)物和一些環(huán)節(jié)動(dòng)物如沙蠶腦中的一對(duì)結(jié)構(gòu)[7]，其名字來(lái)自于其大致半球形的花萼，這個(gè)花突通過(guò)中樞神經(jīng)束或花序梗與大腦的其余部分相連。下圖標(biāo)亮了果蠅大腦中的蕈形體。蕈形體的結(jié)構(gòu)可以簡(jiǎn)化為多層感知器（MLP），它涉及蜜蜂和螞蟻的嗅覺(jué)和視覺(jué)信息的分類、學(xué)習(xí)和識(shí)別。這些昆蟲的感官接受到經(jīng)過(guò)密集編碼和高度處理的輸入，并傳遞給蕈形體，后者則將該信息稀疏地連接到蕈形體內(nèi)的大量?jī)?nèi)在神經(jīng)元。

圖：果蠅大腦中的蕈形體

圖源：維基百科 https://en.wikipedia.org/wiki/Mushroom_bodies

根據(jù)果蠅嗅覺(jué)神經(jīng)回路的工作機(jī)制，作者提出了僅包含兩層全連接層的 FlyNet 算法（FLA）。圖像在預(yù)處理后將以 10% 的采樣率被輸入到第一層網(wǎng)絡(luò)當(dāng)中。當(dāng)?shù)诙尤B接層的輸出其編碼的表示后，僅有 50% 的輸出值將被設(shè)置被 1，其他則被設(shè)置為 0，以獲得一個(gè)簡(jiǎn)潔的二進(jìn)制特征表示。該網(wǎng)絡(luò)的具體結(jié)構(gòu)如下圖所示：

圖：FNA 算法圖示

圖源：Chancan, M., Hernandez-Nunez, L., Narendra, A., Barron, A. B., & Milford, M. (2020). A hybrid compact neural architecture for visual place recognition. IEEE Robotics and Automation Letters, 5(2), 993-1000. https://doi.org/10.1109/LRA.2020.2967324

為了處理圖像序列中的時(shí)間維度，作者在 FlyNet 上疊加了一個(gè)一維連續(xù)吸引子神經(jīng)網(wǎng)絡(luò)（continuous attractor neural network, CANN）。CANN 也是一個(gè)典型的仿生智能例子——一般認(rèn)為大腦在執(zhí)行一些計(jì)算任務(wù)時(shí)會(huì)采用特定結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，CANN 就是基于此而開發(fā)的。CANN 由吸引子組成，它們之間有局部連接。此外，網(wǎng)絡(luò)內(nèi)有興奮性與抑制性的兩種活動(dòng)，從而保證網(wǎng)絡(luò)即能夠形成有意義的空間活動(dòng)，又不會(huì)在正反饋的疊加下爆炸。因此一個(gè)吸引子可以使用興奮性和抑制性連接來(lái)激發(fā)或抑制自身以及附近的吸引子。CANN 在數(shù)學(xué)表示和結(jié)構(gòu)上具有良好的特性，如空間平移不變性 [8]。

圖：（A）朝向編碼的一維 CANN 的圖示（B）一維 CANN 的穩(wěn)定狀態(tài)，每個(gè)吸引子對(duì)應(yīng)一個(gè)高斯波包活動(dòng)狀態(tài)。

圖源：Wu, S., Wong, K. Y., Fung, C. C., Mi, Y., & Zhang, W. (2016). Continuous Attractor Neural Networks: Candidate of a Canonical Model for Neural Information Representation. F1000Research, 5, F1000 Faculty Rev-156. https://doi.org/10.12688/f1000research.7387.1

在本文中，由 FlyNet 輸出的二進(jìn)制圖像特征將被輸入到 CANN 中，如下圖所示，以達(dá)到對(duì) FlyNet 的輸出進(jìn)行時(shí)間濾波的目的。

圖：FlyNet+CANN 混合神經(jīng)網(wǎng)絡(luò)架構(gòu)

圖源：Chancan, M., Hernandez-Nunez, L., Narendra, A., Barron, A. B., & Milford, M. (2020). A hybrid compact neural architecture for visual place recognition. IEEE Robotics and Automation Letters, 5(2), 993-1000. https://doi.org/10.1109/LRA.2020.2967324

作者在 Nordland 和 Oxford RobotCar 數(shù)據(jù)集上 FlyNet + CANN 以及目前的 SOTA 算法進(jìn)行了對(duì)比，指標(biāo)為 AUC （area under curve）。該數(shù)據(jù)集內(nèi)的圖像大多為 1000*1000 以上的較高分辨率圖像，但在測(cè)試  FlyNet + CANN 時(shí)作者將其一概下采樣為 32*64 的灰度圖像?？紤]到分辨率的大幅下降，這個(gè)信息損失還是很驚人的。個(gè)別 SOTA 算法使用了 VGG16 等對(duì)圖像分別率有要求的結(jié)構(gòu)，因而作者沒(méi)有將圖像也圖樣下采樣到 32*64， 但有將最終輸出的特征進(jìn)行下采樣到 FlyNet 輸出特征一樣的維度。 

下圖顯示了 FlyNet + CANN 和 SOTA 算法的對(duì)比結(jié)構(gòu)。在 Nordland 數(shù)據(jù)集上，MPF 表現(xiàn)更好，AUC 達(dá)到了驚人的 100%，能夠同時(shí)在秋冬轉(zhuǎn)換下準(zhǔn)確的識(shí)別所有位置。FlyNet + CANN 和 SeqSLAM 的表現(xiàn)相似，并且在冬季和夏季的數(shù)據(jù)上的表現(xiàn)也比較平衡?；谡Z(yǔ)義的 LoST-X 的精度則在冬季數(shù)據(jù)上大幅下降，導(dǎo)致了最低的 AUC。 

與 Nordland 不同，Oxford RobotCar 數(shù)據(jù)集帶來(lái)了日夜轉(zhuǎn)換的挑戰(zhàn)。下圖中可以看到所有模型在夜景數(shù)據(jù)上的 AUC 都有或多或少的下降，SeqSLAM 的 AUC 更是降到幾乎為零。在這一數(shù)據(jù)集上，F(xiàn)lyNet + CANN 取得了最高的 AUC 并且在夜景上的表現(xiàn)也沒(méi)有過(guò)多下降。

圖：（上）：Precision Recall 曲線 （左）Nordland （右）Oxford RobotCar

         （下）：AUC （左）Nordland （右）Oxford RobotCar

圖源：Chancan, M., Hernandez-Nunez, L., Narendra, A., Barron, A. B., & Milford, M. (2020). A hybrid compact neural architecture for visual place recognition. IEEE Robotics and Automation Letters, 5(2), 993-1000. https://doi.org/10.1109/LRA.2020.2967324

當(dāng)然，作者使用基于仿生研究的模型結(jié)構(gòu)的一大目的是獲得能耗較低但運(yùn)行速度夠快的模型，根據(jù)作者對(duì) 1000 張圖片的平均位置識(shí)別時(shí)間的統(tǒng)計(jì)，F(xiàn)lyNet + CANN 可以達(dá)到每秒 16.66 幀的查詢速度，比排名第二快模型還要快 1.5 倍以上。這一點(diǎn)為仿生神經(jīng)網(wǎng)絡(luò)對(duì)比 CNN 提供了強(qiáng)大的競(jìng)爭(zhēng)力——即便目前的相關(guān)研究也很活躍，但 CNN 的能耗和推理速度仍然為在移動(dòng)端部署模型帶來(lái)了不小的挑戰(zhàn)。而基于昆蟲大腦的 FlyNet + CANN 等神經(jīng)網(wǎng)絡(luò)，可以將模型參數(shù)控制在百萬(wàn)以內(nèi)，并且沒(méi)有在模型表現(xiàn)上落后太多。此外，F(xiàn)lyNet + CANN 也繼承了昆蟲的另一特性——在低分辨率下進(jìn)行計(jì)算，從計(jì)算角度直接保證了模型的實(shí)時(shí)推理的可行性。

二、追蹤 - An autonomous robot inspired by insect neurophysiology pursues moving features in natural environments

計(jì)算機(jī)視覺(jué)和機(jī)器人應(yīng)用往往需要在移動(dòng)平臺(tái)上實(shí)現(xiàn)強(qiáng)大而有效的目標(biāo)跟蹤算法，但就目前的人工視覺(jué)系統(tǒng)的表現(xiàn)而言，在雜亂的背景下檢測(cè)和跟蹤移動(dòng)物體仍是最具挑戰(zhàn)性的任務(wù)之一，更遑論對(duì)實(shí)時(shí)系統(tǒng)的部署。而昆蟲的視覺(jué)系統(tǒng)，則為研究者們提供了一個(gè)理想的視覺(jué)追蹤系統(tǒng)的完美例子。許多飛行昆蟲，例如蜻蜓，都能夠檢測(cè)、選擇和追捕微小的獵物或同種動(dòng)物。更令人咋舌的是，昆蟲僅有限的視覺(jué)分辨率（?0.5°）、尺寸相對(duì)較小的大腦（小于 2 mm 寬）和重量輕和低功率的神經(jīng)元結(jié)構(gòu)用于處理數(shù)據(jù)。

本文作者們?cè)谥皵?shù)年的研究中已經(jīng)通過(guò)細(xì)胞內(nèi)電生理技術(shù)來(lái)記錄昆蟲視神經(jīng)葉內(nèi)的神經(jīng)元活動(dòng)，并確定了一組與目標(biāo)的檢測(cè)和追蹤相關(guān)的神經(jīng)元，作者將其命名為“小目標(biāo)運(yùn)動(dòng)檢測(cè)器”（small target motion detectors, STMD)?；谶@些生理數(shù)據(jù)，作者開發(fā)了用于局部目標(biāo)識(shí)別的非線性“基礎(chǔ) STMD”（Elementary- STMD， ESTMD）模型（Wiederman 等人，2008），并在 VR 模擬環(huán)境中對(duì)該追蹤系統(tǒng)進(jìn)行了測(cè)試。在本篇論文中，作者主要實(shí)現(xiàn)了整套追蹤模型在機(jī)器人平臺(tái)上的部署，并在室內(nèi)和室外環(huán)境對(duì)該機(jī)器人進(jìn)行了詳盡的測(cè)試。

下圖中，作者給出了整個(gè)系統(tǒng)的工作流程，所有功能在 Husky A200（Clearpath RoboticsTM）平臺(tái)上實(shí)現(xiàn)。機(jī)器人身上裝有一個(gè) Blackfly 相機(jī)，用于獲取機(jī)器人所處環(huán)境的視覺(jué)輸入。相機(jī)輸出用作昆蟲啟發(fā)的目標(biāo)跟蹤模型的輸入，該模型包括：

1）圖像預(yù)處理（early visual processing）：該模塊主要用于模擬飛行昆蟲中光學(xué)，感光體和大型單極細(xì)胞（large monopolar cells ， LMC）的響應(yīng)特性。由于飛行昆蟲的光學(xué)器件受到小平面透鏡內(nèi)的衍射和其他形式的光學(xué)干涉的限制，針對(duì)輸入的圖像，作者首先使用高斯低通濾波器對(duì)這種光學(xué)模糊進(jìn)行建模，這與典型的日間活動(dòng)昆蟲的光學(xué)采樣相似（Stavenga，2003 年）。為在算法的敏銳度和計(jì)算效率之間取得平衡，作者還以 1° 的間隔對(duì)捕獲的圖像進(jìn)行二次采樣。另外，作者選擇僅處理 RGB 圖像的綠色通道來(lái)模擬飛行昆蟲運(yùn)動(dòng)路徑的綠色光譜敏感性。接下來(lái)，這一模塊中還有時(shí)間共同濾波和空間高通濾波，以進(jìn)一步去除多余的信息。

2）目標(biāo)匹配濾波（Target Matched Filtering，ESTMD 階段）：這一模塊主要模擬的是昆蟲第二視神經(jīng)網(wǎng)（2nd optic neuropil）內(nèi)的 Rectifying transient cells（RTC）。RTC 對(duì)光增量（ON 通道）或減量（OFF 通道）具有獨(dú)立的適應(yīng)性，在實(shí)際實(shí)現(xiàn)中，作者通過(guò)半波整流（half-wave rectification， HWR1）對(duì) ON 和 OFF 通道的分離進(jìn)行建模。接下來(lái)，生成的 ON 和 OFF 的通道數(shù)據(jù)需要通過(guò)快速適應(yīng)模塊，其中適應(yīng)狀態(tài)由切換其時(shí)間常數(shù)的非線性濾波器確定。當(dāng)輸入增加時(shí)，時(shí)間常數(shù)為“快”（3 毫秒），減少時(shí)則為“慢”（70 毫秒）。此外，作者使用了強(qiáng)烈的空間中心包圍對(duì)抗（spatial centre-surround antagonism），使得每個(gè)通道周圍都抑制了其最近的鄰居。時(shí)間適應(yīng)減少了對(duì)背景紋理的響應(yīng)，而強(qiáng)烈的空間中心包圍對(duì)抗則傳達(dá)了對(duì)局部邊緣特征的選擇性。在此輸出上，作者添加了第二個(gè)半波整流，用于消除負(fù)值。到了這一步，在前進(jìn)方向上，小目標(biāo)將會(huì)首先表現(xiàn)為亮度的升高（或下降），經(jīng)過(guò)短暫的延遲后才出現(xiàn)相應(yīng)的下降（或升高）。為了充分利用這一特征，作者每個(gè)通道的輸出與相對(duì)通道的延遲版本（下圖標(biāo)記為低通濾波器（LP_ESTMD））相乘，然后對(duì)輸出求和。這能夠賦予最終系統(tǒng)足夠的目標(biāo)靈敏度，而與目標(biāo)相對(duì)于背景的對(duì)比極性無(wú)關(guān)。

3）ESTMD 輸出融合（Integration and facilitation of ESTMD output）：在這一模塊中，處理后的信息將被用于兩個(gè)方面。一方面，機(jī)器人需要根據(jù)輸入的信息推斷追蹤目標(biāo)的位置。輸入這一模塊的數(shù)據(jù)首先需要通過(guò)雙曲正切 “激活” 函數(shù) S（x），以保證所有數(shù)據(jù)值都在于 0 和 1 之間，其中的最大值將被認(rèn)為是當(dāng)前位置估計(jì) r(t)。另一方面，由于目標(biāo)追蹤是一個(gè)連續(xù)的過(guò)程，將此前的信息連續(xù)不斷的與最新的視覺(jué)信息整合起來(lái)是必須的。為了模擬昆蟲更新信息的融合機(jī)制（facilitation mechanism），研究者們可以將當(dāng)前的位置根據(jù)目標(biāo)速度矢量進(jìn)行相應(yīng)的偏移——以作為對(duì)目標(biāo)未來(lái)位置的估算——然后加權(quán)更新系統(tǒng)地圖（Nordstr?m 等人，2011; Dunbier 等人，2011; 2012）。在本文中，通過(guò)將當(dāng)前位置估計(jì)（r（t））與由 Hassenstein-Reichardt 基本運(yùn)動(dòng)檢測(cè)器提供的目標(biāo)速度矢量（v（t））的估計(jì)值相乘，并乘以采樣時(shí)間，可以計(jì)算出預(yù)測(cè)目標(biāo)位置（r’(t+1)）。接下來(lái)，作者使用 2D 高斯核 FG（r'）來(lái)實(shí)現(xiàn)軌跡估計(jì)和實(shí)際觀察到的數(shù)據(jù)之間的融合。文中使用的 2D 高斯核 FG（r'）相當(dāng)于昆蟲神經(jīng)元的感受野之間有 50％的重疊。該輸出上將被疊加一個(gè)低通濾波器（LP_Fac），處理后的信息將會(huì)被用于與下一次的輸入信息進(jìn)行融合，以提供目標(biāo)在此前的運(yùn)動(dòng)軌跡。融合的強(qiáng)度由時(shí)間常數(shù) τf 控制，其可以決定 r(t) 周圍的位置將被增強(qiáng)多久。

4） 掃視追蹤算法（Saccadic Pursuit Algorithm）：在飛行過(guò)程中，昆蟲會(huì)繞頭移動(dòng)（saccadic head movements），這是一種 “急速” 轉(zhuǎn)彎——即短而快速的偏航轉(zhuǎn)彎以改變注視方向。為了模擬這一行為，在成功的從視覺(jué)線索中識(shí)別目標(biāo)并確定其位置后，追蹤算法需要決定相應(yīng)的前進(jìn)速度，并保持目標(biāo)始終在自己的視野中心內(nèi)。當(dāng) ESTMD 輸出的位置估計(jì)從視場(chǎng)中心移出超過(guò) 5° 時(shí)，機(jī)器人會(huì)重新掃視自己的視野并計(jì)算需要調(diào)整的角度，來(lái)模擬昆蟲行為中看到的這種繞頭移動(dòng)。使目標(biāo)保持在視野內(nèi)的特定角度位置。

圖：目標(biāo)追蹤的閉環(huán)流程

圖源：Bagheri, Zahra & Cazzolato, Ben & Grainger, Steven & O'Carroll, David & Wiederman, Steven. (2017). An autonomous robot inspired by insect neurophysiology pursues moving features in natural environments. Journal of Neural Engineering. 14. 046030. 10.1088/1741-2552/aa776c.