多源信息融合的無人機(jī)海上搜救系統(tǒng)的研究與實(shí)現(xiàn)

作者 顧禹¹ 申家齊² 徐家晨¹ 王天真¹ 1. 上海海事大學(xué) 物流工程學(xué)院(上海201306) 2.上海海事大學(xué) 信息工程學(xué)院(上海201306) 

　　摘要：介紹了一種基于四旋翼飛行器簡單、快速地搜尋海上落水者的系統(tǒng)。該系統(tǒng)由三部分組成：海事救援無人機(jī)、智能可穿戴設(shè)備和監(jiān)控中心。海事救援無人機(jī)和智能可穿戴設(shè)備均采用Cortex-M4內(nèi)核的XMC4700處理器。當(dāng)人員落水時(shí)，智能可穿戴設(shè)備會(huì)不斷向外界發(fā)送佩戴者的位置信息和生命體征。海事救援無人機(jī)能按照預(yù)定軌跡飛行，同時(shí)利用機(jī)載攝像頭實(shí)時(shí)搜索落水者并將圖像傳送至監(jiān)控中心。無人機(jī)還能在飛行的過程中不斷搜索附近是否有智能可穿戴設(shè)備的信號(hào)，若有，則將所得信息發(fā)送至監(jiān)控中心同時(shí)飛向該位置并在人的指揮下投擲下救生物品。監(jiān)控中心集中顯示已知落水者和無人機(jī)的所有信息，并提供快捷的按鈕命令供救援人員實(shí)現(xiàn)集中控制。

　　關(guān)鍵詞：四旋翼;飛行器;海上搜救;處理器

　　*2017-2018年度“英飛凌杯”全國高校無人機(jī)創(chuàng)新設(shè)計(jì)應(yīng)用大賽“三等獎(jiǎng)’’

　　0引言

　　四旋翼飛行器具有體積小、重量輕、靈活度高、成本低等特點(diǎn)，適用多種空間場(chǎng)所，可以在任何小平臺(tái)上靈活起降。它方便攜帶，低空飛行性好，可在復(fù)雜環(huán)境下快速執(zhí)行搜索、投遞任務(wù)?；谒男盹w行器的海上搜救系統(tǒng)能有效快速地對(duì)大片海域進(jìn)行搜尋，因此能有效減少搜救時(shí)間，提高搜救效率，提升落水者的生還幾率，有著廣闊的應(yīng)用前景。該技術(shù)得到很多專家們的高度關(guān)注，成為當(dāng)前該領(lǐng)域下最活躍的研究方向之一。

　　1系統(tǒng)整體方案

　　系統(tǒng)整體功能框圖如圖1所示。該系統(tǒng)由三部分組成：海事救援無人機(jī)、智能可穿戴設(shè)備(以智能監(jiān)測(cè)手環(huán)為例)和監(jiān)控中心。智能監(jiān)測(cè)手環(huán)上配有GPS模塊、心率監(jiān)測(cè)模塊、體溫監(jiān)測(cè)模塊和通信模塊，實(shí)現(xiàn)不斷向外界發(fā)送位置坐標(biāo)和生命體征的功能。四旋翼飛行器借助DJIN3飛行控制器實(shí)現(xiàn)無人機(jī)的平穩(wěn)飛行;無人機(jī)以Infineon(英飛凌)公司XMC4700單片機(jī)為核心，由圖像識(shí)別模塊、通信模塊、投擲模塊等幾部分構(gòu)成。飛行過程中，圖像識(shí)別模塊不斷判斷圖像中是否有落水人員，并將結(jié)果發(fā)送給XMC4700單片機(jī)，XMC4700根據(jù)所得圖像信息、手環(huán)信息和接收到的監(jiān)控中心命令控制DJIN3實(shí)現(xiàn)自主飛行。當(dāng)無人機(jī)發(fā)現(xiàn)落水者時(shí)，監(jiān)控中心大屏幕上會(huì)用紅框?qū)⒙渌呖虺?，救援人員確認(rèn)后向無人機(jī)發(fā)出投擲救援物品的命令，無人機(jī)飛行到落水者上空投擲下救生物品。同時(shí)，監(jiān)控中心還會(huì)根據(jù)無人機(jī)發(fā)回的落水者生命體征等信息，自動(dòng)與醫(yī)療中心聯(lián)系。

　　2無人機(jī)硬件系統(tǒng)設(shè)計(jì)

　　四旋翼飛行器以XMC4700為主控制器，該芯片是一款基于ARMCortex-M4內(nèi)核的工業(yè)微控制器，主頻可達(dá)120MHz，為四旋翼對(duì)指令響應(yīng)的即時(shí)性提供了保障。為提高在較大重量負(fù)載時(shí)四旋翼的穩(wěn)定性與抗風(fēng)性，電子調(diào)速器使用了Infineon的iMOTIONIRMCF183，利用其MCE電機(jī)控制引擎，可以為電機(jī)設(shè)定詳細(xì)的參數(shù)和輸出曲線，保證電機(jī)在環(huán)境惡劣時(shí)能夠快速反應(yīng)?；趯?duì)四旋翼體積、續(xù)航時(shí)間的考量，氣壓計(jì)采用了InfineonDSP310，特點(diǎn)是精度高、耗電量低、體積小巧、易用安裝。障礙物的距離測(cè)量采用了InfineonDistance2GO，這是一款24GHz雷達(dá)傳感器，相比超聲波、紅外等測(cè)距方案，雷達(dá)測(cè)量更精準(zhǔn)，還可以捕獲目標(biāo)的移動(dòng)速度、角度和方向，優(yōu)化無人機(jī)的運(yùn)動(dòng)決策。

　　3無人機(jī)搜救過程

　　四旋翼飛行器控制系統(tǒng)框圖如圖2所示。

　　3.1總體方案

　　四旋翼機(jī)載處理器XMC4700通過UART從DJIN3飛行控制器獲取飛行數(shù)據(jù)，XMC4700通過UART與雷達(dá)Distance2go模塊通信獲取障礙物信息，通過I2C與氣壓計(jì)DPS310通信獲取氣壓信息并轉(zhuǎn)換為高度信息，通過UART與圖像處理單元通信獲取落水者位置信息通過無線串口獲取監(jiān)控中心指令和智能手環(huán)發(fā)出的落水者信息。XMC4700在進(jìn)行數(shù)據(jù)融合后，通過UART向DJIN3發(fā)送飛行指令，DJIN3通過iMotion電調(diào)控制電機(jī)使飛機(jī)按照指令飛行。當(dāng)無人機(jī)接收到監(jiān)控中心的釋放救援物品指令時(shí)通過PWM控制投擲器上的舵機(jī)，從而打開插銷使救援物品落下。

　　3.2像數(shù)據(jù)處理部分

　　硬件部分可以使用機(jī)載計(jì)算平臺(tái)進(jìn)行計(jì)算，也可以將圖像通過5.8GHz圖傳模塊傳輸至地面站上位機(jī)進(jìn)行分析，起到冗余備份的功能。兩種方式分析過程總體上一致。

　　在搜救的第一階段，無人機(jī)在較高高度飛行，對(duì)海面進(jìn)行大面積粗略搜索。在這一階段，我們使用OpenCV自帶的人上半身Haar特征分類器對(duì)于圖像進(jìn)行分析，該分類器使用Haar-like特征進(jìn)行檢測(cè)，使用積分圖(IntegralImage)對(duì)Haarlike特征求值進(jìn)行加速，使用AdaBoost算法對(duì)分類效果進(jìn)行提升，使用篩選時(shí)級(jí)聯(lián)把分類器級(jí)聯(lián)到一起以提高準(zhǔn)確率。該分類器可幫助我們查找圖像源中符合人上半身頭肩的圖像特征，并標(biāo)注其位置，結(jié)合無人機(jī)當(dāng)前GPS坐標(biāo)可計(jì)算出通過視覺方式識(shí)別出的落水者坐標(biāo)。該坐標(biāo)用于與落水者手環(huán)發(fā)回的坐標(biāo)進(jìn)行比對(duì)，當(dāng)兩者匹配，即可進(jìn)入搜救第二階段。

　　在搜救的第二階段，無人機(jī)降低飛行高度，在第一階段確定的坐標(biāo)附近區(qū)域進(jìn)行低空搜救。此時(shí)對(duì)于攝像頭采集到的圖像使用OpenCV自帶的人臉Haar特征分類器對(duì)于圖像進(jìn)行分析，并將圖像中的人臉分離出來。再將人臉圖像與PCA方法訓(xùn)練的人臉庫中的模型比較，輸出數(shù)據(jù)庫中匹配度最高的人員編號(hào)。該結(jié)果隨后會(huì)與溺水人員手環(huán)發(fā)回的設(shè)備id進(jìn)行比對(duì)以確定溺水者身份。其中，本系統(tǒng)主要運(yùn)用了特征臉方法(Eigenface)對(duì)于人臉進(jìn)行識(shí)別，特征臉方法是從圖5智能監(jiān)測(cè)手環(huán)系統(tǒng)框圖圖6上位機(jī)界面PCA導(dǎo)出的一種人臉識(shí)別和描述技術(shù)。就是將包含人臉的圖像區(qū)域看作是一種隨機(jī)向量，使用PCA算法通過求數(shù)據(jù)集的協(xié)方差矩陣最大的特征值對(duì)應(yīng)的特征向量，從而找到數(shù)據(jù)方差最大的幾個(gè)方向，達(dá)到對(duì)數(shù)據(jù)降維的效果，并找到數(shù)據(jù)中最明顯的特征，即主成分。PCA算法的流程如圖3所示。經(jīng)過多重的確認(rèn)之后，救援系統(tǒng)基本上可以確定溺水人員的身份，并會(huì)將信息比對(duì)融合結(jié)果回傳至監(jiān)控中心主控制終端，經(jīng)過人工審核之后無人機(jī)便會(huì)飛向溺水人員坐標(biāo)投擲救援物品。

　　4智能監(jiān)測(cè)手環(huán)的制作

　　在該系統(tǒng)中智能監(jiān)測(cè)手環(huán)用以XMC4700開發(fā)板為核心的簡易裝置來代替，其系統(tǒng)框圖如圖3所示。u-blox公司的6MGPS模塊通過UART將數(shù)據(jù)包發(fā)送到XMC4700開發(fā)板上，XMC4700對(duì)數(shù)據(jù)包解包之后得到落水者的經(jīng)緯度數(shù)據(jù)，再結(jié)合心率數(shù)據(jù)和體溫?cái)?shù)據(jù)一同通過無線串口向外發(fā)送，直至無人機(jī)接收到。

　　5監(jiān)控中心上位機(jī)的制作

　　VisualStudio是一個(gè)功能強(qiáng)大的開發(fā)工具集，可以快速開發(fā)各種應(yīng)用。該項(xiàng)目通過在VisualStudio中新建一個(gè)Windows窗體應(yīng)用(.NETFramework)項(xiàng)目并利用其工具箱便可快速開發(fā)出如圖4所示的上位機(jī)。上位機(jī)中內(nèi)置落水者搜索功能。通過調(diào)用EmguCV庫或AForge庫可以實(shí)現(xiàn)基于哈爾模型的人臉檢測(cè)和基于PCA的人臉識(shí)別功能。

　　參考文獻(xiàn)：

　　[1]Lienhart R,Maydt J.An Extended Set of Haar-like Features for Rapid Object Detection [C]

　　Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference.

　　[2]Papageorgiou C P, Oren M, Poggio T. A General Framework for Object Detection[C]Computer Vision, 1998. Sixth International Conference

　　[3]Viola P,Jones M. An extended set of Haar-like features for rapid object detection[C]. Image

　　Processing. 2002. Proceedings. 2002 International Conference

　　[4]Oren M,Papageorgiou C,Sinha P,et al. Pedestrian detection using wavelet templates[C]. In

　　Computer Vision and Pattern Recognition, pages 193-99, 1997.

　　[5]Infineon.XMC4700 XMC4800 Reference Manual[R/OL].(2016-07).https://www.infineon.com/dgdl/Infineon-ReferenceManual_XMC4700_XMC4800-UM-v01_03-EN.pdf?fileId=5546d462518ffd850151904eb90c0044

　　[5]OPTIGA Trust SLS 10ERE Product Brief [R],2016-07

　　[6]TLI5012B E1000 [EB/OL].(2018-02-14).https://www.infineon.com/cms/en/product/sensor/magnetic-position-sensor/angle-sensor/tli5012b-e1000/

　　[7]TLI5012B E1000 data sheet[R/OL].(2018-02-4).https://www.infineon.com/dgdl/InfineonTLI5012B%20E1000-DS-v01_01-EN.pdf?fileId=5546d4624fb7fef2014ff423fcd077a8

　　[8]DPS310[EB/OL].(206-0905).https://www.infineon.com/cms/en/product/sensor/barometricpressure-sensor-for-consumer-applications/dps310/#ispnTab1

　　[9]DPS310 - Digital Pressure Sensor data sheet[R/OL].(2016-09-05).https://www.infineon.com/dgdl/Infineon-DPS310-DS-v01_00-EN.pdf?fileId=5546d462576f34750157750826c42242

      [10]DJI Onboard SDK文檔[EB/OL].(2018-02-02)https://developer.dji.com/cn/onboard-sdk/documentation/introduction/homepage.html

本文來源于中國科技期刊《電子產(chǎn)品世界》2019年第1期第79頁，歡迎您寫論文時(shí)引用，并注明出處