面向野外環(huán)境下的多模態(tài)融合算法

前言：想要寫(xiě)出一篇引人入勝的文章？我們特意為您整理了面向野外環(huán)境下的多模態(tài)融合算法范文，希望能給你帶來(lái)靈感和參考，敬請(qǐng)閱讀。

關(guān)鍵詞：野外監(jiān)控網(wǎng)；目標(biāo)識(shí)別；深度學(xué)習(xí)；多模態(tài)融合；特征

提取在國(guó)內(nèi)，通常將部署于野外環(huán)境中進(jìn)行監(jiān)控和偵察任務(wù)的無(wú)線傳感器網(wǎng)絡(luò)稱(chēng)為野外監(jiān)控傳感網(wǎng)。野外監(jiān)控傳感網(wǎng)通常由聲響、震動(dòng)、圖像、被動(dòng)紅外等傳感器組成。采集到的信號(hào)，在經(jīng)過(guò)處理后，不但可以檢測(cè)出該區(qū)域內(nèi)人員、車(chē)輛等目標(biāo)的入侵，還可以獲得其方向、速度、隊(duì)伍規(guī)模、武器裝備等重要情報(bào)，最后通過(guò)無(wú)線通信設(shè)備將這些信息傳送到控制中心，即可實(shí)現(xiàn)對(duì)區(qū)域的監(jiān)控和偵察。野外傳感網(wǎng)中的傳感器種類(lèi)多種多樣，僅僅依靠單一傳感器采集的信息很難達(dá)到可信的判決結(jié)果，例如震動(dòng)傳感器易受地質(zhì)條件的影響、聲陣列對(duì)環(huán)境噪聲非常敏感、圖像傳感器無(wú)法解決遮擋情況下的目標(biāo)檢測(cè)和識(shí)別等等。研究表明，單模態(tài)目標(biāo)識(shí)別系統(tǒng)的一些缺陷可以通過(guò)多模態(tài)目標(biāo)識(shí)別系統(tǒng)來(lái)彌補(bǔ)。多模態(tài)目標(biāo)識(shí)別系統(tǒng)實(shí)際上是通過(guò)集成融合多種傳感器所提取的特征信息（例如震動(dòng)、聲音、圖像等）完成分類(lèi)鑒別功能。近年來(lái)計(jì)算機(jī)技術(shù)和大規(guī)模數(shù)據(jù)處理技術(shù)的迅速發(fā)展，神經(jīng)網(wǎng)絡(luò)的高熱度研究，都給深度學(xué)習(xí)帶來(lái)了新的生命力和活力，刺激了深度學(xué)習(xí)在各個(gè)方面研究和應(yīng)用，多模態(tài)機(jī)器學(xué)習(xí)也在深度學(xué)習(xí)的浪潮下實(shí)現(xiàn)了長(zhǎng)足的進(jìn)步和發(fā)展［1－3］。如今，深度學(xué)習(xí)已經(jīng)在RGB攝像頭、深度攝像頭、聲卡等多模態(tài)信息融合方面發(fā)揮了很大的作用，融合手段和方式也多種多樣［4－6］。在此背景下，本文提出了一種基于深度學(xué)習(xí)的多模態(tài)特征融合算法，根據(jù)震動(dòng)、聲音和圖像傳感器所采集信息的特征，分別采用了不同的卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取特征，并對(duì)特征進(jìn)行融合。融合后的特征，對(duì)野外環(huán)境的目標(biāo)分類(lèi)鑒別具有更強(qiáng)的魯棒性。

1面向野外環(huán)境的多模態(tài)融合算法研究

本文所設(shè)計(jì)的系統(tǒng)結(jié)構(gòu)如圖1所示。Avg．L表示均值化處理，L1～L4分別表示512、1024、2048和N個(gè)神經(jīng)元組成的全連接層。N表示系統(tǒng)的分類(lèi)類(lèi)別數(shù)。該系統(tǒng)總共包括五個(gè)部分：特征提取、編碼、特征融合、解碼和分類(lèi)。特征提取模塊從數(shù)據(jù)中提取特征，編碼器和解碼器是對(duì)稱(chēng)的網(wǎng)絡(luò)結(jié)構(gòu)，編碼器將特征數(shù)據(jù)進(jìn)一步處理，解碼器試圖還原特征數(shù)據(jù)，特征融合層對(duì)三個(gè)模態(tài)特征進(jìn)行整合從而得到場(chǎng)景的全局特征。分類(lèi)器對(duì)融合得到的全局特征進(jìn)行分類(lèi)判別。

1．1特征提取模塊

針對(duì)三種模態(tài)數(shù)據(jù)所設(shè)計(jì)的特征提取單元。對(duì)于圖片數(shù)據(jù)，我們使用GoogLeNet［7］網(wǎng)絡(luò)來(lái)從RGB數(shù)據(jù)中提取特征，得到的特征長(zhǎng)度為1024維。對(duì)于麥克風(fēng)陣列采集的聲音數(shù)據(jù)，先對(duì)數(shù)據(jù)做預(yù)處理提取聲音數(shù)據(jù)的梅爾倒譜系數(shù)MFCC［8］。圖2是不同風(fēng)噪條件下履帶車(chē)的MFCC圖譜。本文，將聲音數(shù)據(jù)轉(zhuǎn)化為MFCC頻譜圖，以MFCC頻譜圖作為GoogLeNet的輸入，提取聲音數(shù)據(jù)的特征。對(duì)于磁敏傳感器采集的震動(dòng)信號(hào)，本文采用4層的一維卷積來(lái)對(duì)震動(dòng)信號(hào)進(jìn)行處理，每層卷積后都有一個(gè)Maxpooling來(lái)提取最大值，網(wǎng)絡(luò)命名為VibrationNet。該網(wǎng)絡(luò)分支的具體參數(shù)如表1所示。輸入到VibrationNet的震動(dòng)信號(hào)長(zhǎng)度為8192，該信號(hào)經(jīng)過(guò)網(wǎng)絡(luò)處理后，可以獲取長(zhǎng)度為1024維的特征。這三個(gè)特征提取模塊需要單獨(dú)訓(xùn)練，對(duì)于圖像和聲音特征提取網(wǎng)絡(luò)，我們可以直接在ImageNet預(yù)訓(xùn)好的GoogLeNet模型基礎(chǔ)上進(jìn)行微調(diào)。而震動(dòng)信號(hào)特征提取網(wǎng)絡(luò)則需要重新訓(xùn)練。

1．2編解碼模塊

編解碼模塊是兩個(gè)對(duì)稱(chēng)的結(jié)構(gòu)，編碼器對(duì)輸入的特征進(jìn)行編碼，解碼器則盡可能地恢復(fù)輸入的特征，并使得兩者的error足夠小。編碼器的輸入是3個(gè)1024維度f(wàn)m（m＝1，2，3）的特征，解碼器的輸出為3個(gè)1024維的特征gm（m＝1，2，3）。編碼器是由四層全連接組成，神經(jīng)元數(shù)量分別為1024、512、512和256。

1．3特征融合模塊

圖像、聲音和震動(dòng)信號(hào)經(jīng)編碼后所得到的特征長(zhǎng)度均為256維。這里的特征融合模塊主要是進(jìn)行均值化操作，模塊的輸入是三個(gè)256維的特征均值化后輸出的則是一個(gè)256維度的特征。

1．4分類(lèi)模塊

假設(shè)需要進(jìn)行的是N分類(lèi)，圖1中的分類(lèi)模塊是由4個(gè)全連接層組成。神經(jīng)元的個(gè)數(shù)依次為512、1024、1024和N。網(wǎng)絡(luò)的最后再接一個(gè)N維的softmax，輸出對(duì)應(yīng)的分類(lèi)結(jié)果。

1．5損失函數(shù)

該系統(tǒng)的損失函數(shù)定義為：其中，Lclass表示分類(lèi)模塊的交叉熵?fù)p失函數(shù)。fm（m＝1，2，3）和gm（m＝1，2，3）分別表示三種模態(tài)數(shù)據(jù)對(duì)編碼器的輸入特征和解碼器的輸出特征。

2實(shí)驗(yàn)結(jié)果分析討論

野外傳感網(wǎng)檢測(cè)所感興趣的目標(biāo)一般是人員、履帶車(chē)、輪式車(chē)和卡車(chē)四種。本文所用的實(shí)驗(yàn)數(shù)據(jù)是從四個(gè)不同的野外環(huán)境中采集所得，采集設(shè)備主要有攝像頭、麥克風(fēng)陣列和磁敏傳感器分別獲得圖像、聲音和震動(dòng)三種模態(tài)數(shù)據(jù)。總共采集了222731條數(shù)據(jù)，實(shí)驗(yàn)時(shí)隨機(jī)選取每類(lèi)總數(shù)據(jù)的80％的用來(lái)訓(xùn)練模型，剩下的20％用來(lái)測(cè)試模型。四個(gè)場(chǎng)地采集的數(shù)據(jù)分布如表2所示。本文的實(shí)驗(yàn)總共分為兩個(gè)部分，實(shí)驗(yàn)1是將四個(gè)場(chǎng)景的數(shù)據(jù)全部用來(lái)訓(xùn)練模型并測(cè)試，模型的識(shí)別結(jié)果如表3。從表3的結(jié)果來(lái)看，履帶車(chē)的識(shí)別精度最高（表格中的加粗項(xiàng)），人員最低，這主要是因?yàn)橄啾扔谄渌N目標(biāo)，履帶車(chē)較重，運(yùn)動(dòng)時(shí)產(chǎn)生的聲音及震動(dòng)信號(hào)較強(qiáng)，而人員運(yùn)動(dòng)時(shí)麥克風(fēng)陣列和磁敏傳感器采集的信號(hào)都較弱，真實(shí)信號(hào)容易淹沒(méi)在噪聲中，導(dǎo)致識(shí)別結(jié)果較差。但總體來(lái)看，該系統(tǒng)的平均識(shí)別率基本都在95％以上，滿足項(xiàng)目中對(duì)野外環(huán)境監(jiān)控的要求。同時(shí)，也對(duì)實(shí)驗(yàn)過(guò)程中每條數(shù)據(jù)的處理時(shí)間進(jìn)行了統(tǒng)計(jì)，平均為0．543s，滿足判定結(jié)果實(shí)時(shí)上報(bào)服務(wù)器匯總的需求。實(shí)驗(yàn)2是從四個(gè)場(chǎng)景中隨機(jī)挑選三個(gè)場(chǎng)景的數(shù)據(jù)用來(lái)訓(xùn)練模型，剩余場(chǎng)景的數(shù)據(jù)用來(lái)測(cè)試模型，模型總共訓(xùn)練并測(cè)試了4輪。實(shí)驗(yàn)結(jié)果請(qǐng)參照表4。從表4的實(shí)驗(yàn)結(jié)果來(lái)看，場(chǎng)地3作為測(cè)試樣本時(shí)，系統(tǒng)的性能較差，這主要是因?yàn)閳?chǎng)地3的數(shù)據(jù)在采集時(shí)有很多突發(fā)情況，比如出現(xiàn)了很多意外路過(guò)的車(chē)輛以及采集數(shù)據(jù)當(dāng)天的風(fēng)力較大等，這些都對(duì)場(chǎng)地3數(shù)據(jù)的質(zhì)量造成了很大的影響，這就導(dǎo)致實(shí)驗(yàn)2中場(chǎng)地3單獨(dú)作為測(cè)試樣本時(shí)，模型性能有些下降。但總的來(lái)講，雖然用來(lái)測(cè)試的場(chǎng)地沒(méi)有參與模型的訓(xùn)練，模型的識(shí)別性能同實(shí)驗(yàn)1相比下降不是很明顯，這表明所搭建的系統(tǒng)具有一定的遷移性及魯棒性。

3結(jié)束語(yǔ)

本文提出了一種聯(lián)合多種模態(tài)信息，對(duì)野外監(jiān)控網(wǎng)中運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)的方法，可以從多種模態(tài)信息中同時(shí)提取對(duì)分類(lèi)有用的全局信息。實(shí)驗(yàn)結(jié)果表明，本文所設(shè)計(jì)的系統(tǒng)對(duì)野外環(huán)境中的目標(biāo)檢測(cè)有一定的應(yīng)用價(jià)值，并且通過(guò)不同場(chǎng)景下的實(shí)驗(yàn)結(jié)果來(lái)看，該系統(tǒng)對(duì)于訓(xùn)練數(shù)據(jù)的依賴性較低，有一定的遷移性及魯棒性。四種場(chǎng)景均參與模型訓(xùn)練的情況下，每種類(lèi)別的精度基本可以達(dá)到95％以上，每一條數(shù)據(jù)的判別時(shí)間為0．543s，基本上可以滿足野外監(jiān)控對(duì)于精度和實(shí)時(shí)性方面的需要。目前網(wǎng)絡(luò)的訓(xùn)練還是分段進(jìn)行的，需要先訓(xùn)練特征提取器，再訓(xùn)練后面的分類(lèi)器，結(jié)構(gòu)較為復(fù)雜。下一步將嘗試對(duì)模型結(jié)構(gòu)進(jìn)行改進(jìn)，設(shè)計(jì)一種端到端的網(wǎng)絡(luò)，同時(shí)還要進(jìn)一步降低模型參數(shù)，減輕模型移植方面的壓力。

參考文獻(xiàn)

［1］高源．多傳感器信息融合及其應(yīng)用研究［J］．產(chǎn)業(yè)創(chuàng)新研究，2018（8）：67－68

［2］董立羽．現(xiàn)代生物特征識(shí)別技術(shù)發(fā)展綜述［J］．電腦與信息技術(shù)，2007，15（5）：11－13

［3］黃子超，劉政怡．特征融合與S－D概率矯正的RGB－D顯著檢測(cè)［J］．中國(guó)圖象圖形學(xué)報(bào)，2016，21（10）：1392－1401

作者：俞嶺 丁園園 范裕瑩 單位：裝備發(fā)展部駐上海軍代室