神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

關(guān)鍵詞 BP神經(jīng)網(wǎng)絡(luò) 房地產(chǎn)市場 預(yù)警研究

中圖分類號：F293 文獻(xiàn)標(biāo)識碼：A

一、房地產(chǎn)市場預(yù)警評價指標(biāo)的構(gòu)建

本著全面性、重要性、可測性、獨(dú)立性的房地產(chǎn)預(yù)警指標(biāo)選取原則，筆者選取了房地產(chǎn)行業(yè)的發(fā)展協(xié)調(diào)度、和諧穩(wěn)定度、和未知風(fēng)險度三個一級指標(biāo)以及12個二級指標(biāo)作為警兆指標(biāo)，如表1所示：

二、BP神經(jīng)網(wǎng)絡(luò)預(yù)警模型的構(gòu)建

（一）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建。

BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)一般包括輸入層（InPutLaver），隱含層（HideLaver）和輸出層（outPutLayer）三個方面。

由于任意一個連續(xù)函數(shù)都可以準(zhǔn)確地用一個三層向前神經(jīng)網(wǎng)絡(luò)來模擬。故本文采用只含有一個隱含層的三層神經(jīng)網(wǎng)絡(luò)作為預(yù)警系統(tǒng)。

其中房地產(chǎn)市場警兆指標(biāo)為輸入層，本文輸入層節(jié)點(diǎn)數(shù)X=12。相對應(yīng)的警情為輸出層，本文警情采用三維向量的模式，故輸出層節(jié)點(diǎn)數(shù)Y=3。隱含層神經(jīng)元數(shù)目N的確定，本文采用公式N=+C，其中，C 為 1 ～10 的常數(shù)。通過訓(xùn)練，發(fā)現(xiàn)當(dāng)N=8時，神經(jīng)網(wǎng)絡(luò)的收斂效果最好。

（二）神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法。

1、信號向前傳輸。

首先，計算隱含層各單元的凈輸入Ij：

其中wij是輸入層第i單元與隱含層第j單元間的權(quán)重； j是隱含層第j單元的偏置值，p為隱含層單元總數(shù)。

第二，計算隱含層各單元的輸出yj：

第三，計算輸出層的實(shí)際輸出，計算方法與隱含層相同。

2、誤差反向傳輸。

通常用網(wǎng)絡(luò)實(shí)際輸出與目標(biāo)輸出之間的方差ei來度量誤差。

其中di表示目標(biāo)輸出，yi表示實(shí)際輸出。

（三）預(yù)警時差和警情的設(shè)定。

由于目前我國房地產(chǎn)發(fā)展不成熟以及相關(guān)警兆指標(biāo)的局限性。本文將預(yù)警時差設(shè)定為2年，通過對上一年的警兆數(shù)據(jù)的分析來預(yù)測下一年的警情，即通過2011年的數(shù)據(jù)來預(yù)測2013年的警情。并將警情劃分為 “冷”、“正?！?、“熱”三級，分別用三維向量（1，0，0）、（0，1，0）、（0，0，1）表示。

（四）神經(jīng)網(wǎng)絡(luò)的預(yù)警過程。

將經(jīng)過歸一化處理后的房地產(chǎn)市場警兆指標(biāo)數(shù)據(jù)作為網(wǎng)絡(luò)系統(tǒng)的輸入，經(jīng)過訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)處理，輸出房地產(chǎn)市場的警情，實(shí)現(xiàn)評價指標(biāo)與警情的非線性映射。

三、基于沈陽市房地產(chǎn)市場的實(shí)證研究

本文選取了沈陽市2004年到2011年的預(yù)警指標(biāo)數(shù)據(jù)，其中2004年到2009年作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，2010年作為檢驗(yàn)樣本，2011年作為預(yù)測2013年警情的基礎(chǔ)數(shù)據(jù)。其中根據(jù)相關(guān)專家的分析，給出2006年到2009年沈陽市房地產(chǎn)市場地警情。

（一）神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

為了使神經(jīng)網(wǎng)絡(luò)獲得較好的訓(xùn)練效果，本文運(yùn)用MATLAB軟件對其進(jìn)行訓(xùn)練。其中中間層的激勵函數(shù)為正切s型激勵函數(shù)，輸出層的激勵函數(shù)為對數(shù)s型激勵函數(shù)。學(xué)習(xí)訓(xùn)練率為0.06。經(jīng)過342次迭代，網(wǎng)絡(luò)訓(xùn)練誤差情況如圖迭代次數(shù)所示。

（二）神經(jīng)網(wǎng)絡(luò)的檢驗(yàn)。

為了使訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)能夠更精確的預(yù)測警情，本文將2010年的相應(yīng)指標(biāo)數(shù)據(jù)輸入到已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)中，對網(wǎng)絡(luò)進(jìn)行檢驗(yàn)。檢驗(yàn)結(jié)果如下表所示。

由表結(jié)果可知，神經(jīng)網(wǎng)絡(luò)輸出結(jié)果與目標(biāo)輸出結(jié)果吻合度較好，故可以作為預(yù)測警情的模型。

（三）神經(jīng)網(wǎng)絡(luò)的市場預(yù)警。

將2011年的相關(guān)指標(biāo)數(shù)據(jù)輸入到BP網(wǎng)絡(luò)中去，得到結(jié)果表所示：

由網(wǎng)絡(luò)輸出可得出目標(biāo)輸出為（0，1，0）。即2013年沈陽市房地產(chǎn)市場處于正常狀態(tài)。

四、結(jié)語

第2篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

[關(guān)鍵詞] 小生境遺傳算法 神經(jīng)網(wǎng)絡(luò) 股票 預(yù)測

一、引言

股票和股票市場對國家企業(yè)的經(jīng)濟(jì)發(fā)展起到了積極的作用，如可以為投資者開拓投資渠道，增強(qiáng)投資的流動性和靈活性等。但股票價格的形成機(jī)制是頗為復(fù)雜的，股票價格既受到多種因素，諸如:政治，經(jīng)濟(jì)，市場因素的影響，亦受技術(shù)和投資者行為因素的影響，個別因素的波動作用都可能會影響到股票價格的劇烈波動。因此，股票價格和各影響因素之間很難直接建立明確的函數(shù)關(guān)系表達(dá)式。針對這一情況，將可有效處理非線性問題的神經(jīng)網(wǎng)絡(luò)引入到股票價格的預(yù)測中來，但神經(jīng)網(wǎng)絡(luò)收斂慢,易陷入局部極小點(diǎn)，出現(xiàn)振蕩，魯棒性差。所以有的學(xué)者用遺傳算法(ga)來優(yōu)化神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)可能獲得個別的甚至局部的最優(yōu)解,即ga早熟現(xiàn)象。本文引進(jìn)能較有效地保持種群多樣性的小生境遺傳算法(nga),采用nga優(yōu)化與用ga優(yōu)化的bp網(wǎng)絡(luò)權(quán)值進(jìn)行對比,證實(shí)了nga的判別準(zhǔn)確性和尋優(yōu)能力。

二、小生境遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)

1.bp神經(jīng)網(wǎng)絡(luò)

反向傳播(bp)算法又稱為誤差逆?zhèn)鞑バＵ椒?，它?974年p.werbos(哈佛大學(xué))提出的。133229.CoMbp算法用來訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò),屬于監(jiān)督學(xué)習(xí)算法。bp網(wǎng)絡(luò)具有結(jié)構(gòu)清晰，易實(shí)現(xiàn)，計算功能強(qiáng)大等特點(diǎn)。因而是目前最常見，使用最廣泛的一種神經(jīng)網(wǎng)絡(luò)。但是在實(shí)際應(yīng)用中，傳統(tǒng)的bp算法存在以下問題:收斂速度慢;若加快收斂速度易產(chǎn)生振蕩；存在局部極小和平臺問題;泛化能力差;隱節(jié)點(diǎn)數(shù)和初始值的選取缺乏理論指導(dǎo);未考慮樣本選擇對系統(tǒng)學(xué)習(xí)的影響等。所以很多學(xué)者提出許多改進(jìn)的方法，用小生境遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值的神經(jīng)網(wǎng)絡(luò)來預(yù)測股票價格。

2.小生境遺傳算法

小生境遺傳算法(iche genetical gorihm)的基本思想是:首先比較任意兩個個體間的距離與給定值的大小，若該距離小于給定值，則比較其適應(yīng)值大小。對適應(yīng)值較小的個體施加一個較強(qiáng)的懲罰，極大地降低其適應(yīng)值。也就是說，在距離l內(nèi)將只有一個優(yōu)良個體，從而既維護(hù)了群體的多樣性，又使得各個體之間保持一定的距離，并使得個體能夠在整個約束空間中分散開來。

3.神經(jīng)網(wǎng)絡(luò)連接權(quán)的優(yōu)化

用小生境遺傳算法可以優(yōu)化神經(jīng)網(wǎng)絡(luò)連接權(quán)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)規(guī)則等，這里我們對神經(jīng)網(wǎng)絡(luò)的連接權(quán)進(jìn)行優(yōu)化，具體步驟如下：

（1）隨機(jī)產(chǎn)生一組權(quán)值分布，采用某種編碼方案對該組中的每個權(quán)值(或閾值)進(jìn)行編碼，進(jìn)而構(gòu)造出一個碼串(每個碼串代表網(wǎng)絡(luò)的一種權(quán)值分布)，在網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則已確定的前提下,該碼串就對應(yīng)一個權(quán)值和閾值取特定值的一個神經(jīng)網(wǎng)絡(luò)。

（2)對所產(chǎn)生的神經(jīng)網(wǎng)絡(luò)計算它的誤差函數(shù)，從而確定其適應(yīng)度函數(shù)值，誤差越大,則適應(yīng)度越小。

（3)選擇若干適應(yīng)度函數(shù)值最大的個體,直接遺傳給下一代。

（4)利用交叉和變異等遺傳操作算子對當(dāng)前一代群體進(jìn)行處理，產(chǎn)生下一代群體。

（5)重復(fù)（2）（3）（4），使初始確定的一組權(quán)值分布得到不斷地進(jìn)化,直到訓(xùn)練目標(biāo)得到滿足為止。

這種由小生境遺傳算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法也可以稱做混和訓(xùn)練法。將基于小生境遺傳算法的遺傳進(jìn)化方法和基于梯度下降的反傳訓(xùn)練相結(jié)合,這種訓(xùn)練方法吸取兩種方法的各自特點(diǎn)，所以收斂速度快。

三、股票價格預(yù)測仿真

根據(jù)經(jīng)驗(yàn)選取輸入預(yù)測日前四天開盤價、收盤價歸一化后做為作為輸入量，輸出為第五天收盤價歸一化數(shù)值。所以，本文采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為(8,5,1),即網(wǎng)絡(luò)的輸入層6個節(jié)點(diǎn),隱含層9個節(jié)點(diǎn),輸出層1個節(jié)點(diǎn)。本文選擇了“xdg 新梅（600732）”從2006年3月14日到2006年7月1日數(shù)據(jù)進(jìn)行了仿真。利用matlab6.5編程，取70組訓(xùn)練樣本和30組測試樣本。如圖（1）表示用遺傳算法和小生境遺傳算法對神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行優(yōu)化時，誤差曲線變化;從圖中可以看出，小生境遺傳算法收斂速度要快;圖（2）表示股票預(yù)測值和實(shí)際值比較，從圖中可以看出，遺傳算法和小生境遺傳算法對神經(jīng)網(wǎng)絡(luò)的權(quán)值的模型進(jìn)行股票價格的預(yù)測，都能預(yù)測出股票走向趨勢，但是，后者的預(yù)測精度顯然要比前者高。

四、結(jié)束語

股票市場的不確定因素太多，股票的價格更是多種因素影響的集合體，是典型的非線性動力學(xué)問題。股票價格的中長期準(zhǔn)確預(yù)測很難。本文建立了用小生境遺傳算來優(yōu)化神經(jīng)網(wǎng)絡(luò)模型來預(yù)測股票價格，結(jié)果表明，這種方法比單用遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)收斂速度快，預(yù)測精度高。對于股票價格預(yù)測具有較好的應(yīng)用價值。

參考文獻(xiàn):

[1]龍建成李小平:基于神經(jīng)網(wǎng)絡(luò)的股票市場趨勢預(yù)測[j].西安電子科技大學(xué)學(xué)報(自然科學(xué)版.2005.3（32）:460-463

[2]王波張鳳玲:神經(jīng)網(wǎng)絡(luò)與時間序列模型在股票預(yù)測中的比較[j].第27卷第6期武漢理工大學(xué)學(xué)報·信息與管理工程版.2005.9（27）:69-72

第3篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；過程控制；模糊控制

我國礦石“貧、細(xì)、雜”，礦石成分復(fù)雜，性質(zhì)波動嚴(yán)重，因而造成了我國浮選過程控制水平不高，浮選藥劑消耗量大，產(chǎn)品質(zhì)量波動大，精礦回收率低，經(jīng)濟(jì)效益差的現(xiàn)狀，嚴(yán)重影響了我國鋼鐵工業(yè)的國際競爭力。因此急需能夠滿足我國浮選工藝現(xiàn)狀的檢測設(shè)備及先進(jìn)控制算法，以提高我國浮選過程控制水平，以穩(wěn)定產(chǎn)品質(zhì)量，為后序煉鐵工序提供更好的原料。

對于浮選工藝過程控制，藥劑控制是根本性的。以反浮選為例，如果給藥量過少，無用礦物成分就不能充分浮選，則會導(dǎo)致精礦品位降低，不能滿足產(chǎn)品質(zhì)量要；如果藥劑量過多，不但藥劑費(fèi)用大，而且會導(dǎo)致返回的中礦量增加和尾礦品位增高，回收率降低，經(jīng)濟(jì)效益不理想。

本文根據(jù)影響浮選藥劑用量的因素確定了RBF神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)。針對RBF神經(jīng)網(wǎng)絡(luò)參數(shù)難以確定的缺點(diǎn)，提出一種基于蟻群算法RBF神經(jīng)網(wǎng)絡(luò)優(yōu)化方法。并通過仿真結(jié)果證明了該算法的有效性。

1 藥劑量控制模型結(jié)構(gòu)確定

目前傳統(tǒng)的藥劑添加方法是以給礦流量為參考，在應(yīng)用比例控制的方法的基礎(chǔ)上根據(jù)操作工經(jīng)驗(yàn)來控制藥劑流量。但由于浮選過程的嚴(yán)重非線性、干擾因素眾多且系統(tǒng)存在大滯后。這種簡單的控制方法難以保證浮選最終精礦品位的穩(wěn)定，同時影響了精礦回收率。即使在浮選槽出口安裝上價值昂貴的在線精礦品位檢測儀表，由于浮選過程的大滯后特性，常規(guī)的閉環(huán)控制方法也難以達(dá)到目的。所以本章主要通過應(yīng)用浮選生產(chǎn)過程中積累的大量生產(chǎn)數(shù)據(jù)，根據(jù)相應(yīng)的浮選工藝參數(shù)，使用RBF神經(jīng)網(wǎng)絡(luò)技術(shù)對浮選過程進(jìn)行建模。然后根據(jù)初始生產(chǎn)條件，應(yīng)用建立好的數(shù)學(xué)模型預(yù)測所需的藥劑用量，從而克服系統(tǒng)的大滯后、非線性特性，穩(wěn)定浮選生產(chǎn)過程。

通過現(xiàn)場調(diào)研，我們知道原礦性質(zhì)和藥劑用量與浮選槽出口精礦品位有直接關(guān)系。最后我們依據(jù)工藝機(jī)理和現(xiàn)場操作工經(jīng)驗(yàn)知識，最終確定給礦品位、給礦流量、給礦粒度、給礦濃度、精礦品位5個變量對藥劑流量影響最大。

因此本文將給礦品位、給礦流量、給礦粒度、給礦濃度和精礦品位5個變量作為浮選藥劑量控制模型的輸入變量，將浮選藥劑流量作為模型輸出變量，從而建立一個5輸入、1輸出的RBF神經(jīng)網(wǎng)絡(luò)模型，模型結(jié)構(gòu)如圖1所示。

圖1 浮選藥劑量控制模型結(jié)構(gòu)圖

2 基于蟻群算法的網(wǎng)絡(luò)泛化能力優(yōu)化

我們應(yīng)用處理后的樣本數(shù)據(jù)對網(wǎng)絡(luò)性能進(jìn)行了測試（這里我們使用了700組樣本數(shù)據(jù)作為網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)，50組數(shù)據(jù)作為網(wǎng)絡(luò)性能測試數(shù)據(jù)，網(wǎng)絡(luò)訓(xùn)練停止條件是網(wǎng)絡(luò)訓(xùn)練誤差小于網(wǎng)絡(luò)訓(xùn)練停止誤差或者超過最大訓(xùn)練次數(shù)。我們把網(wǎng)絡(luò)最大訓(xùn)練次數(shù)規(guī)定為5000次），測試中發(fā)現(xiàn)了兩個問題。一是值得大小對網(wǎng)絡(luò)測試誤差的影響很大；二是網(wǎng)絡(luò)的訓(xùn)練停止誤差（訓(xùn)練次數(shù)）大小也影響測試誤差的大小。有時網(wǎng)絡(luò)訓(xùn)練停止誤差越小，反而網(wǎng)絡(luò)的性能越差。下面給出了仿真測試曲線：

圖2 不同r值下的模型預(yù)測曲線

3 蟻群算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)

從網(wǎng)絡(luò)性能測試結(jié)果和上面關(guān)于神經(jīng)網(wǎng)絡(luò)泛化能力的相關(guān)知識我們可以知道，要提高本文RBF神經(jīng)網(wǎng)絡(luò)模型的泛化能力。在網(wǎng)絡(luò)訓(xùn)練過程中，我們所能做的就是在確定一個合適的r值（確定合理網(wǎng)絡(luò)結(jié)構(gòu)），并且判定合理的網(wǎng)絡(luò)訓(xùn)練停止誤差（也可以是學(xué)習(xí)次數(shù)）。

[圖3 蟻群算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)流程圖]

但是由于r值和網(wǎng)絡(luò)訓(xùn)練停止誤差是兩個參數(shù)，只有在兩個參數(shù)都合適的情況下才能獲得最好的網(wǎng)絡(luò)性能。這樣如何尋找這兩個參數(shù)的最優(yōu)組合就成了問題的關(guān)鍵點(diǎn)。采用手動試驗(yàn)的方式由于兩個參數(shù)的不同組合太多而難以實(shí)施。因而本文決定采用目前流行的蟻群優(yōu)化算法對上述兩個參數(shù)進(jìn)行優(yōu)化，來提高RBF神經(jīng)網(wǎng)絡(luò)的性能。本文應(yīng)用蟻群算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)的流程如圖3所示。

這里我們將樣本數(shù)據(jù)分成3個部分：一部分為訓(xùn)練樣本集；一部分為內(nèi)部測試樣本集；一部分為外部測試樣本集。蟻群算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)參數(shù)的工作過程如下：

Step1：蟻群算法參數(shù)。

Step2：隨機(jī)選定r值和網(wǎng)絡(luò)訓(xùn)練停止誤差。

Step3：采用文中的網(wǎng)絡(luò)中心和權(quán)值訓(xùn)練方法，應(yīng)用訓(xùn)練樣本集訓(xùn)練RBF網(wǎng)絡(luò)。訓(xùn)練結(jié)束后，應(yīng)用內(nèi)部測試樣本集測試網(wǎng)絡(luò)泛化誤差。

Step4：根據(jù)泛化誤差計算蟻群算法適應(yīng)度函數(shù)，適應(yīng)度函數(shù)值滿足要求或蟻群算法迭代次數(shù)超過目標(biāo)次數(shù)則停止算法，并給出參數(shù)優(yōu)化結(jié)果。否則進(jìn)行蟻群算法操作重新搜索r值和網(wǎng)絡(luò)訓(xùn)練停止誤差后返回Step3。

通過蟻群算法的優(yōu)化，我們最后得到r=1.37，網(wǎng)絡(luò)訓(xùn)練停止誤差為6.3×10-4。此時RBF神經(jīng)網(wǎng)絡(luò)仿真結(jié)果如下：

[圖4 蟻群算法優(yōu)化后的模型預(yù)測曲線]

第4篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

關(guān)鍵詞：客運(yùn)量預(yù)測；蟻群算法；神經(jīng)網(wǎng)絡(luò)；ACONN模型；灰色預(yù)測

中圖分類號：G642 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）06-1348-04

Prediction and Analysis of Hefei Highway Passenger Quantity Based on ACA-NN

ZHANG Qinq-lin，LIU Chun-ling

（Department of Information Engineering， Anhui Economic Management Institute， Hefei 230051，China）

Abstract： According to the defects of neural network， this paper puts forward neural network highway customer forecast method which based on colony algorithm optimization. This model is used common BP neural network structure， the algorithm is used is a new kind of evolutionary algorithm- ant colony algorithm. Finally， it takes

highway passenger transportation in hefei as an example， try ACONN ant colony neural network application in the passenger traffic forecast， results show that the ant colony neural network model's prediction precision is better than other models.

Key words： Passenger traffic forecast；ant colony algorithm；neural networks；ACONN model；gray prediction

隨著汽車保有量的增加，公路客運(yùn)量也隨之增加，公路客運(yùn)能力受到了極大的挑戰(zhàn)。如何有效利用現(xiàn)有工具來預(yù)測客運(yùn)量，滿足公路客運(yùn)管理和交通工程建設(shè)，這是交通管理和建設(shè)部門面臨的一項(xiàng)重要工作任務(wù)。國內(nèi)外學(xué)者對預(yù)測模型進(jìn)行了大量詳盡的研究，其中AR模型、ARMA模型、ARIMA模型、Box-Jenkins方法、馬爾可夫方法、灰色系統(tǒng)方法及統(tǒng)計回歸方法等建模方法比較常用[1～2]。這些方法很多是線性的，無法逼近真實(shí)的歷史數(shù)據(jù)；也有利用原始BP神經(jīng)網(wǎng)絡(luò)方法來預(yù)測，雖然多層BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任意可實(shí)現(xiàn)的線性和非線性函數(shù)的映射，但是在訓(xùn)練過程中易陷入局部最小的情況，所以這些預(yù)測方法的準(zhǔn)確率還不是很高。該文針對神經(jīng)網(wǎng)絡(luò)存在無法有效收斂最優(yōu)值問題，構(gòu)建基于蟻群算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)的公路客運(yùn)預(yù)測模型[3]。經(jīng)過對2012年合肥公路客運(yùn)量進(jìn)行預(yù)測分析，掌握各個時段客運(yùn)量的分布，有利于相關(guān)部門作出相應(yīng)決策，應(yīng)對客運(yùn)高峰期帶來的種種壓力，更好地滿足廣大人民群眾的需求， 以最合理的人力和財力的投入，來獲得最大經(jīng)濟(jì)效率，達(dá)到最好的社會效果。

1 蟻群算法

蟻群算法（Ant Colony Algorithm，簡稱ACA）是人們受到對自然界中真實(shí)的螞蟻群體行為啟發(fā)而提出的一種仿生優(yōu)化算法。屬于隨機(jī)搜索算法，該算法是在1991年召開的第一界歐洲人工生命會議上，由Dorigo M等人第一次提出的關(guān)于蟻群算法的基本模型[4]。Dorigo M等人通過模擬螞蟻搜索食物的過程（就是怎樣去找到蟻穴到食物源的最短路徑，前提是在個體之間相互合作的情況下）來求解TSP問題。

該算法以前主要解決一維的靜態(tài)優(yōu)化問題，發(fā)展到現(xiàn)在用于解決多維動態(tài)組合優(yōu)化的問題，在多種研究領(lǐng)域，已經(jīng)得到廣泛應(yīng)用。蟻群算法目前軟件及硬件的實(shí)現(xiàn)上都取得了突破性的研究進(jìn)展，既具有深刻的學(xué)術(shù)思想，又具有廣闊的發(fā)展前景。

以TSP為例，基本蟻群算法的程序結(jié)構(gòu)流程圖如圖1。

2 蟻群算法與神經(jīng)網(wǎng)絡(luò)NN（Neural Network）的融合

2.1 基本思想

針對反向傳播BP（Back Propagation）算法容易陷入局部極小的不足，采用蚊群優(yōu)化算法ACO（Ant Colony Optimization）訓(xùn)練方法。[5]蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程就是在實(shí)數(shù)權(quán)值組合中，找到一組最優(yōu)的，使得期望結(jié)果與輸出結(jié)果之間的誤差達(dá)到最小，而蟻群算法正是尋找這樣的最優(yōu)權(quán)值組合的不錯選擇。

2.2 構(gòu)建蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)ACONN系統(tǒng)

應(yīng)用蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)ACONN（Ant Colony Optimization Neural Network）系統(tǒng)預(yù)測的框圖2如下，首先對輸入數(shù)據(jù)進(jìn)行預(yù)處理，再建立原始的神經(jīng)網(wǎng)絡(luò)，再次利用蟻群算法來優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值、閾值構(gòu)建一個性能完好的ACONN系統(tǒng)，最后利用優(yōu)化好的ACONN系統(tǒng)來預(yù)測，輸出預(yù)測數(shù)據(jù)。

圖2 ACONN系統(tǒng)預(yù)測圖

3 合肥客運(yùn)量預(yù)測的蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

3.1 樣本采集與數(shù)據(jù)預(yù)處理

樣本選擇了以合肥市歷年的客運(yùn)量為樣本數(shù)據(jù)，月為單位的訓(xùn)練樣本選擇了2011年每月的數(shù)據(jù)，預(yù)測2012年中每月的客運(yùn)總量。

由于BP神經(jīng)網(wǎng)絡(luò)要求輸入的數(shù)據(jù)范圍一般在（0，1）。因此對樣本數(shù)據(jù)進(jìn)行歸一化處理。其公式為[6]：

[Y=X-XminXmax-Xmin]

其中Xmax取一個比較大的值，保證預(yù)測年的數(shù)據(jù)小于該數(shù)值， Xmin取一個小于樣本數(shù)據(jù)序列中最小值的值，保證歸一化后的數(shù)據(jù)不太接近于0。

3.2 預(yù)測方式選擇及ACONN的訓(xùn)練樣本設(shè)計

我們知道，目前我們基于蟻群優(yōu)化的神經(jīng)網(wǎng)絡(luò)的客運(yùn)預(yù)測模型，它是屬于一種數(shù)據(jù)驅(qū)動的方法，也就是說，我們?nèi)ダ媚壳吧窠?jīng)網(wǎng)絡(luò)的一種非線性的特性去逼近一個時間序列，這樣通過神經(jīng)網(wǎng)絡(luò)的清晰邏輯關(guān)系，并且利用過去時刻的值，去表達(dá)未來某一時刻的值。我們的人工神經(jīng)網(wǎng)絡(luò)預(yù)測，目前可以分為單變量時間序列預(yù)測和多變量時間序列預(yù)測[7]。所以說無論是單變量時間序列預(yù)測還是多變量時間序列預(yù)測，都可以使用我們平時的常用的方法，共有三種是：單步預(yù)測，滾動預(yù)測，多步預(yù)測[8]。

現(xiàn)采用的是滾動預(yù)測方式，在訓(xùn)練樣本設(shè)計時需要根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)。以月為單位預(yù)測，采用2個輸入，即連續(xù)兩年的同月份2個月數(shù)據(jù)作為輸入，下一年同月份作為輸出。設(shè)有歸一化的樣本集 X（t）（t=1，2，…，n），選擇一步預(yù)測時，選取個m輸入，1個輸出，可組成如下的訓(xùn)練組對：

表1

[輸入數(shù)據(jù) 期望輸出＼&X（1），X（2），…，X（m） X（m+1）＼&X（2），X（3），…，X（m+1） X（m+2）＼&…… ……＼&X（n-m），X（n-m+1），…，X（n-1） X（n）＼&]

3.3 蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)

現(xiàn)在我們所熟知的蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)采用具有一個隱含層的三層BP網(wǎng)絡(luò)結(jié)構(gòu)。由于采用年和月為單位預(yù)測，因此根據(jù)需要在輸入層、隱含層上有差別，具體的各層神經(jīng)元個數(shù)在年與月的預(yù)測中有具體的設(shè)置。目前，我們可以去根據(jù)萬能逼近定理，如果有一個三層的BP網(wǎng)絡(luò)，它可以以任意的精度去逼近一個連續(xù)函數(shù)。這樣，也就是說可以采用具有一個隱含層的三層BP網(wǎng)絡(luò)結(jié)構(gòu)。在網(wǎng)絡(luò)模型結(jié)構(gòu)確定的基礎(chǔ)上設(shè)定網(wǎng)絡(luò)參數(shù)，網(wǎng)絡(luò)的連接數(shù)目S，蟻群算法參數(shù)選為ρ=0.7，Ant=40，網(wǎng)絡(luò)權(quán)值參數(shù)隨機(jī)值選值N=30， 網(wǎng)絡(luò)權(quán)值參數(shù)隨機(jī)值范圍為[-3，3]，訓(xùn)練次數(shù)為500次學(xué)習(xí)，像Q、S等參數(shù)根據(jù)年和月的預(yù)測會有所不同，在后續(xù)有具體設(shè)置。

3.4 預(yù)測分析

現(xiàn)在用蟻群優(yōu)化神經(jīng)網(wǎng)絡(luò)ACONN、反向傳播神經(jīng)網(wǎng)絡(luò)BPNN、灰色預(yù)測GM（1，1）三種模型分別對來合肥市客運(yùn)量進(jìn)行預(yù)測[9-10]。ACONN是通過蟻群算法找到最優(yōu)的初始權(quán)值，從而固定了初始權(quán)值，因此每次的預(yù)測值幾乎趨于固定；可是目前神經(jīng)網(wǎng)絡(luò)中，我們知道它的初始權(quán)值的選取，都是具有隨機(jī)性的，所有我們?nèi)ナ褂孟嗤臄?shù)據(jù)，去進(jìn)行多次預(yù)測時時候，得到的預(yù)測結(jié)果就不會完全相同。因此，為了使預(yù)測更具有一定的普遍性，ACONN與BPNN可以采取一樣的網(wǎng)絡(luò)結(jié)構(gòu)，同時我們選取10次預(yù)測的平均值作為最終的預(yù)測結(jié)果。

將ACONN、BPNN、GM（1，1）模型分別作預(yù)測，將預(yù)測結(jié)果進(jìn)行反歸一化，預(yù)測結(jié)果如下表：

表2

將ACONN、BPNN、GM（1，1）模型預(yù)測合肥市客運(yùn)量結(jié)果用圖形表示，可以更直觀看到它們之間預(yù)測的精度。具體預(yù)測結(jié)果如圖3。

圖3 ACONN、BPNN、GM（1，1）模型預(yù)測結(jié)果圖

從每幅圖形可以直觀地看出ACONN的數(shù)據(jù)在實(shí)際值附近有很小的波動，BPNN數(shù)據(jù)值比ACONN的在實(shí)際值附近波動要大些，而GM（1，1）數(shù)據(jù)只有中間很小區(qū)間比較精確一點(diǎn)，而數(shù)據(jù)的開始和末端狀態(tài)都表現(xiàn)出發(fā)散，其數(shù)據(jù)預(yù)測精度不高。所以比較之，ACONN很明顯表現(xiàn)出很好的優(yōu)勢，預(yù)測數(shù)據(jù)比較穩(wěn)定。

4 結(jié)束語

ARIMA模型、Box-Jenkins方法、馬爾可夫方法、灰色系統(tǒng)方法及統(tǒng)計回歸方法等，這些預(yù)測方法很多是線性的，無法逼近真實(shí)的歷史數(shù)據(jù)。利用原始BP神經(jīng)網(wǎng)絡(luò)方法來預(yù)測，我們現(xiàn)在知道，雖然多層的BP網(wǎng)絡(luò)能去實(shí)現(xiàn)任意一個可實(shí)現(xiàn)的線性以及非線性函數(shù)的映射，但是在訓(xùn)練過程中易陷入局部最小的情況，所以這些預(yù)測方法的準(zhǔn)確率還不是很高。經(jīng)過分析蟻群算法在神經(jīng)網(wǎng)絡(luò)中應(yīng)用的可行性后，提出一種基于蟻群算法和神經(jīng)網(wǎng)絡(luò)相結(jié)合的新型預(yù)測方法，該方法可以有效地避免原始BP神經(jīng)網(wǎng)絡(luò)存在的問題和單一預(yù)測方法精確度不高的缺陷，為預(yù)測提供了新的途徑。

參考文獻(xiàn)：

[1] 翁鋼民，鄭竹葉，劉洋，等.基于GM-Markov 模型的旅游客源預(yù)測[J].燕山大學(xué)學(xué)報，2008，9（2）：109-112.

[2] 李松，劉力軍，郭海玲.短時交通流混沌預(yù)測方法的比較[J].系統(tǒng)工程，2009，27（9）：60-64.

[3] 董超俊，劉智勇.多層混沌神經(jīng)網(wǎng)絡(luò)及其在交通量預(yù)測中的應(yīng)用[J].系統(tǒng)仿真學(xué)報，2007，19（10）：101-104.

[4] 張維存，鄭丕諤，吳曉丹.蟻群遺傳算法求解能力約束的柔性作業(yè)車間調(diào)度問題[J].計算機(jī)集成制造系統(tǒng)，2007，13（2）：333-337.

[5] 萬李，楊杰.小波神經(jīng)網(wǎng)絡(luò)在短時交通流量預(yù)測中的應(yīng)用[J].計算機(jī)仿真，2012，29（9）：352-355.

[6] 方琴，李永前.K 近鄰短期交通流預(yù)測[J].重慶交通大學(xué)學(xué)報：自然科學(xué)版，2012，31（4）：829-831.

[7] 吳寶春，鄭蕊蕊，李敏，楊亞寧.基于遺傳灰色GM（1，1，ρ）模型的短時交通流量預(yù)測[J].電子設(shè)計工程，2012，20（13）：165-167.

[8] 郭杰，丁镠，朱超余.灰色預(yù)測模型的系統(tǒng)動力學(xué)仿真[J].電子設(shè)計工程，2011，19（14）：4-7.

第5篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

關(guān)鍵詞：瓦斯突出；微粒群算法；RBF神經(jīng)網(wǎng)絡(luò)；MATLAB

中國分類號: TP183；文獻(xiàn)標(biāo)識碼: A

前言

瓦斯突出的產(chǎn)生機(jī)理和預(yù)測過程比較復(fù)雜， RBF神經(jīng)網(wǎng)絡(luò)在瓦斯突出預(yù)測中起到了很重要的作用。煤礦瓦斯突出的影響指標(biāo)很多，并且各個指標(biāo)與瓦斯突出之間的關(guān)系為非線性的關(guān)系，因此要求RBF神經(jīng)網(wǎng)絡(luò)具有很好的非線性逼近能力。

RBF神經(jīng)網(wǎng)絡(luò)是以函數(shù)逼近理論為基礎(chǔ)構(gòu)造的一類前向網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)確定，輸入與初始值無關(guān)，結(jié)構(gòu)簡單，訓(xùn)練簡潔，能夠逼近任意非線性函數(shù)，而且在逼近能力、分類能力和學(xué)習(xí)速度方面均優(yōu)于BP網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的設(shè)計包括三部分：神經(jīng)元功能函數(shù)的設(shè)計，神經(jīng)元之間的連接形式的確定以及網(wǎng)絡(luò)訓(xùn)練方式的確定。在這三部分中隱單元RBF的設(shè)計是比較重要的。RBF函數(shù)是一種局部分布的對中心點(diǎn)徑向?qū)ΨQ的非負(fù)非線性函數(shù)。但是在神經(jīng)元功能函數(shù)的設(shè)計中，RBF功能函數(shù)的中心ci的確定有很大的難度。

通常使用隨機(jī)選取固定中心法，中心的自組織選擇法等，但是由于這些學(xué)習(xí)訓(xùn)練方法的局限性，通過這些方法得到的神經(jīng)網(wǎng)絡(luò)適用性和泛化能力比較差，不能滿足瓦斯突出預(yù)測的要求。本文利用微粒群算法來計算出通過學(xué)習(xí)訓(xùn)練得到的RBF神經(jīng)網(wǎng)絡(luò)的隱單元RBF的中心ci的適應(yīng)度的方法來確定最后的隱單元RBF的中心ci，并且不斷的在以后的實(shí)踐應(yīng)用中更新學(xué)習(xí)訓(xùn)練所用的數(shù)據(jù)庫，系統(tǒng)根據(jù)數(shù)據(jù)庫的變化，可以優(yōu)化原有的隱單元RBF的中心ci ，提高了神經(jīng)網(wǎng)絡(luò)的逼近能力，有效的客服了RBF神經(jīng)網(wǎng)絡(luò)局部最優(yōu)的缺點(diǎn)。

1、微粒群算法

1.1基本微粒群算法

微粒群算法（particle swarm optimization，PSO）是1995年由美國社會心理學(xué)家J.Kennedy和電氣工程師R.Heppner共同提出的，其基本思想是受鳥類群體行為研究結(jié)果的啟發(fā)，并利用了生物學(xué)家F.Heppner的生物群體模型[2]。算法原理如下：

微粒群算法主要是使用微粒的適應(yīng)度大小進(jìn)行尋找全局最優(yōu)和優(yōu)化參數(shù)。他將種群中的每個個體看作是N維空間的一個沒有質(zhì)量和體積的微粒，并且在搜索空間以一定的速度飛行，在飛行過程中不斷根據(jù)環(huán)境的改變來改變自身的速度和方向，直到找到適應(yīng)度最好的位置。假設(shè)Xi=（xa1，xa2，xa3，……xan為微粒i的當(dāng)前位置，Vi=（va1，va2，va3，…… van）代表微粒當(dāng)前的飛行速度，Pi=（pa1，pa2，pa3，……pan）表示微粒經(jīng)歷的適應(yīng)度最好的位置，這是局部最優(yōu)位置。

當(dāng)f(xi(a+1))≥f(Pi(a)) 時Pi(a+1)= Pi(a)

當(dāng)f(xi(a+1) ＜f(P(a)) 時Pi(a+1)= Xi(a+1) 所以全局最優(yōu)位置P（a）=min{f(P0(a) ，P1(a)……Pn(a)}。同時可以得出進(jìn)化方程為：vij (t+1)=vij (t)+c1v1j(t)[pij (t)-xij (t)]+c2r2j(t)[pgj (t)-xij (t)]

為了更好的確定和優(yōu)化RBF的中心ci，計算每個數(shù)據(jù)庫得到的中心ci的均方誤差，計算出每個中心ci的適應(yīng)度：

E（Xp）=[Yk,p(Xp)-tk,p]

有適應(yīng)度來確定的適應(yīng)度函數(shù)如下：

f(x)=

1.2帶慣性權(quán)重的微粒群算法

在全局搜索過程中，搜索能力和收斂速度是相對立的，如果搜索能力高了，收斂速度就會相對變慢，為了解決這一問題，在速度進(jìn)化方程中引用了慣性權(quán)重，具體公式如下：

vij(t+1)=wvij(t)+c1v1j(t)[pij(t)-xij(t)]+c2r2j(t)[pgj(t)-xij(t)] 式中w稱為慣性權(quán)重。

在全局搜索利過程中，慣性權(quán)重w可以根據(jù)要求按照一定趨勢改變，這樣就既能保證搜索能力又能加快收斂速度。

2、RBF神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是對人類大腦系統(tǒng)一階特性的一種描述，有類似人的神經(jīng)元的處理單元通過各種連接方式連接起來構(gòu)成，整個網(wǎng)絡(luò)同時具有一個或是多個的輸入和輸出，能夠?qū)π畔⑦M(jìn)行并行和分布處理。人工神經(jīng)網(wǎng)絡(luò)主要包括三方面的內(nèi)容：激活函數(shù)，神經(jīng)元之間的連接形式，網(wǎng)絡(luò)的學(xué)習(xí)或者是訓(xùn)練。

激活函數(shù)為徑向基函數(shù)（RBF）的神經(jīng)網(wǎng)絡(luò)為RBF神經(jīng)網(wǎng)絡(luò)，RBF神經(jīng)網(wǎng)絡(luò)是一個單隱層的三層前饋網(wǎng)絡(luò)，分別為輸入層，隱含層，輸出層。隱含層的傳遞函數(shù)為radbas。徑向基網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。實(shí)驗(yàn)已經(jīng)證明：徑向基網(wǎng)絡(luò)能夠以任意精度逼近任意連續(xù)函數(shù)。每個RBF的節(jié)點(diǎn)有一個“參考”輸入x*i,f是輸入與“參考”輸入的距離d(x*i,xi )的函數(shù)，函數(shù)中的距離有節(jié)點(diǎn)輸出y =f(d(x*i,xi ))來計算。

RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)主要有兩種：中心自組織選擇法和中心的監(jiān)督選擇發(fā)。中心的自組織選擇法是一種無導(dǎo)師，也稱非監(jiān)督學(xué)習(xí)，是對所有的輸入進(jìn)行聚類，求得各隱單元RBF的中心ci。中心的監(jiān)督選擇法是一種有導(dǎo)師的學(xué)習(xí)，也稱為監(jiān)督學(xué)習(xí)算法。主要是通過一個有導(dǎo)師或是有監(jiān)督的學(xué)習(xí)過程來確定隱單元RBF的中心ci。

3、RBF神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci 的確定和優(yōu)化的過程

本文利用普通的學(xué)習(xí)訓(xùn)練法和帶慣性權(quán)重的微粒群算法相結(jié)合的方法來進(jìn)行RBF神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci的確定和優(yōu)化。具體過程如圖1所示。

（1）用一定數(shù)量的與瓦斯突出有關(guān)信息組成一個數(shù)據(jù)庫，并且將這個數(shù)據(jù)庫分為若干個子數(shù)據(jù)庫.使用這些子數(shù)據(jù)庫分別對RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到隱單元RBF的中心c1,c2,c3……。

（2）將上面得到的若干個隱單元RBF的中心作為一個個體（微粒），有這些個體組成一個種群，其中每個個體代表先前計算出的一個隱單元RBF的中心。初始化Gbest和Lbest。

（3）使用帶慣性權(quán)重的微粒群算法來確定最后的隱單元中心，通過計算每個微粒適應(yīng)度來確定中心ci，然后通過適應(yīng)度函數(shù)來優(yōu)化中心ci，最后形成RBF神經(jīng)網(wǎng)絡(luò)。

（4）把井下測得的數(shù)據(jù)作為輸入，來進(jìn)行瓦斯突出預(yù)測，并且把井下的信息和預(yù)測結(jié)果，作為下次更新數(shù)據(jù)庫和優(yōu)化隱單元中心的依據(jù)。

（5）每進(jìn)行一次預(yù)測，數(shù)據(jù)庫的信息就根據(jù)實(shí)際情況和預(yù)測結(jié)果進(jìn)行一次更新，根據(jù)更新的數(shù)據(jù)庫，對得到的隱單元中心進(jìn)行優(yōu)化，提高了系統(tǒng)的適應(yīng)能力和自學(xué)習(xí)能力。

4、帶慣性權(quán)重的微粒群算法的Matlab程序設(shè)計和瓦斯突出預(yù)測

使用Matlab進(jìn)行程序時所用到的函數(shù)如下：

PSO：主函數(shù)，用于調(diào)用微粒群算法。

DrawSwarm：繪圖函數(shù)，主要用來反映每個微粒的進(jìn)化過程。

psoOption：參數(shù)顯示函數(shù)，主要用于顯示帶慣性權(quán)重的微粒群算法的參數(shù)設(shè)置情況。

使用多個函數(shù)形成函數(shù)模塊，實(shí)現(xiàn)對隱單元RBF的中心ci的確定和優(yōu)化。帶慣性權(quán)重的微粒群算法進(jìn)行確定和優(yōu)化神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci的函數(shù)模塊為：[fxmin,xmin,Swarm,history]=pso(input,psoOptions);

選取一定量的信息形成數(shù)據(jù)庫，然后隨機(jī)的劃分為若干個子數(shù)據(jù)庫，通過學(xué)習(xí)訓(xùn)練來產(chǎn)生一些中心c1,c2,c3……，然后再組成種群，利用函數(shù)模塊來確定和優(yōu)化RBF的中心。具體實(shí)驗(yàn)數(shù)據(jù)如下表1所示：

利用Matlab運(yùn)行該函數(shù)模塊來確定和優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)時，算法程序運(yùn)行時出現(xiàn)的最優(yōu)適應(yīng)度值隨著迭代次數(shù)的變化如圖2所示。

當(dāng)函數(shù)模塊算法程序運(yùn)行時出現(xiàn)的適應(yīng)度值滿足要求時，說明此時的ci的最優(yōu)化完成，可以來確定RBF神經(jīng)網(wǎng)絡(luò)。

把上面經(jīng)過優(yōu)化神經(jīng)網(wǎng)絡(luò)來進(jìn)行瓦斯突出預(yù)測，需要預(yù)測的樣本數(shù)據(jù)如下表2所示：

其中運(yùn)行結(jié)果用1表示安全，-1表示突出。

運(yùn)用MATLAB對樣本數(shù)據(jù)進(jìn)行測試，測試代碼如下：

pl=[0.809.011.530.2 ]；

p2=[0.153.51.27.3]：

y1=sim(net，p1) ；

y2=sim(net，p2) ；

最后預(yù)測結(jié)果是y1=-0.9908，y2=1.005；

可見該系統(tǒng)能夠準(zhǔn)確的預(yù)測出瓦斯突出。

總結(jié)

使用RBF神經(jīng)網(wǎng)絡(luò)來進(jìn)行瓦斯突出預(yù)測比其他方式的預(yù)測具有很好的效果，但是由于煤礦的環(huán)境比較特殊，瓦斯突出產(chǎn)生的機(jī)理比較復(fù)雜，并且不同煤礦的影響瓦斯突出的因素也不相同，所以要求神經(jīng)網(wǎng)絡(luò)具有很好的適應(yīng)性和自學(xué)習(xí)能力。但是RBF神經(jīng)網(wǎng)絡(luò)的隱單元RBF的中心ci的確定是基于數(shù)據(jù)空間局部的信息，很難都到全局最優(yōu)，嚴(yán)重影響了RBF神經(jīng)網(wǎng)絡(luò)的適應(yīng)性和自學(xué)習(xí)能力。本文利用帶慣性權(quán)重的微粒群算法來確定和優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)，慣性權(quán)重w能起到保證全局最優(yōu)和局部搜索能力的平衡的作用，能夠在保證全局最優(yōu)的前提下，提高搜索全局最優(yōu)的速度，提高了預(yù)測的準(zhǔn)確度。

參考文獻(xiàn)

第6篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

（江蘇科技大學(xué)電子信息學(xué)院，江蘇鎮(zhèn)江212003）

摘要：在實(shí)際交通環(huán)境中，由于運(yùn)動模糊、背景干擾、天氣條件以及拍攝視角等因素，所采集的交通標(biāo)志的圖像質(zhì)量往往不高，這就對交通標(biāo)志自動識別的準(zhǔn)確性、魯棒性和實(shí)時性提出了很高的要求。針對這一情況，提出一種基于深層卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別方法。該方法采用深層卷積神經(jīng)網(wǎng)絡(luò)的有監(jiān)督學(xué)習(xí)模型，直接將采集的交通標(biāo)志圖像經(jīng)二值化后作為輸入，通過卷積和池采樣的多層處理，來模擬人腦感知視覺信號的層次結(jié)構(gòu)，自動地提取交通標(biāo)志圖像的特征，最后再利用一個全連接的網(wǎng)絡(luò)實(shí)現(xiàn)交通標(biāo)志的識別。實(shí)驗(yàn)結(jié)果表明，該方法利用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)能力，自動地提取交通標(biāo)志的特征，避免了傳統(tǒng)的人工特征提取，有效地提高了交通標(biāo)志識別的效率，具有良好的泛化能力和適應(yīng)范圍。

關(guān)鍵詞 ：交通標(biāo)志；識別；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)

中圖分類號：TN911.73?34；TP391.41 文獻(xiàn)標(biāo)識碼：A 文章編號：1004?373X（2015）13?0101?06

收稿日期：2015?01?09

基金項(xiàng)目：國家自然科學(xué)基金面上項(xiàng)目（61371114）

0 引言

隨著智能汽車的發(fā)展，道路交通標(biāo)志的自動識別[1?3]作為智能汽車的基本技術(shù)之一，受到人們的高度關(guān)注。道路交通標(biāo)志識別主要包括兩個基本環(huán)節(jié)：首先是交通標(biāo)志的檢測，包括交通標(biāo)志的定位、提取及必要的預(yù)處理；其次是交通標(biāo)志的識別，包括交通標(biāo)志的特征提取和分類。

如今，交通標(biāo)志的識別方法大多數(shù)都采用人工智能技術(shù)，主要有下述兩類形式[4]。一種是采用“人工特征+機(jī)器學(xué)習(xí)”的識別方法，如基于淺層神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)的特征識別等。在這種方法中，主要依靠先驗(yàn)知識，人工設(shè)計特征，機(jī)器學(xué)習(xí)模型僅負(fù)責(zé)特征的分類或識別，因此特征設(shè)計的好壞直接影響到整個系統(tǒng)性能的性能，而要發(fā)現(xiàn)一個好的特征，則依賴于研究人員對待解決的問題的深入理解。另一種形式是近幾年發(fā)展起來的深度學(xué)習(xí)模型[5]，如基于限制波爾茲曼機(jī)和基于自編碼器的深度學(xué)習(xí)模型以及卷積神經(jīng)網(wǎng)絡(luò)等。在這種方法中，無需構(gòu)造任何的人工特征，而是直接將圖像的像素作為輸入，通過構(gòu)建含有多個隱層的機(jī)器學(xué)習(xí)模型，模擬人腦認(rèn)知的多層結(jié)構(gòu)，逐層地進(jìn)行信息特征抽取，最終形成更具推廣性和表達(dá)力的特征，從而提升識別的準(zhǔn)確性。

卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)模型之一，是一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，它利用一系列的卷積層、池化層以及一個全連接輸出層構(gòu)建一個多層的網(wǎng)絡(luò)，來模仿人腦感知視覺信號的逐層處理機(jī)制，以實(shí)現(xiàn)視覺特征信號的自動提取與識別。本文將深層卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于道路交通標(biāo)志的識別，通過構(gòu)建一個由二維卷積和池化處理交替組成的6層網(wǎng)絡(luò)來逐層地提取交通標(biāo)志圖像的特征，所形成的特征矢量由一個全連接輸出層來實(shí)現(xiàn)特征的分類和識別。實(shí)驗(yàn)中將加入高斯噪聲、經(jīng)過位移、縮放和旋轉(zhuǎn)處理的交通標(biāo)志圖像以及實(shí)際道路采集交通標(biāo)志圖像分別構(gòu)成訓(xùn)練集和測試集，實(shí)驗(yàn)結(jié)果表明，本文所采用的方法具有良好的識別率和魯棒性。

1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及原理

1.1 深度學(xué)習(xí)

神經(jīng)科學(xué)研究表明，哺乳動物大腦皮層對信號的處理沒有一個顯示的過程[5]，而是通過信號在大腦皮層復(fù)雜的層次結(jié)構(gòu)中的遞進(jìn)傳播，逐層地對信號進(jìn)行提取和表述，最終達(dá)到感知世界的目的。這些研究成果促進(jìn)了深度學(xué)習(xí)這一新興研究領(lǐng)域的迅速發(fā)展。

深度學(xué)習(xí)[4，6?7]的目的就是試圖模仿人腦感知視覺信號的機(jī)制，通過構(gòu)建含有多個隱層的多層網(wǎng)絡(luò)來逐層地對信號特征進(jìn)行新的提取和空間變換，以自動學(xué)習(xí)到更加有效的特征表述，最終實(shí)現(xiàn)視覺功能。目前深度學(xué)習(xí)已成功地應(yīng)用到語音識別、圖像識別和語言處理等領(lǐng)域。在不同學(xué)習(xí)框架下構(gòu)建的深度學(xué)習(xí)結(jié)構(gòu)是不同的，如卷積神經(jīng)網(wǎng)絡(luò)就是一種深度的監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型。

1.2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)及原理

卷積神經(jīng)網(wǎng)絡(luò)受視覺系統(tǒng)的結(jié)構(gòu)啟發(fā)而產(chǎn)生，第一個卷積神經(jīng)網(wǎng)絡(luò)計算模型是在Fukushima 的神經(jīng)認(rèn)知機(jī)中提出的[8]，基于神經(jīng)元之間的局部連接和分層組織圖像轉(zhuǎn)換，將有相同參數(shù)的神經(jīng)元應(yīng)用于前一層神經(jīng)網(wǎng)絡(luò)的不同位置，得到一種平移不變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)形式。后來，LeCun 等人在該思想的基礎(chǔ)上，用誤差梯度設(shè)計并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)[9?10]，在一些模式識別任務(wù)上得到優(yōu)越的性能。

卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一種有監(jiān)督的深度學(xué)習(xí)算法，無需事先知道輸入與輸出之間精確的數(shù)學(xué)表達(dá)式，只要用已知的模式對卷積神經(jīng)網(wǎng)絡(luò)加以訓(xùn)練，就可以學(xué)習(xí)到輸入與輸出之間的一種多層的非線性關(guān)系，這是非深度學(xué)習(xí)算法不能做到的。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)是由一系列的卷積和池化層以及一個全連接的輸出層組成，可以采用梯度下降法極小化誤差函數(shù)對網(wǎng)絡(luò)中的權(quán)值和閾值參數(shù)逐層反向調(diào)節(jié)，以得到網(wǎng)絡(luò)權(quán)值和閾值的最優(yōu)解，并可以通過增加迭代次數(shù)來提高網(wǎng)絡(luò)訓(xùn)練的精度。

1.2.1 前向傳播

在卷積神經(jīng)網(wǎng)絡(luò)的前向傳播中，輸入的原始圖像經(jīng)過逐層的卷積和池化處理后，提取出若干特征子圖并轉(zhuǎn)換成一維特征矢量，最后由全連接的輸出層進(jìn)行分類識別。

在卷積層中，每個卷積層都可以表示為對前一層輸入圖像的二維卷積和非線性激勵函數(shù)，其表達(dá)式可用式（1）表示：

式中：Yj 表示輸出層中第j 個輸出；Y l + 1i 是前一層（l + 1層）

的輸出特征（全連接的特征向量）；n 是輸出特征向量的長度；Wij 表示輸出層的權(quán)值，連接輸入i 和輸出j ；bj表示輸出層第j 個輸出的閾值；f (?) 是輸出層的非線性

1.2.2 反向傳播

在反向傳播過程中，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法采用類似于BP神經(jīng)網(wǎng)絡(luò)的梯度最速下降法，即按極小化誤差的方法反向傳播調(diào)整權(quán)值和閾值。網(wǎng)絡(luò)反向傳播回來的誤差是每個神經(jīng)元的基的靈敏度[12]，也就是誤差對基的變化率，即導(dǎo)數(shù)。下面將分別求出輸出層、池采樣層和卷積層的神經(jīng)元的靈敏度。

（1）輸出層的靈敏度

對于誤差函數(shù)式（6）來說，輸出層神經(jīng)元的靈敏度可表示為：

在前向傳播過程中，得到網(wǎng)絡(luò)的實(shí)際輸出，進(jìn)而求出實(shí)際輸出與目標(biāo)輸出之間的誤差；在反向傳播過程中，利用誤差反向傳播，采用式（17）~式（20）來調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，極小化誤差；這樣，前向傳播和反向傳播兩個過程反復(fù)交替，直到達(dá)到收斂的要求為止。

2 深層卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識別方法

2.1 應(yīng)用原理

交通標(biāo)志是一種人為設(shè)計的具有特殊顏色（如紅、黃、白、藍(lán)、黑等）和特殊形狀或圖形的公共標(biāo)志。我國的交通標(biāo)志主要有警告、禁令、指示和指路等類型，一般采用顏色來區(qū)分不同的類型，用形狀或圖形來標(biāo)示具體的信息。從交通標(biāo)志設(shè)計的角度來看，屬于不同類型（不同顏色）的交通標(biāo)志在形狀或圖形上有較大的差異；屬于相同類型（相同顏色）的標(biāo)志中同類的指示信息標(biāo)志在形狀或圖形上比較接近，如警告標(biāo)志中的平面交叉路口標(biāo)志等。因此，從機(jī)器視覺的角度來分析，同類型中同類指示信息的標(biāo)志之間會比不同類型的標(biāo)志之間更易引起識別錯誤。換句話說，相比于顏色，形狀或圖形是正確識別交通標(biāo)志的關(guān)鍵因素。

因此，在應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)識別交通標(biāo)志時，從提高算法效率和降低錯誤率綜合考慮，將交通標(biāo)志轉(zhuǎn)換為灰度圖像并作二值化處理后作為卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像信息。圖2給出了應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)識別交通標(biāo)志的原理圖。該網(wǎng)絡(luò)采用了6層交替的卷積層和池采樣層來逐層提取交通標(biāo)志的特征，形成的特征矢量由一個全連接的輸出層進(jìn)行識別。圖中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分別表示卷積層L1,L3,…,Ln - 1 的卷積核；Input表示輸入的交通標(biāo)志圖像；

Pool表示每個池采樣層的采樣池；map表示逐層提取的特征子圖；Y 是最終的全連接輸出。

交通標(biāo)志識別的判別準(zhǔn)則為：對于輸入交通標(biāo)志圖像Input，網(wǎng)絡(luò)的輸出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，則Input ∈ j，即判定輸入的交通標(biāo)志圖像Input為第j 類交通標(biāo)志。

2.2 交通標(biāo)志識別的基本步驟

深層神經(jīng)網(wǎng)絡(luò)識別交通標(biāo)志主要包括交通標(biāo)志的訓(xùn)練與識別，所以將交通標(biāo)志識別歸納為以下4個步驟：（1） 圖像預(yù)處理：利用公式Gray= 0.299R +0.587G + 0.114B 將彩色交通標(biāo)志圖像轉(zhuǎn)換為灰度圖像，再利用鄰近插值法將交通標(biāo)志圖像規(guī)格化，最后利用最大類間方差將交通標(biāo)志圖像二值化。

（2）網(wǎng)絡(luò)權(quán)值和閾值的初始化：利用隨機(jī)分布函數(shù)將權(quán)值W 初始化為-1~1之間的隨機(jī)數(shù)；而將閾值b 初始化為0。

（3）網(wǎng)絡(luò)的訓(xùn)練：利用經(jīng)過預(yù)處理的交通標(biāo)志圖像構(gòu)成訓(xùn)練集，對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過網(wǎng)絡(luò)前向傳播和反向傳播的反復(fù)交替處理，直到滿足識別收斂條件或達(dá)到要求的訓(xùn)練次數(shù)為止。

（4）交通標(biāo)志的識別：將實(shí)際采集的交通標(biāo)志圖像經(jīng)過預(yù)處理后，送入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行交通標(biāo)志特征的提取，然后通過一個全連接的網(wǎng)絡(luò)進(jìn)行特征分類與識別，得到識別結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)主要選取了我國道路交通標(biāo)志的警告標(biāo)志、指示標(biāo)志和禁令標(biāo)志三類中較常見的50幅圖像。考慮到在實(shí)際道路中采集到的交通標(biāo)志圖像會含有噪聲和出現(xiàn)幾何失真以及背景干擾等現(xiàn)象，因此在構(gòu)造網(wǎng)絡(luò)訓(xùn)練集時，除了理想的交通標(biāo)志以外，還增加了加入高斯噪聲、經(jīng)過位移、旋轉(zhuǎn)和縮放處理和實(shí)際采集到的交通標(biāo)志圖像，因此最終的訓(xùn)練樣本為72個。其中，加入的高斯噪聲為均值為0，方差分別為0.1，0.2，0.3，圖像的位移、旋轉(zhuǎn)、縮放的參數(shù)分別隨機(jī)的分布在±10，±5°，0.9~1.1的范圍內(nèi)。圖3給出了訓(xùn)練集中的交通標(biāo)志圖像的示例。圖4是在實(shí)際道路中采集的交通標(biāo)志圖像構(gòu)成的測試集的示例。

在實(shí)驗(yàn)中構(gòu)造了一個輸入為48×48個神經(jīng)元、輸出為50 個神經(jīng)元的9 層網(wǎng)絡(luò)。網(wǎng)絡(luò)的輸入是像素為48 × 48 的規(guī)格化的交通標(biāo)志圖像，輸出對應(yīng)于上述的50種交通標(biāo)志的判別結(jié)果。網(wǎng)絡(luò)的激活函數(shù)采用S型函數(shù)，如式（2）所示，其輸出范圍限制在0~1之間。

圖6是交通標(biāo)志的訓(xùn)練總誤差EN 曲線。在訓(xùn)練開始的1 500次，誤差能迅速地下降，在迭代2 000次以后是一個平穩(wěn)的收斂過程，當(dāng)?shù)?0萬次時，總誤差EN可以達(dá)到0.188 2。

在交通標(biāo)志的測試實(shí)驗(yàn)中，為了全面檢驗(yàn)卷積神經(jīng)網(wǎng)絡(luò)的識別性能，分別針對理想的交通標(biāo)志，加入高斯噪聲、經(jīng)過位移、旋轉(zhuǎn)和比例縮放以及采集的交通標(biāo)志圖像進(jìn)行實(shí)驗(yàn)，將以上測試樣本分別送入到網(wǎng)絡(luò)中識別，表2給出了測試實(shí)驗(yàn)結(jié)果。

綜合分析上述實(shí)驗(yàn)結(jié)果，可以得到以下結(jié)論：（1）在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)過程中，整個網(wǎng)絡(luò)的誤差曲線快速平穩(wěn)的下降，體現(xiàn)出卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)具有良好的收斂性。

（2）經(jīng)逐層卷積和池采樣所提取的特征具有比例縮放和旋轉(zhuǎn)不變性，因此對于旋轉(zhuǎn)和比例縮放后的交通標(biāo)志能達(dá)到100%的識別率。

（3）與傳統(tǒng)的BP網(wǎng)絡(luò)識別方法[11]相比較，卷積神經(jīng)網(wǎng)絡(luò)能夠達(dá)到更深的學(xué)習(xí)深度，即在交通標(biāo)志識別時能夠得到更高的所屬類別概率（更接近于1），識別效果更好。

（4）卷積神經(jīng)網(wǎng)絡(luò)對實(shí)際采集的交通標(biāo)志圖像的識別率尚不能達(dá)到令人滿意的結(jié)果，主要原因是實(shí)際道路中采集的交通標(biāo)志圖像中存在著較嚴(yán)重的背景干擾，解決的辦法是增加實(shí)際采集的交通標(biāo)志訓(xùn)練樣本數(shù)，通過網(wǎng)絡(luò)的深度學(xué)習(xí)，提高網(wǎng)絡(luò)的識別率和魯棒性。

4 結(jié)論

本文將深層卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于道路交通標(biāo)志的識別，利用卷積神經(jīng)網(wǎng)絡(luò)的深層結(jié)構(gòu)來模仿人腦感知視覺信號的機(jī)制，自動地提取交通標(biāo)志圖像的視覺特征并進(jìn)行分類識別。實(shí)驗(yàn)表明，應(yīng)用深層卷積神經(jīng)網(wǎng)絡(luò)識別交通標(biāo)志取得了良好的識別效果。

在具體實(shí)現(xiàn)中，從我國交通標(biāo)志的設(shè)計特點(diǎn)考慮，本文將經(jīng)過預(yù)處理二值化的圖像作為網(wǎng)絡(luò)的輸入，主要是利用了交通標(biāo)志的形狀信息，而基本略去了顏色信息，其優(yōu)點(diǎn)是在保證識別率的基礎(chǔ)上，可以簡化網(wǎng)絡(luò)的結(jié)構(gòu)，降低網(wǎng)絡(luò)的計算量。在實(shí)際道路交通標(biāo)志識別中，將形狀信息和顏色信息相結(jié)合，以進(jìn)一步提高識別率和對道路環(huán)境的魯棒性，是值得進(jìn)一步研究的內(nèi)容。

此外，本文的研究沒有涉及到道路交通標(biāo)志的動態(tài)檢測，這也是今后可以進(jìn)一步研究的內(nèi)容。

參考文獻(xiàn)

[1] 劉平華，李建民，胡曉林，等.動態(tài)場景下的交通標(biāo)識檢測與識別研究進(jìn)展[J].中國圖象圖形學(xué)報，2013，18（5）：493?503.

[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.

[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.

[4] 中國計算機(jī)學(xué)會.深度學(xué)習(xí)：推進(jìn)人工智能夢想[EB/OL].[2013?06?10].http：//ccg.org.cn.

[5] 鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識別中的新進(jìn)展[J].中國圖象圖形學(xué)報，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.

[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.

[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.

[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.

[11] 楊斐，王坤明，馬欣，等.應(yīng)用BP神經(jīng)網(wǎng)絡(luò)分類器識別交通標(biāo)志[J].計算機(jī)工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.

[13] 周開利，康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其Matlab 仿真設(shè)計[M].北京：清華大學(xué)出版社，2005.

[14] 孫志軍，薛磊，許陽明，等.深度學(xué)習(xí)研究綜述[J].計算機(jī)應(yīng)用研究，2012，29（8）：2806?2810.

[15] 劉建偉，劉媛，羅雄麟.深度學(xué)習(xí)研究進(jìn)展[J].計算機(jī)應(yīng)用研究，2014（7）：1921?1930.

第7篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

關(guān)鍵詞：棉紡設(shè)備；運(yùn)行狀態(tài)；BP神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2014）04-0824-05

紡織行業(yè)十分重視各項(xiàng)基礎(chǔ)管理，其中棉紡設(shè)備的管理是各項(xiàng)生產(chǎn)管理的基礎(chǔ)。棉紡設(shè)備的使用好壞直接影響企業(yè)生產(chǎn)過程中的生產(chǎn)效率、產(chǎn)品的質(zhì)量、產(chǎn)品的產(chǎn)量和生產(chǎn)成本的消耗，成為影響紡織企業(yè)經(jīng)濟(jì)效益提升的很重要的因素。因此，正確的對棉紡設(shè)備的運(yùn)行狀態(tài)進(jìn)行評估，從而制定更加合理的檢修計劃，就顯得尤為重要[1]。

目前，企業(yè)的定期大、小平車管理制度體現(xiàn)了設(shè)備檢修中預(yù)防為主的思想，它相對于那種事后檢修策略是進(jìn)步的。但這種檢修管理制度由于沒有考慮各類設(shè)備初始狀態(tài)的差異性，以及設(shè)備在不同環(huán)境下運(yùn)行狀態(tài)的變化，因而既在理論上有缺陷，又在實(shí)際中有盲目性。

隨著科學(xué)技術(shù)的進(jìn)步和發(fā)展，新工藝與新產(chǎn)品的不斷涌現(xiàn)，中外技術(shù)的不斷交流，棉紡設(shè)備的質(zhì)量得到很大提高，棉紡設(shè)備已有了本質(zhì)的飛躍。機(jī)電一體化、半自動、全自動棉紡設(shè)備大量使用，新技術(shù)、新成果不斷應(yīng)用，設(shè)備的運(yùn)行可靠性大大提高了；因此，紡織設(shè)備的維護(hù)已出現(xiàn)了新問題。如果繼續(xù)按大、小平車檢修管理制度所規(guī)定的周期對設(shè)備進(jìn)行頻繁的檢修，勢必要大幅度增加維修人員和檢修工作量，增加企業(yè)生產(chǎn)和管理成本。因此，需要一個更好的對設(shè)備運(yùn)行狀態(tài)做一個綜合評估的預(yù)測評估，來指導(dǎo)設(shè)備的大小平、部分保全等的選擇[2]。

我們根據(jù)紡織企業(yè)的特點(diǎn)和某企業(yè)的實(shí)際情況，利用基于動量因子的BP神經(jīng)網(wǎng)絡(luò)模型，確立一個新的評估棉紡設(shè)備運(yùn)行狀態(tài)的評估標(biāo)準(zhǔn)，為該企業(yè)棉紡設(shè)備的綜合管理提供一個重要的參考依據(jù)。

1 設(shè)備運(yùn)行狀態(tài)預(yù)測方法的確定

設(shè)備運(yùn)行狀態(tài)預(yù)測模型是一個復(fù)雜的非線性模型，影響設(shè)備運(yùn)行狀態(tài)的因素也比較多，且各個因素之間會存在不同程度的耦合關(guān)系。BP神經(jīng)元網(wǎng)絡(luò)對于非線性模型具有模型優(yōu)化的能力，所以通過使用BP神經(jīng)網(wǎng)絡(luò)模型來對設(shè)備運(yùn)行狀態(tài)進(jìn)行預(yù)測比較可行[3]。

BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。

利用BP神經(jīng)網(wǎng)絡(luò)模型解決設(shè)備的運(yùn)行狀態(tài)預(yù)測問題的流程大致為：經(jīng)過前期的資料調(diào)研，確定影響設(shè)備運(yùn)行狀態(tài)的關(guān)鍵因素（特征值），然后采集這些關(guān)鍵因素的數(shù)據(jù)，并進(jìn)行數(shù)據(jù)處理，從中提取出樣本數(shù)據(jù)，建立合適的神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練和學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，最終實(shí)現(xiàn)預(yù)測設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)的功能。預(yù)測流程圖如圖1所示。

2 BP神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)設(shè)計

根據(jù)紡織設(shè)備的運(yùn)維特點(diǎn)，其中以某一類設(shè)備（如細(xì)紗機(jī)）的某一種相同型號（如FA506）為例，分別從技術(shù)性指標(biāo)、經(jīng)濟(jì)性指標(biāo)、環(huán)境性指標(biāo)、安全健康指標(biāo)等方面考慮，可以選取以下幾個特征參數(shù)：設(shè)備殘值、月折舊額、月產(chǎn)量、單位產(chǎn)品成本、單位產(chǎn)品維護(hù)費(fèi)用、能源利用率、噪聲、設(shè)備安全性等來表示設(shè)備的運(yùn)行狀態(tài)特點(diǎn)，即作為網(wǎng)絡(luò)的輸入。

在所選輸入?yún)?shù)中，設(shè)備殘值指的是設(shè)備現(xiàn)有的剩余價值，且設(shè)備殘值越高，對應(yīng)的設(shè)備運(yùn)行狀態(tài)一般也越好；月折舊額指的是設(shè)備每月折損的價值，月折舊額越低，對應(yīng)的設(shè)備運(yùn)行狀態(tài)一般越好；月產(chǎn)量指的是該臺設(shè)備每月實(shí)際生產(chǎn)的合格產(chǎn)品數(shù)量，產(chǎn)量越高，說明設(shè)備的生產(chǎn)能力越強(qiáng)，運(yùn)行狀態(tài)一般越好；單位產(chǎn)品成本指的是設(shè)備生產(chǎn)出來單位產(chǎn)品所需要的生產(chǎn)費(fèi)用，所需費(fèi)用越少，成本越低，設(shè)備運(yùn)行狀態(tài)一般越好；單位產(chǎn)品維修費(fèi)用指的是生產(chǎn)單位產(chǎn)品所需要的維修費(fèi)用，所需費(fèi)用越少，則說明設(shè)備運(yùn)行狀態(tài)一般越好；能源利用率主要指對能源的利用效率，利用效率越高，則說明設(shè)備運(yùn)行狀態(tài)一般越好；噪聲主要指設(shè)備運(yùn)行生產(chǎn)過程中的聒噪程度，噪聲越低，工作環(huán)境越好，設(shè)備運(yùn)行情況一般越好；設(shè)備安全性主要指設(shè)備運(yùn)行操作時的安全指數(shù)，安全指數(shù)越高，越有利于設(shè)備的正常運(yùn)行，設(shè)備的運(yùn)行狀態(tài)才越好。

根據(jù)紡織設(shè)備的實(shí)際情況，把設(shè)備運(yùn)行狀態(tài)作為評定運(yùn)行設(shè)備優(yōu)劣標(biāo)準(zhǔn)的網(wǎng)絡(luò)的輸出，即優(yōu)秀、良好、一般、較差四個標(biāo)準(zhǔn)，分別用3、2、1、0表示。

由上述分析可得，網(wǎng)絡(luò)輸入為8個，輸出為1個。由于網(wǎng)絡(luò)層次太多會影響網(wǎng)絡(luò)收斂速度，本例選擇三層網(wǎng)絡(luò)結(jié)構(gòu)，即只有一層隱含層，就能夠合理的解決本預(yù)測問題。隱含層的神經(jīng)元個數(shù)不是固定的，常用的經(jīng)驗(yàn)公式為[I=M+P+A]（M、I、P分別表示輸入層、隱含層、輸出層的神經(jīng)元個數(shù)，A為1到10之間的常數(shù)）[4]。經(jīng)過實(shí)際訓(xùn)練的檢驗(yàn)和不斷的對隱含層神經(jīng)元個數(shù)的調(diào)整，可最終確定隱含層節(jié)點(diǎn)的個數(shù)為5。

大致的網(wǎng)絡(luò)模型圖如圖2所示，圖中M=8，I=5，P=1。

根據(jù)確定的網(wǎng)絡(luò)結(jié)構(gòu)，通過動量梯度下降法進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練實(shí)驗(yàn)，對不同的學(xué)習(xí)速率和動量因子分別進(jìn)行取值調(diào)整，進(jìn)而得到不同的誤差精度和收斂速度的比較，最終可確定學(xué)習(xí)速率η=0.04，動量因子α=0.88。

3 基于動量因子的BP神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練

常用的三層BP神經(jīng)網(wǎng)絡(luò)由以下三部分構(gòu)成：一個輸入層、一個隱含層和一個輸出層。層內(nèi)神經(jīng)元之間沒有連接，層與層之間的神經(jīng)元由可以通過學(xué)習(xí)修正的權(quán)值（Weight）互連。

設(shè)BP網(wǎng)絡(luò)的輸入層為x，有M個輸入信號；隱含層為y，有I個神經(jīng)元；輸出層為z，有P個輸出神經(jīng)元。其中，

各個神經(jīng)網(wǎng)絡(luò)層的輸出由輸入和轉(zhuǎn)移函數(shù)決定。BP神經(jīng)網(wǎng)絡(luò)通常采用Sigmoid函數(shù)作為轉(zhuǎn)移函數(shù)。Sigmoid函數(shù)的數(shù)學(xué)表達(dá)式為：[f（x）=11+e-x]。

BP網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練方法有很多種，如標(biāo)準(zhǔn)誤差反向傳播算法、累積誤差校正算法、Sigmoid函數(shù)輸出限幅的BP算法、增加動量項(xiàng)的BP算法、學(xué)習(xí)速率自適應(yīng)調(diào)整算法等[5]。其中最常用到的是累積誤差校正算法，其算法步驟可描述如下[6]：

第一步：初始化：賦給權(quán)值W1MI（1）、W2IP（1）及閾值θ、γ各一個較小的[-1，+1]區(qū)間的隨機(jī)非零值，n=1。

第二步：隨機(jī)選取一個輸入樣本Xk。

第三步：對于輸入樣本Xk，前向計算BP網(wǎng)絡(luò)每層神經(jīng)元的輸入信號和輸出信號。設(shè)輸入層的輸入和輸出分別為[ukxm]和[vkxm]，隱含層的輸入和輸出分別為[ukyi]和[vkyi]，輸出層的輸入和輸出分別為[ukzp]和[vkzp]。

輸入層的各個處理單元對輸入模式不進(jìn)行處理，即輸入層的輸出與輸入相同：

隱含層各個神經(jīng)元的凈輸入和輸出分別為：

輸出層各個神經(jīng)元的凈輸入和實(shí)際輸出分別為：

第四步：由訓(xùn)練樣本的輸出dk和上一步求得的實(shí)際輸出Yk（n），計算輸出層各個神經(jīng)元的校正誤差：

輸出層的誤差能量總和可定義為：

隱含層各個神經(jīng)元的校正誤差：

修正隱含層至輸出層的連接權(quán)值w2ip和輸出層神經(jīng)元的閾值γ，其修正式為：

修正輸入層至隱含層的連接權(quán)值w1mi和輸出層神經(jīng)元的閾值θ，其修正式為：

第五步：隨機(jī)選取下一個輸入樣本提供給網(wǎng)絡(luò)，返回第三步，直至全部N個樣本訓(xùn)練完畢。

第六步：判斷網(wǎng)絡(luò)全局誤差[E=k=1NEk]是否滿足精度要求，即[E≤ε]。若滿足，則轉(zhuǎn)到第八步，否則繼續(xù)。

第七步：更新網(wǎng)絡(luò)學(xué)習(xí)次數(shù)，即n=n+1，若學(xué)習(xí)次數(shù)小于規(guī)定的次數(shù)，則返回第二步，否則繼續(xù)。

第八步：結(jié)束，得到最終的閾值和權(quán)值。

不過，上述的BP算法存在兩個問題：①由于BP算法的基本思想是基于梯度下降法將各個權(quán)值和閾值向著減小誤差的方向調(diào)整，并且梯度下降法的原理保證在只有一個極小值時才絕對有效，但在很多時候誤差曲線有許多的局部極小值。因此，該BP算法可能會陷入局部極小值。②如果權(quán)值的初始值位于梯度比較小的位置，則必須經(jīng)過多次調(diào)整權(quán)值來才有可能最終收斂。所以，該BP學(xué)習(xí)算法的收斂速度可能較慢。

通過加入動量項(xiàng)可以進(jìn)一步改進(jìn)該BP網(wǎng)絡(luò)，從而更加快速準(zhǔn)確的實(shí)現(xiàn)運(yùn)行設(shè)備的狀態(tài)評估預(yù)測。其具體步驟就是在計算權(quán)值修正量的時候，加入一個動量項(xiàng)，即令

再將上式寫成以t為變量的時間序列，t由1到n。則上式可看成是w2ip（n）的一階差分方程，即

最終可推得

當(dāng)本次的[?E（t）?w2ip（t）]與前一次同符號時，其加權(quán)求和值增大，使得w2ip（n）較大，從而加快了調(diào)節(jié)速度；當(dāng)本次的[?E（t）?w2ip（t）]與前一次符號相反時，其加權(quán)求和值變小，w2ip（n）也減小，起到了穩(wěn)定作用。

通過在BP算法中加入動量項(xiàng)，不僅可以微調(diào)權(quán)值的修正量，使得收斂速度加快，也可以使學(xué)習(xí)避免陷入局部最小。

正是由于加入動量項(xiàng)的BP神經(jīng)網(wǎng)絡(luò)隨著誤差反向傳播不斷地進(jìn)行修正，不斷提高對輸入模式識別的正確率，而且修正速度也加快許多，因此，該BP網(wǎng)絡(luò)模型可以合理地解決該預(yù)測問題。

4 實(shí)例分析

下面以某棉紡廠近十年來型號為FA506的細(xì)紗機(jī)設(shè)備為例，其設(shè)備運(yùn)行狀態(tài)情況及主要影響因素的部分樣本數(shù)據(jù)如表1所示：

狀態(tài)及主要影響因素的部分樣本數(shù)據(jù)

根據(jù)動量梯度下降法原理，采用上述的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)速率為0.04，動量因子為0.88，使用前190組樣本數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可設(shè)置網(wǎng)絡(luò)全局誤差目標(biāo)值為0.01，最大學(xué)習(xí)次數(shù)為1000次。

網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練完成之后，得到最終的閾值和權(quán)值。采用最后10組樣本數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行診斷，可得到設(shè)備運(yùn)行狀態(tài)的診斷預(yù)測結(jié)果，再將診斷結(jié)果進(jìn)行乘以3的處理，與期望結(jié)果進(jìn)行比較，如表2所示：

從實(shí)際的預(yù)測結(jié)果可以看出，期望結(jié)果應(yīng)該為0的數(shù)據(jù)預(yù)測所得的結(jié)果近似為0，期望結(jié)果應(yīng)該為1的數(shù)據(jù)預(yù)測所得的結(jié)果近似為1，期望結(jié)果應(yīng)該為2的數(shù)據(jù)預(yù)測所得的結(jié)果近似為2，期望結(jié)果應(yīng)該為3的數(shù)據(jù)預(yù)測所得的結(jié)果近似為3。因此，所測的每組數(shù)據(jù)都符合誤差要求，而且平均誤差約為0.00180556。

從測試結(jié)果可以看出，基于改進(jìn)動量因子的BP神經(jīng)網(wǎng)絡(luò)不但能夠解決棉紡設(shè)備運(yùn)行狀態(tài)預(yù)測的非線性問題，而且預(yù)測結(jié)果比較符合要求，預(yù)測誤差也非常小。因此，該神經(jīng)網(wǎng)絡(luò)模型完全可以滿足設(shè)備運(yùn)行狀態(tài)預(yù)測的要求。

5 結(jié)論

通過前面的實(shí)例，我們可以知道，通過改進(jìn)動量因子的BP神經(jīng)網(wǎng)絡(luò)算法來預(yù)測棉紡設(shè)備的運(yùn)行狀態(tài)情況，可以彌補(bǔ)傳統(tǒng)方法評估設(shè)備的不足，實(shí)現(xiàn)設(shè)備運(yùn)行狀態(tài)的智能化評估，具有很大的實(shí)用價值。通過設(shè)計合適的網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)速率和動量因子，得到的BP網(wǎng)絡(luò)可以保證誤差精度和收斂速度。最后，通過實(shí)驗(yàn)，我們可以對網(wǎng)絡(luò)進(jìn)行訓(xùn)練和診斷。實(shí)驗(yàn)結(jié)果表明：動量因子BP神經(jīng)網(wǎng)絡(luò)算法可以為設(shè)備管理者提供一個智能化的、可靠的評估設(shè)備運(yùn)行狀態(tài)水平的預(yù)測途徑，能夠使紡織廠的各項(xiàng)計劃得到有效、有序的實(shí)施，節(jié)省許多資源。

參考文獻(xiàn)：

[1] Pan Rongchang，Li Haixia Xu Linlan.Experience of Blowing-carding Unit State Maintenance and Management[J].Cotton Textile Technology，2011，3（3）：34-36.

[2] 蔣獻(xiàn)偉，黃民祥，許諾，等.供電設(shè)備檢修計劃優(yōu)化[J].電力系統(tǒng)及其自動化學(xué)報，2007，19（4）：116-120.

[3] Wikipedia.Artificial neural network[DB/OL].http：///wiki/Artificial_neural_network.

[4] Basheer A，Hajmeer M.Artificial neural networks： fundamentals， computing， design，and application.Neural Computting in Microbiology，2000，12（1）：3-31.

第8篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

Abstract: Cognitive radio technology provides new opportunities and challenges for the development of wireless communication. Intelligence is an important characteristic for cognitive radio, and application of artificial intelligence techniques is key to implement this characteristic. This paper will first provide our own research framework on cognitive radio, second give an overview of application of artificial intelligence to cognitive radio, and last introduce and simulate the application of neural network to cognitive radio.

關(guān)鍵詞： 人工智能；認(rèn)知無線電；神經(jīng)網(wǎng)絡(luò)

基金項(xiàng)目：國家重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃（“973”計劃）項(xiàng)目（2009CB320403）；國家自然科學(xué)基金資助項(xiàng)目（60832008，60832006）；國家科技重大專項(xiàng)課題（2009ZX03007-004）。

作者簡介：柴新代（1964-），男，北京人，本科，高級工程師，研究方向?yàn)橥ㄐ畔到y(tǒng)工程；董旭（1979-），男，河北景縣人，博士研究生，講師，研究方向?yàn)檎J(rèn)知無線電。

1 概述

無線通信技術(shù)的飛速發(fā)展，正在越來越深刻地影響著人們的生活。與此同時，無線通信技術(shù)的發(fā)展也面臨著嚴(yán)峻的考驗(yàn)，一方面頻譜資源的固定分配模式和利用率不均衡制約著無線通信寬帶化的發(fā)展，另一方面多種空中接口和網(wǎng)絡(luò)協(xié)議并存的局面為無線網(wǎng)絡(luò)的融合提出了挑戰(zhàn)。1999年Mitola博士提出的“認(rèn)知無線電（Cognitive Radio）”[1]為解決無線通信所面臨的問題提供了新的機(jī)遇。因此，認(rèn)知無線電技術(shù)迅速成為業(yè)界研究的熱點(diǎn)。

認(rèn)知是人類獲取運(yùn)用知識解決問題的一種抽象，將認(rèn)知運(yùn)用到無線電技術(shù)，會提高無線電系統(tǒng)的智能性，這也是認(rèn)知無線電技術(shù)區(qū)別于普通軟件無線電的最大特點(diǎn)。認(rèn)知無線電技術(shù)通過實(shí)時的獲取外部環(huán)境信息，并對這些信息進(jìn)行分析、學(xué)習(xí)和判斷，得到無線電知識，然后根據(jù)這些知識智能地調(diào)整各種通信參數(shù)，從而最終實(shí)現(xiàn)可靠的通信，并達(dá)到最佳的頻譜利用效率。人工智能技術(shù)為實(shí)現(xiàn)認(rèn)知無線電的智能性提供了可能，本文將主要圍繞多種人工智能技術(shù)在認(rèn)知無線電中的應(yīng)用進(jìn)行論述，下面將首先介紹認(rèn)知無線電智能化的基礎(chǔ)框架――認(rèn)知環(huán)路和認(rèn)知引擎，然后對幾種人工智能技術(shù)在認(rèn)知無線電中的應(yīng)用進(jìn)行簡要介紹，最后將詳細(xì)介紹神經(jīng)網(wǎng)絡(luò)在人工智能中的應(yīng)用，并通過仿真給出一個具體的示例。

2 相關(guān)工作

2.1 認(rèn)知環(huán)路 Mitola博士在提出認(rèn)知無線電概念的同時提出了OOPDAL（觀察-判斷-計劃-決策-行動-學(xué)習(xí)）認(rèn)知環(huán)路[1]，用以支持其認(rèn)知無線電架構(gòu)。此外，學(xué)術(shù)界還提出了多種認(rèn)知環(huán)路模型[2,3]，比較著名的有軍事戰(zhàn)略家Boyd提出的OODA（觀察-判斷-決策-行動）環(huán)路、IBM為自主計算提出的MAPE（監(jiān)測-分析-計劃-執(zhí)行）環(huán)路、Motorola為自主網(wǎng)絡(luò)提出的FOCALE（基礎(chǔ)-觀察-比較-行動-學(xué)習(xí)-擦除）環(huán)路等等。OOPDAL環(huán)路具有完整認(rèn)知功能和清晰的認(rèn)知過程，是設(shè)計認(rèn)知無線電最為理想的環(huán)路模型。本文對OOPDAL環(huán)路各環(huán)節(jié)進(jìn)行了重新定義，豐富了環(huán)路模型的內(nèi)涵與外延，并在原環(huán)路模型基礎(chǔ)上增加“知識庫”，明確表達(dá)了知識獲取與運(yùn)用的過程。

如圖1所示，經(jīng)改進(jìn)的OOPDAL認(rèn)知環(huán)路由外環(huán)和內(nèi)環(huán)組成，外環(huán)也稱決策環(huán)。認(rèn)知無線電首先“感知”無線域、網(wǎng)絡(luò)域、用戶域、政策域中的數(shù)據(jù)，并對其建模以明確自身所處態(tài)勢；“判斷”是對數(shù)據(jù)的精煉，也即對感知數(shù)據(jù)進(jìn)行清理、集成和選擇，提取出其中對決策有貢獻(xiàn)的信息；“計劃”根據(jù)用戶需求與當(dāng)前環(huán)境生成優(yōu)化目標(biāo)；“決策”根據(jù)優(yōu)化目標(biāo)執(zhí)行優(yōu)化；“行動”將決策結(jié)果付諸實(shí)施，使內(nèi)部狀態(tài)和外界環(huán)境發(fā)生變化，這些變化又被重新“感知”，進(jìn)入下一輪循環(huán)。內(nèi)環(huán)又稱學(xué)習(xí)環(huán)，用于從外環(huán)運(yùn)行的歷史經(jīng)驗(yàn)中提取知識，并存放入知識庫以指導(dǎo)決策環(huán)運(yùn)行。

OOPDAL環(huán)路對知識的運(yùn)用過程充分體現(xiàn)了認(rèn)知無線電的智能性，其中計劃、學(xué)習(xí)、決策等環(huán)節(jié)更是智能性得以實(shí)現(xiàn)的關(guān)鍵所在，具體的實(shí)現(xiàn)方法則需要借助于人工智能技術(shù)。

2.2 認(rèn)知引擎 認(rèn)知引擎是實(shí)現(xiàn)認(rèn)知環(huán)路功能的技術(shù)手段。但很多認(rèn)知引擎的設(shè)計是針對特定方法實(shí)現(xiàn)特定任務(wù)的，本文希望設(shè)計一種通用的認(rèn)知引擎架構(gòu)，以適應(yīng)認(rèn)知無線電所面臨的各種應(yīng)用。通用認(rèn)知引擎結(jié)構(gòu)由認(rèn)知核與接口部分組成。認(rèn)知核提供各種豐富的工具，包括知識表示工具、各種推理機(jī)、學(xué)習(xí)機(jī)、優(yōu)化算法庫等，為完成認(rèn)知循環(huán)的各環(huán)節(jié)功能提供支持。接口部分包括感知器接口與用戶接口。感知器接口收集各種感知數(shù)據(jù)，并通過建模系統(tǒng)以機(jī)器可理解的方式表示；用戶接口部分允許用戶調(diào)用認(rèn)知核中各種工具并對其進(jìn)行流程編排和建模完成專用認(rèn)知引擎的構(gòu)建。另外，可配置無線網(wǎng)絡(luò)具備動態(tài)可配置波形與協(xié)議，以執(zhí)行認(rèn)知引擎的決策。

認(rèn)知核是認(rèn)知引擎的核心，包括多種人工智能工具，如專家系統(tǒng)，案例推理，神經(jīng)網(wǎng)絡(luò)，遺傳算法等，每種人工智能的工具不但可以實(shí)現(xiàn)相應(yīng)的認(rèn)知功能，還可通過多種不同工具的編排組合實(shí)現(xiàn)認(rèn)知無線電的各種應(yīng)用，即實(shí)現(xiàn)認(rèn)知引擎的通用性。

3 人工智能技術(shù)概述

如果說認(rèn)知核是認(rèn)知引擎的核心，那么人工智能技術(shù)就是認(rèn)知核的核心。人工智能技術(shù)已有比較成熟的理論體系[4]，但將其應(yīng)用到認(rèn)知無線電還處于探索階段。下面先簡要介紹幾種人工智能技術(shù)在認(rèn)知無線電中的應(yīng)用。

3.1 專家系統(tǒng) 專家系統(tǒng)在人工智能技術(shù)領(lǐng)域有著非常成功的應(yīng)用[5]，并能夠很好的與其他人工智能技術(shù)結(jié)合使用，如遺傳算法，人工神經(jīng)網(wǎng)絡(luò)等。專家系統(tǒng)是運(yùn)用知識和推理過程來解決只有專家才能解決的復(fù)雜問題，也就是說專家系統(tǒng)是一種模擬專家決策能力的計算機(jī)系統(tǒng)。專家系統(tǒng)主要包括兩個部分：知識庫和推理機(jī)。知識庫用來存儲專家知識，推理機(jī)則依據(jù)專家知識對已有事實(shí)進(jìn)行推理和決策。認(rèn)知無線電可以借助專家系統(tǒng)完成推理決策功能。認(rèn)知無線電可以通過主動學(xué)習(xí)或“人在環(huán)中”的方式獲取無線電知識并存儲到知識庫中，然后根據(jù)外部無線環(huán)境和用戶需求的變化，到知識庫中查詢相應(yīng)的先驗(yàn)知識，并通過推理機(jī)進(jìn)行決策，從而調(diào)整無線電的工作參數(shù)以適應(yīng)環(huán)境和需求的變化。CLIPS是目前比較成熟的專家系統(tǒng)工具，已有學(xué)者將基于CLIPS的專家系統(tǒng)應(yīng)用到認(rèn)知無線電的研究中[6]。

3.2 案例推理 案例推理作為一種人工智能技術(shù)致力于從以往的經(jīng)歷或者案例當(dāng)中得到新問題的解決方案?；诎咐南到y(tǒng)通過在案例庫查找與需要解決的問題相似度最大的案例來找到問題的解決的方法，并將找到的案例與當(dāng)前的場景進(jìn)行匹配，這種匹配實(shí)際上就是一種最優(yōu)化的過程。而最初找到的案例是為了節(jié)省優(yōu)化的時間，通過優(yōu)化的新的解決方案，將被作為新的案例存儲到案例庫中。認(rèn)知無線電可以根據(jù)無線環(huán)境的變化調(diào)整工作參數(shù)，不同的環(huán)境和工作參數(shù)可以作為案例存儲到案例庫中[7]。當(dāng)環(huán)境發(fā)生變化，認(rèn)知無線電可以在案例庫中查找與當(dāng)前環(huán)境最為相似的一個案例，然后用該案例與當(dāng)前環(huán)境進(jìn)行匹配，優(yōu)化工作的參數(shù)，并把當(dāng)前環(huán)境和優(yōu)化的參數(shù)作為新的案例存儲到案例庫中。Soar作為一種人工智能系統(tǒng)的開發(fā)工具，可以實(shí)現(xiàn)案例推理功能，并可以基于案例進(jìn)行學(xué)習(xí)，國內(nèi)已有學(xué)者基于Soar和GUN Radio軟件無線電平臺開發(fā)出認(rèn)知無線電原型系統(tǒng)。

3.3 遺傳算法 遺傳算法借鑒生物進(jìn)化和遺傳的生物學(xué)原理，可用于解決目標(biāo)優(yōu)化問題，即找到一組參數(shù)（基因）使得目標(biāo)函數(shù)最大化。其基本原理是根據(jù)求解問題的目標(biāo)構(gòu)造適值函數(shù)，使初始種群通過雜交和變異不斷選擇好的適值進(jìn)行繁殖，并最終得到最優(yōu)解。遺傳算法同樣可以作為認(rèn)知無線電的決策方法[6,8]：可以把無線電類比為一個生物系統(tǒng)，將無線電的特征定義為一個染色體，染色體的每個基因?qū)?yīng)無線電一個可變的參量，比如發(fā)射功率、頻率、帶寬、糾錯編碼方法、調(diào)制算法和幀結(jié)構(gòu)等等，這樣就可以通過遺傳算法的進(jìn)化來得到滿足用戶需求和適應(yīng)環(huán)境變化的系統(tǒng)配置參數(shù)。

4 神經(jīng)網(wǎng)絡(luò)在認(rèn)知無線電中的應(yīng)用

對于人工神經(jīng)網(wǎng)絡(luò)的研究源于對人類大腦思維過程的模擬，在很多領(lǐng)域，神經(jīng)網(wǎng)絡(luò)已經(jīng)有了廣泛的應(yīng)用。下面將詳細(xì)介紹神經(jīng)網(wǎng)絡(luò)在認(rèn)知無線電中的應(yīng)用。

4.1 神經(jīng)網(wǎng)絡(luò)簡介 1943年神經(jīng)物理學(xué)家W.McCulloch和邏輯學(xué)家W.Pits在對人腦的研究中提出了人工神經(jīng)網(wǎng)絡(luò)。目前人工神經(jīng)網(wǎng)絡(luò)作為一種人工智能技術(shù)主要基于統(tǒng)計評估、優(yōu)化和控制理論。人工神經(jīng)網(wǎng)絡(luò)由用以模擬生物神經(jīng)元的大量相連的人工神經(jīng)元組成，主要用于解決人工智能領(lǐng)域的一些復(fù)雜問題，比如機(jī)器學(xué)習(xí)。根據(jù)網(wǎng)絡(luò)結(jié)果和訓(xùn)練方法的不同，人工神經(jīng)網(wǎng)絡(luò)可以分為多種類型，以適應(yīng)多種的應(yīng)用需求[7]。多層線性感知器網(wǎng)絡(luò)（MLPN）：MLPN由多層神經(jīng)元構(gòu)成，每一個神經(jīng)元都是上一層神經(jīng)元輸出的線性組合。一般這種線性組合的權(quán)值在訓(xùn)練前是隨機(jī)生成的，并且可以隨著訓(xùn)練不斷的更新。更新的方法有多種，如后向傳播（BP）、遺傳算法等。其訓(xùn)練方法的性能將由其網(wǎng)絡(luò)規(guī)模和應(yīng)用場景決定。非線性感知器網(wǎng)絡(luò)（NPN）：NPN是利用對每個神經(jīng)元的輸入平方或兩兩相乘的方法將非線性引入神經(jīng)網(wǎng)絡(luò)使其可以對動態(tài)變化的訓(xùn)練數(shù)據(jù)進(jìn)行更好的擬合。但NPN的網(wǎng)絡(luò)結(jié)構(gòu)需要根據(jù)訓(xùn)練數(shù)據(jù)進(jìn)行調(diào)整，另外如果采用BP方法進(jìn)行訓(xùn)練會使網(wǎng)絡(luò)收斂緩慢而導(dǎo)致處理時間過長。徑向基函數(shù)網(wǎng)絡(luò)（RBFN）：RBFN和NPN類似，不同的只是其非線性的引入是在隱含層利用徑向基函數(shù)實(shí)現(xiàn)非線性映射，這可以防止網(wǎng)絡(luò)收斂到局部最小值。

4.2 應(yīng)用舉例 由于神經(jīng)網(wǎng)絡(luò)可以動態(tài)的自適應(yīng)和實(shí)時的訓(xùn)練，因此可以對系統(tǒng)的各種模式、參數(shù)、屬性等進(jìn)行“學(xué)習(xí)”，并“記住”這些事實(shí)，當(dāng)系統(tǒng)有了新的輸入和輸出時，可以進(jìn)行實(shí)時的訓(xùn)練來記憶新的事實(shí)。這正符合了認(rèn)知無線電認(rèn)知功能的需求，因此神經(jīng)網(wǎng)絡(luò)在認(rèn)知無線電中有著廣泛的應(yīng)用前景。下面就列舉一些神經(jīng)網(wǎng)絡(luò)在認(rèn)知無線電中的應(yīng)用[9-12]。神經(jīng)網(wǎng)絡(luò)可以用于認(rèn)知無線電的頻譜感知，例如利用基于神經(jīng)網(wǎng)絡(luò)的分類器可以根據(jù)信號的循環(huán)平穩(wěn)特性或者頻譜特性等對信號進(jìn)行分類。神經(jīng)網(wǎng)絡(luò)還可用于無線電參數(shù)的自適應(yīng)決策和調(diào)整，神經(jīng)網(wǎng)絡(luò)可以根據(jù)當(dāng)前信道質(zhì)量和用戶需求等所確定的優(yōu)化目標(biāo)選擇無線電參數(shù)。另外神經(jīng)網(wǎng)絡(luò)還可以對無線電系統(tǒng)的各種性能進(jìn)行預(yù)測，神經(jīng)網(wǎng)絡(luò)可以記憶不同無線環(huán)境不同無線參數(shù)所達(dá)到的系統(tǒng)性能，比如誤碼率、吞吐量、時延等等，從而對未來可能產(chǎn)生的系統(tǒng)性能進(jìn)行預(yù)測，進(jìn)而對各種無線參數(shù)進(jìn)行優(yōu)化。

5 仿真及分析

由于無線環(huán)境的開放性，無線系統(tǒng)大都是非線性系統(tǒng)，因此神經(jīng)網(wǎng)絡(luò)用于認(rèn)知無線電也應(yīng)采用非線性模型。非線性感知器網(wǎng)絡(luò)（NPN）可以完成認(rèn)知無線電的學(xué)習(xí)功能，從而對各種系統(tǒng)性能進(jìn)行預(yù)測，下面就通過一個具體例子來仿真基于NPN的誤碼率性能預(yù)測。

5.1 仿真模型 NPN由三層節(jié)點(diǎn)構(gòu)成：輸入層、隱含層和輸出層。隱含層通常只有一層神經(jīng)元，本文在此基礎(chǔ)上擴(kuò)展了隱含層的層數(shù)，從而擴(kuò)大了神經(jīng)網(wǎng)絡(luò)的規(guī)模，使其具有更好的學(xué)習(xí)效果。具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，每個節(jié)點(diǎn)都與下一層的所有節(jié)點(diǎn)唯一相連，除了輸入層節(jié)點(diǎn)，其他各層節(jié)點(diǎn)稱為神經(jīng)元，具有一個非線性的激活函數(shù)，以實(shí)現(xiàn)對非線性系統(tǒng)的擬合。本文將采用最為常用的非線性激活函數(shù)――S函數(shù)，即：f

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練將采用BP方法，具體算法如下：

③根據(jù)RMS誤差決定是否調(diào)整權(quán)值，直到RMS誤差或者迭代次數(shù)達(dá)到停止要求。

5.2 仿真場景 仿真場景的設(shè)置將根據(jù)上面提出通用認(rèn)知引擎架構(gòu)進(jìn)行編排。首先認(rèn)知引擎要收集各種數(shù)據(jù)。WiMax可以根據(jù)信道質(zhì)量調(diào)整其調(diào)制編碼模式等無線電參數(shù)，因此將作為通用認(rèn)知引擎架構(gòu)中的可重配置的無線電平臺將系統(tǒng)的誤碼率性能實(shí)時上報給認(rèn)知引擎；信噪比作為無線環(huán)境的表征可通過感知器進(jìn)行收集；編碼速率作為用戶對業(yè)務(wù)的需求可通過用戶接口上報給認(rèn)知引擎。然后認(rèn)知引擎內(nèi)基于NPN的學(xué)習(xí)機(jī)就可以對這些數(shù)據(jù)進(jìn)行訓(xùn)練了，訓(xùn)練的方法如上節(jié)所述。最后訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)就可以根據(jù)無線環(huán)境和用戶需求對系統(tǒng)的誤碼率進(jìn)行實(shí)時的預(yù)測，從而調(diào)整認(rèn)知無線電的各種操作參數(shù)。

5.3 仿真結(jié)果及分析 由于對神經(jīng)網(wǎng)絡(luò)模型的隱含層進(jìn)行了擴(kuò)展，首先驗(yàn)證一下改進(jìn)的模型性能是否有所提升。仿真結(jié)果如圖3所示，分別仿真了具有2層、3層和4層神經(jīng)元的NPN的收斂性能。其中2層模型是沒有經(jīng)過改進(jìn)的，其收斂速度最快，但RMS誤差較三層模型差；3層模型雖然收斂速度稍慢，但收斂的RMS誤差最低；4層模型的網(wǎng)絡(luò)規(guī)模最大，因此收斂速度最慢，但其RMS誤差收斂的并不是最低，這是由于神經(jīng)網(wǎng)絡(luò)的規(guī)模應(yīng)該與訓(xùn)練數(shù)據(jù)的規(guī)模相適應(yīng)，過大的網(wǎng)絡(luò)規(guī)模反而不會得到很好的收斂性能。折中考慮，在后續(xù)誤碼率預(yù)測仿真中，將采用3層神經(jīng)元模型的NPN對數(shù)據(jù)進(jìn)行訓(xùn)練。

如圖4所示，利用3層神經(jīng)元模型分別對WiMax場景下的64QAM、16QAM、QPSK和BPSK的誤碼率性能進(jìn)行了預(yù)測。從預(yù)測結(jié)果和實(shí)際的仿真結(jié)果的比較可以顯示，隨著調(diào)制模式的升高，預(yù)測的性能將越來越好。

6 結(jié)束語

本文主要介紹了人工智能技術(shù)在認(rèn)知無線電中的應(yīng)用，并通過人工神經(jīng)網(wǎng)絡(luò)進(jìn)行舉例，從仿真的結(jié)果可以看出神經(jīng)網(wǎng)絡(luò)在認(rèn)知無線電中應(yīng)用的可能性。人工智能技術(shù)在認(rèn)知無線電領(lǐng)域的應(yīng)用還有著廣闊的研究前景，應(yīng)該積極探索更多的人工智能技術(shù)在認(rèn)知無線電中應(yīng)用。但也并非所有的人工智能技術(shù)都適用于認(rèn)知無線電的開發(fā)和應(yīng)用，應(yīng)在研究中有所選擇把握方向。不同的應(yīng)用場景也對人工智能技術(shù)提出了不同的需求，找到適用于相應(yīng)場景的人工智能技術(shù)也很重要。未來的工作應(yīng)更多的考慮一些實(shí)際的應(yīng)用，讓無線通信系統(tǒng)可以真正的像人一樣思考。

參考文獻(xiàn)：

[1]J.Mitola Ⅲ."Cognitive radio: Making software radios more personal"，IEEE Personal Communications，vol.6，no.4，pp.13-18，1999.

[2]S.Haykin."Cognitive radio：Brain-empowered wireless communications"，IEEE Journal on Selected Areas in Communications，vol.23，no.2，pp.201-220，2005.

[3]T.W.Rondeau，C.W.Bostian，D.Maldonado，A.Ferguson，S.Ball，B.Le，and S.Midki，“Cognitive radios in public safety and spectrum management”，Telecommunications Policy and Research Conference，vol.33，2005.

[4]George F.Luger，“Artificial Intelligence Structures and Strategies for Complex Problem Solving Fifth Edition”，Pearson Education Limited，2005.

[5]Joseph C.Giarratano, Gary D.Riley，“Expert System Principles and Programming Fourth Edition”，Thomson learning，2006.

[6]Timothy R.Newman，“Multiple Objective Fitness Functions for Cognitive Radio Adaptation”，Doctor Thesis，2008.

[7]A.He，K.K.Bae，T.R.Newman，J.Gaeddert，K.Kim，R.Menon，L.M.Tirado，J.Neel，Y.Zhao，J.H.Reed，and W.H.Tranter，“A survey of artificial intelligence for cognitive radios”，IEEE Transactiongs on Vehicular Technology，vol.59，no.4，pp.1578-1592，2010.

[8]Thomas W.Rondeau，“Application of Artificial Intelligence to Wireless Communication”，Doctor Thesis，2007.

[9]N.Baldo，B.R.Tamma，B.S.Manoj，R.Rao，and M.Zorzi，“A neural network based cognitive controller for dynamic channel selection”，in Proceedings of IEEE International Conference on Communications（ICC），pp.1-5，2009.

[10]X.Zhu，Y.Liu，W.Weng，and D.Yuan，“Channel sensing algorithm based on neural network for cognitive wireless mesh network”，in Proceedings of IEEE International Conference on Wireless Communications（WiCom），pp.1-4，2008.

第9篇：神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法范文

現(xiàn)行的SOC預(yù)測方法大致有化學(xué)法、電壓法、電化學(xué)阻抗法、電流積分法、卡爾曼濾波法、神經(jīng)網(wǎng)絡(luò)法等。

化學(xué)法：應(yīng)用范圍十分狹窄，僅適用于能接觸到電解液的電池。電壓法：通過對比已知的充放電電壓荷電狀態(tài)曲線，將電壓值轉(zhuǎn)換為電池的荷電態(tài)值，適用于電壓隨SOC變化較大的鉛酸電池和鎳氫電池等傳統(tǒng)電池。電化學(xué)：阻抗法有交流內(nèi)阻和直流內(nèi)阻之分，它們都與電池荷電狀態(tài)有密切關(guān)系。電流積分法又稱為安時積分法或庫倫計數(shù)，通過將電池電流對時間進(jìn)行積分來計算電池的荷電狀態(tài)?？柭鼮V波法：是對動力系統(tǒng)的狀態(tài)做出最小方差意義上的最優(yōu)估計?？柭鼮V波法將電池被看成一個動力系統(tǒng)，電池荷電狀態(tài)是系統(tǒng)的一個內(nèi)部狀態(tài)。神經(jīng)網(wǎng)絡(luò)法：能夠模擬電池動態(tài)特性，來估計電池荷電狀態(tài)，適用于各種電池，缺點(diǎn)是需要大量的參考數(shù)據(jù)進(jìn)行訓(xùn)練，估計誤差受訓(xùn)練數(shù)據(jù)和訓(xùn)練方法的影響很大。

（來源：文章屋網(wǎng) ）