梯度下降法的基本原理精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的梯度下降法的基本原理主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：梯度下降法的基本原理范文

關(guān)鍵詞：邏輯回歸；綜合素質(zhì)量化

中圖分類號：TP301 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）25-0183-01

學(xué)生綜合素質(zhì)量化評估是促進(jìn)學(xué)生全面發(fā)展的重要手段。通過科學(xué)的綜合素質(zhì)量化評估體系可以幫助學(xué)生了解自己的長處和不足，找準(zhǔn)努力的方向，也是對學(xué)生進(jìn)行評優(yōu)的依據(jù)[1]。在綜合素質(zhì)評估系統(tǒng)中，不同的指標(biāo)由于權(quán)重不同，導(dǎo)致評價不同[2]。根據(jù)學(xué)生培養(yǎng)目標(biāo)的要求，量化評估的指標(biāo)包括：思想道德評價，文化知識素質(zhì)評價，身體心理素質(zhì)的評價，創(chuàng)新發(fā)展能力評價。

目前我校各個指標(biāo)在綜合素質(zhì)量化評估中的比重分別為20%、10%、10%、60%，表明我校學(xué)生在綜合素質(zhì)量化評估中各個特征的重要性。

然而，不同的評優(yōu)標(biāo)準(zhǔn)要求不完全一致，推優(yōu)時應(yīng)該有針對性。例如，省級三好學(xué)生的評選標(biāo)準(zhǔn)是“具有堅定正確的政治方向，堅持黨的基本路線……善于學(xué)習(xí)和吸收新知識，熱愛所學(xué)專業(yè)，勤奮學(xué)習(xí)，成績優(yōu)異……有較強的實踐能力……有健康的身體、良好的心理素質(zhì)……”。省級優(yōu)秀學(xué)生干部的評選標(biāo)準(zhǔn)是“有較高的思想政治素質(zhì)……熱心承擔(dān)社會工作……有很強的工作能力……”。

大四畢業(yè)之際，能否根據(jù)以往的綜合成績公平公正推選各種優(yōu)秀，是每個畢業(yè)生關(guān)注的焦點。因此，本研究從已有的綜合素質(zhì)量化評估成績出發(fā)，得出邏輯回歸模型，分析各個特征的權(quán)重，并與現(xiàn)有的指標(biāo)量化權(quán)重進(jìn)行比較，為有針對性地推優(yōu)提供參考依據(jù)。

1 邏輯回歸的基本原理

邏輯回歸是機器學(xué)習(xí)算法中的一種分類算法，適用于標(biāo)簽取值離散的情況。假設(shè)函數(shù)可以表示為：

其中，為邏輯回歸模型參數(shù)向量，x為該數(shù)據(jù)樣本特征值向量。為設(shè)定一個閾值，當(dāng)大于閾值時，判定該樣本屬于某一特定分類，反之亦然[3]。

邏輯回歸分類模型使用代價函數(shù)來衡量模型的精確度，正則化后的代價函數(shù)表示為：

其中，表示第i個數(shù)據(jù)樣本的特征向量。表示第i個樣本在訓(xùn)練集中的分類標(biāo)注，取值分別為1時表示樣本屬于某一類別，為0時表示樣本不屬于該類別。為正則化參數(shù)，控制在兩個不同的目標(biāo)中的平衡關(guān)系。正則化化后的代價函數(shù)可以保持假設(shè)的形式相對簡單，避免過度的擬合。能使取極小值的邏輯回歸模型參數(shù)向量就可以用于對新樣本的預(yù)測。

可以采用梯度下降法來求解參數(shù)最小化正則化代價函數(shù)的更新公式為：

其中，是學(xué)習(xí)速率，用于控制梯度下降的步長值。

2預(yù)測模型的建立

收集一個班50名學(xué)生7個學(xué)期的綜合素質(zhì)評估成績，取各個特征7個學(xué)期的平均值形成訓(xùn)練集樣本集，以評選“省級三好學(xué)生”為例建立測評模型，分析以往的推優(yōu)結(jié)果是否體現(xiàn)了“思想道德和文化知識素質(zhì)”為主要指標(biāo)的評價方式。

2.1變量說明

（1）y：測評結(jié)果，y=0表示沒有選中，y=1表示選中為省級三好學(xué)生

（2）x1：思想道德評估成績

（3）x2：文化知識素質(zhì)評價成績

（4）x3：身體心理素質(zhì)評價成績

（5）x4：創(chuàng)新發(fā)展評價成績

對50名學(xué)生的成績獲得50組數(shù)據(jù)（），i=1，2，…，50

2.2算法步驟

（1）構(gòu)造假設(shè)函數(shù)

（2）構(gòu)造代價函數(shù)

（3）最小化代價函數(shù)。用梯度下降法求出初始代價值和梯度值，然后調(diào)用Octave中的無線約束最小化函數(shù)fminunc，找到最佳值。

獲得

（4）根據(jù)構(gòu)造評選“省級三好學(xué)生”的預(yù)測模型為：

2.3模型評價

用該模型進(jìn)行預(yù)測，得到該模型的準(zhǔn)確率為98.08，查準(zhǔn)率為0.5，召回率為1，F(xiàn)值為0.67，所以即便訓(xùn)練數(shù)據(jù)集擁有偏斜類，但是算法表現(xiàn)很好。

3 邏輯回歸結(jié)論分析

通過邏輯回歸模型分析發(fā)現(xiàn)，權(quán)重從大到小分別是。表明該班在評選省級三好學(xué)生時，沒有完全把思想道德和文化知識素質(zhì)作為評價的標(biāo)準(zhǔn)，只是簡單按照綜合素質(zhì)量化評估的成績打分進(jìn)行評價，沒有針對性。所以，建議各班級在以后在各種推優(yōu)過程中應(yīng)該根據(jù)評選標(biāo)準(zhǔn)，有針對性的調(diào)整各個量化指標(biāo)的比重，而不能單純根據(jù)綜合素質(zhì)量化評估的原有成績。

參考文獻(xiàn)：

[1]李瑞勤.大學(xué)生綜合素質(zhì)量化評估初探[J].云南民族學(xué)院學(xué)報，2002，19（3）：118-119.

第2篇：梯度下降法的基本原理范文

【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò)；遺傳算法；變壓器；故障診斷

1 引言

變壓器作為電力系統(tǒng)重要的變電設(shè)備，其運行狀態(tài)直接影響到供電的可靠性和整個系統(tǒng)的正常運行。一旦發(fā)生事故，將對電力系統(tǒng)和終端用戶造成嚴(yán)重的影響。因此研究變壓器故障診斷技術(shù)，對電力系統(tǒng)安全運行有著重要的現(xiàn)實意義。

對變壓器油中溶解氣體進(jìn)行色譜分析（DGA）是變壓器內(nèi)部故障診斷的一種重要的手段?；诖思夹g(shù)，采用具有高度的非線性映射以及自組織、自學(xué)習(xí)能力的人工神經(jīng)網(wǎng)絡(luò)，現(xiàn)階段在進(jìn)行故障診斷時多采用BP神經(jīng)網(wǎng)絡(luò)。BP算法是基于梯度的方法，容易陷入局部極小值，且收斂速度慢。GA遺傳算法的發(fā)展為我們提供了一個全局的、穩(wěn)健的搜索優(yōu)化方法，本文充分利用GA具有不受函數(shù)可微與連續(xù)的制約，并且能達(dá)到全局最優(yōu)的特點，由GA尋找最優(yōu)的BP網(wǎng)絡(luò)權(quán)值與相應(yīng)節(jié)點的閾值，并加入動量因子，此方法彌補了傳統(tǒng)優(yōu)化方法的不足，極大地改善了BP網(wǎng)絡(luò)的性能。

2 BP神經(jīng)網(wǎng)絡(luò)及遺傳算法原理

2.1 BP神經(jīng)網(wǎng)絡(luò)的基本原理

BP神經(jīng)網(wǎng)絡(luò)是一種利用反向傳播訓(xùn)練算法的前饋型神經(jīng)網(wǎng)絡(luò)，BP學(xué)習(xí)算法基本原理是梯度最速下降法，中心思想是調(diào)整權(quán)值使網(wǎng)絡(luò)總誤差最小，即采用梯度搜索技術(shù)，以使其網(wǎng)絡(luò)的實際輸出值與期望輸出值的誤差均方值為最小。

BP學(xué)習(xí)算法包括前向傳播和誤差反向傳播兩個學(xué)習(xí)階段。當(dāng)給定網(wǎng)絡(luò)的一個輸入模式時，輸入信號經(jīng)隱層逐層處理后傳到輸出層，并由輸出層處理后產(chǎn)生一個輸出模式，稱為前向傳播；當(dāng)輸出響應(yīng)與期望的輸出模式有誤差時，則轉(zhuǎn)入誤差反向傳播。即將誤差值沿原來的連接通路逐層反向傳播直至輸入層，并修正各層連接權(quán)值。對于給定的一組訓(xùn)練模式，不斷地重復(fù)前向傳播和誤差反向傳播的過程，通過沿途修改各層神經(jīng)元間的連接權(quán)和神經(jīng)元閾值使得誤差達(dá)到最小。當(dāng)各個訓(xùn)練模式都滿足要求時，就說BP網(wǎng)絡(luò)已學(xué)習(xí)好。BP神經(jīng)網(wǎng)絡(luò)模型的基本結(jié)構(gòu)如圖1。

2.2 附加動量的BP神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練在修正權(quán)值時，是按著k時刻的負(fù)梯度方式進(jìn)行修正，而忽略了之前積累的經(jīng)驗，導(dǎo)致權(quán)值的學(xué)習(xí)過程發(fā)生振蕩，收斂緩慢。因此提出加入動量因子a，此時k+1時刻的權(quán)值為：

附加動量法總是力圖使同一梯度方向上的修正量增加。這種方法加速了收斂速度，并在一定程度上減小了陷入局部極小的概率。

2.3 GA遺傳算法的基本原理

GA是模擬自然界優(yōu)勝劣汰的進(jìn)化現(xiàn)象，把搜索空間映射為遺傳空間，把可能的解編碼成一個向量（染色體），向量的每個元素稱為基因。通過不斷計算各染色體的適應(yīng)值，選擇最好的染色體，獲得最優(yōu)解。

首先把問題解用遺傳表示出來，在對種群中的個體進(jìn)行逐個解碼并根據(jù)目標(biāo)函數(shù)計算其適應(yīng)值。根據(jù)適應(yīng)值的大小而決定某些個體是否得以存活的操作，把適應(yīng)值高的個體取出復(fù)制再生，再將兩個個體的某些部分互換并重新組合而成新的個體，經(jīng)過交叉后隨機地改變個體的某些基因位從而產(chǎn)生新的染色體。這樣的過程反復(fù)循環(huán)，經(jīng)過若干代后，算法就收斂到一個最優(yōu)的個體，問題最終獲得全局最優(yōu)解。GA流程圖如圖2所示：

3 GA優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷模型設(shè)計

GA-BP算法主要思想是：先利用神經(jīng)網(wǎng)絡(luò)試探出最好的網(wǎng)絡(luò)的隱層節(jié)點數(shù)，再利用遺傳算法在整體尋優(yōu)的特點將網(wǎng)絡(luò)的權(quán)值優(yōu)化到一個較小的范圍，進(jìn)而用BP算法繼續(xù)優(yōu)化。

3.1 BP網(wǎng)絡(luò)的建立

（1）輸入模式的確定

本文為了充分利用在線監(jiān)測中的特征氣體而又不使輸入量過大，特取C2H2/C2H4、C2H4/C2H6、CH4/H2的比值歸一后作為輸入矢量。

（2）輸出模式的確定

本文對輸出層采用正常、低溫過熱、中溫過熱、高溫過熱、局部放電、低能放電、高能放電共7個神經(jīng)元。輸出值最大為l，數(shù)值越大則表明該類型的故障的可能性和嚴(yán)重程度也越大，如表2.1：

（3）隱含層神經(jīng)元數(shù)確定

本文參考關(guān)于隱含層神經(jīng)元數(shù)的理論研究和經(jīng)驗公式，獲得理論值為5～15。再利用matlab 軟件，通過試湊法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將隱層節(jié)點設(shè)置為6、8、10、12、14，將其輸入計算機，在相同訓(xùn)練條件下進(jìn)行訓(xùn)練，得知隱層節(jié)點數(shù)為12時網(wǎng)絡(luò)收斂性能好，收斂時間較短。故選節(jié)點數(shù)為12。

綜上所述，本文構(gòu)建一個輸入層為3，隱含層為12，輸出層為7的BP神經(jīng)網(wǎng)絡(luò)。

3.2 GA對BP網(wǎng)絡(luò)進(jìn)行優(yōu)化

（1）初始化種群P、以及權(quán)值、閾值初始化；在編碼中，采用實數(shù)進(jìn)行編碼，本文初始種群取30；

（2）計算每一個個體評價函數(shù)，并將其排序；可按下式概率值選擇網(wǎng)絡(luò)個體：

其中 i為染色體個數(shù)，k為輸出層節(jié)點數(shù)，YK為訓(xùn)練值，P為學(xué)習(xí)樣本數(shù)，T為期望目標(biāo)值；

（3）進(jìn)行選擇復(fù)制、交叉、變異遺傳操作；

（4）將新個體插入到種群P中，并計算新個體的評價函數(shù)；

（5）計算BP的誤差平方和，若達(dá)到預(yù)定值則進(jìn)行BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，否則重復(fù)進(jìn)行遺傳操作；

（6）結(jié)束GA操作，以GA遺傳出的優(yōu)化初值作為初始權(quán)值，運用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，計算其誤差，并不斷修改其權(quán)值和閾值，直至滿足精度要求，此時說明BP網(wǎng)絡(luò)已經(jīng)訓(xùn)練好，保存網(wǎng)絡(luò)權(quán)值和閾值。

4 故障診斷系統(tǒng)的仿真

本文選取了具有代表性的30組作為訓(xùn)練樣本， 在建立的GA-BP變壓器故障診斷網(wǎng)絡(luò)中輸入樣本進(jìn)行訓(xùn)練，其遺傳算法適應(yīng)度曲線、誤差平方和曲線和GA-BP的訓(xùn)練目標(biāo)曲線圖分別見圖3、圖4和圖5。

從圖中可以看出，適應(yīng)度較高的個體被遺傳了下來，適應(yīng)度較低的則被淘汰；GA進(jìn)行了150代的遺傳操作達(dá)到了目標(biāo)值；GA-BP算法進(jìn)行了106步左右就收斂到指定精度0.0005。由此看出，此GA優(yōu)化BP建立的變壓器故障診斷模型的收斂精度和收斂速度都比較高。

采用實際檢測到的10組電力變壓器故障實例（表2）來驗證網(wǎng)絡(luò)性能，神經(jīng)網(wǎng)絡(luò)診斷結(jié)果和實際故障結(jié)果的比較，如表3所示：

由表3可見，基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷系統(tǒng)在故障診斷中達(dá)到了很高的準(zhǔn)確率，能較好地滿足變壓器故障診斷的要求，極大的提高了診斷的可靠性和準(zhǔn)確性。

5 結(jié)束語

文中將遺傳算法與BP網(wǎng)絡(luò)相結(jié)合，在DGA的基礎(chǔ)上設(shè)計了適用于變壓器故障診斷的3-12-7結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)。先對網(wǎng)絡(luò)的權(quán)值閾值進(jìn)行GA算法處理，并在傳統(tǒng)的BP算法中加入動量因子，通過MATLAB編程實現(xiàn)了GA優(yōu)化BP網(wǎng)絡(luò)。通過仿真分析可知GA優(yōu)化BP網(wǎng)絡(luò)收斂性能的提高改善了BP網(wǎng)絡(luò)的學(xué)習(xí)效率，并在下一步的診斷工作中體現(xiàn)其高準(zhǔn)確率，推廣了此優(yōu)化網(wǎng)絡(luò)在變壓器故障診斷的實用性。

參考文獻(xiàn)：

[1]張緒錦，譚劍波，韓江洪.基于BP神經(jīng)網(wǎng)絡(luò)的故障診斷方法[J].系統(tǒng)工程理論與實踐，2002（6）.

[2]王少芳，蔡金錠.GA―BP混合算法在變壓器色譜診斷法中的應(yīng)用[J].高電壓技術(shù)，2003（7）.

[3]鄭高，戴玉松.人工智能方法在變壓器故障診斷中的應(yīng)用[J].四川工業(yè)學(xué)院報，2004 （5）.

[4]李國勇.智能控制機器MATLAB實現(xiàn)[M].電子工業(yè)出版社，2005.

[5]徐志鈕，律方成.多神經(jīng)網(wǎng)絡(luò)方法在變壓器油色譜故障診斷中的應(yīng)用[J].高壓電器，2005（3）.

第3篇：梯度下降法的基本原理范文

[關(guān)鍵詞]HJPSO；BP神經(jīng)網(wǎng)絡(luò)；廣義預(yù)測控制；單元機組

中圖分類號：C39 文獻(xiàn)標(biāo)識碼：B 文章編號：1009-914X（2014）15-0348-02

1 引言（Introduction）

大型火電廠單元機組控制對象具有非線性、強耦合、時變，大滯后等特性，當(dāng)各種擾動作用時會導(dǎo)致控制對象的參數(shù)不確定，難以建立準(zhǔn)確的模型，屬于復(fù)雜難控的大型生產(chǎn)過程。在常規(guī)局部控制系統(tǒng)基礎(chǔ)上發(fā)展起來的協(xié)調(diào)控制系統(tǒng)是解決這個問題的有效途徑。

近年來，人工神經(jīng)網(wǎng)絡(luò)為解決非線性控制問題提供了更多的技術(shù)手段，人工神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)與適應(yīng)不確定系統(tǒng)的動態(tài)特性，充分逼近復(fù)雜的非線性映射關(guān)系，且有較強的魯棒性和泛化能力。其中BP網(wǎng)絡(luò)被大量用于系統(tǒng)的模型辨識及控制上[1]；但是其收斂速度慢將難以滿足具有自適應(yīng)功能的實時控制的要求，為此本文采用基于Hooke-Jeeves particle swarm optimization）混合算法的BP神經(jīng)網(wǎng)絡(luò)（下文統(tǒng)稱HJPSO-BP網(wǎng)絡(luò)）用于建立系統(tǒng)的數(shù)學(xué)模型。

廣義預(yù)測控制（Generalized Predictive Control）是隨著自適應(yīng)控制的研究而發(fā)展起來的一種預(yù)測控制方法；它汲取了現(xiàn)代控制理論中的優(yōu)化控制思想，可以通過廣義的反饋校正消除控制系統(tǒng)的穩(wěn)態(tài)偏差，并用滾動優(yōu)化取代了傳統(tǒng)的最優(yōu)控制，從而增強了系統(tǒng)的實時性和抗干擾能力。該算法由模型預(yù)測、滾動優(yōu)化和反饋校等控制策略組成。廣義預(yù)測控制作為對其進(jìn)行修正的新型優(yōu)化控制方法，大大增強了算法的適用性和魯棒性[2]，近年來收到學(xué)術(shù)和工程界的廣泛關(guān)注和重視。

2 理論研究（Theoretical Research）

2.1 基于HJPSO-BP網(wǎng)絡(luò)的預(yù)測模型（Predictive Model of HJPSO-BP Network）

火電廠鍋爐、汽輪發(fā)電機組協(xié)調(diào)控制系統(tǒng)是一個多變量非線性的復(fù)雜控制對象，數(shù)學(xué)上已經(jīng)證明一個前向3層神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)任何非線性映射，可以逼近任何復(fù)雜的函數(shù)。因此本文首先建立一個3層BP神經(jīng)網(wǎng)絡(luò)來逼近此被控對象。

BP學(xué)習(xí)算法的基本原理是梯度最速下降法，它的中心思想是調(diào)整權(quán)值使網(wǎng)絡(luò)總的誤差最小，也就是采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實際輸出值的誤差均方值為最小[3]。本文提出HJPSO-BP算法來優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，有效地克服了BP神經(jīng)網(wǎng)絡(luò)易陷入局部極值的缺點，提高了BP算法的預(yù)測精度和收斂速度。利用HJ算法的強收斂能力來提高PSO的收斂速度和求解精度，利用PSO算法的全局收斂性能給HJ算法提供一個好的初始值，保證HJ算法的收斂效果[4] [5]。利用PSO算法的逼近能力搜索得到一個接近最優(yōu)位置向量作為BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，使用BP算法根據(jù)這些權(quán)值和閾值進(jìn)一步尋優(yōu)，從而得到網(wǎng)絡(luò)權(quán)值和閾值的最優(yōu)值。

粒子群算法描述為，假設(shè)在一個D維的目標(biāo)搜索空間中，有N個粒子組成一個群落，其中第個粒子表示為一個D維的向量，。第i個粒子的“飛行”速度也是一個D維的向量，記為，。第i個粒子迄今為止搜索到的最優(yōu)位置稱為個體極值，記為，。整個粒子群迄今為止搜索到的最優(yōu)位置為全局極值，記為在找到這兩個最優(yōu)值時，粒子根據(jù)如下的公式（2.1）和（ 2.2）來更新自己的速度和位置：

（1）

（2）

其中：為慣性權(quán)重，和為學(xué)習(xí)因子，也稱加速常數(shù)（acceleration constant），和為[0，1]范圍內(nèi)的均勻隨機數(shù)。混合粒子群算法的步驟（HJPSO-BP）

步驟1、建立BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)并初始化設(shè)置HJ、PSO算法各參數(shù)。

步驟2、計算每個粒子的適應(yīng)度值并比較，得到Pest和Gbest.。

步驟3 、根據(jù)公式（1）、（2）分別計算各微粒新的速度和位置，計算新的粒子適應(yīng)度值并比較新的Pest和Gbest。

步驟4、將使用PSO所產(chǎn)生的點作為初始值賦給HJ，利用HJ優(yōu)化PSO的位置。

步驟5、更新并儲存各微粒的個體歷史最優(yōu)位置和個體歷史最優(yōu)適應(yīng)值；更新并儲存微粒群的全局歷史最優(yōu)位置和全局歷史最優(yōu)適應(yīng)值。

步驟6、如果是在全局歷史最優(yōu)適應(yīng)值第一次沒能得到改善之前的迭代，則轉(zhuǎn)至步驟9。

步驟7、啟動HJ法。使用PSO搜索到的20%的較優(yōu)的點進(jìn)行局部搜索，若滿足HJ結(jié)束條件，將HJ搜索的結(jié)果回代到PSO，計算此時粒子的適應(yīng)度值并記錄Pest和Gbest.。

步驟9、若滿足停止條件（適應(yīng)值誤差小于設(shè)定的適應(yīng)值誤差限或迭代次數(shù)超過最大允許迭代次數(shù)），搜索停止，輸出全局歷史最優(yōu)位置和全局歷史最優(yōu)適應(yīng)值為所求結(jié)果。否則，返回步驟3繼續(xù)搜索。

步驟10、將計算出的最優(yōu)粒子的位置各維度值作為BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閥值，得到訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，并預(yù)測輸出結(jié)果。

2.2 廣義預(yù)測控制（Generalized predictive control）

2.2.1 滾動優(yōu)化（Rolling optimization）

為增強系統(tǒng)的魯棒性，在性能指標(biāo)函數(shù)中考慮了現(xiàn)在時刻的控制u（k）對系統(tǒng)未來時刻的影響，性能指標(biāo)函數(shù)為：

（3）

其中是最大預(yù)測時域，是控制時域，是加權(quán)常數(shù)，是控制增量，是設(shè)定值，由神經(jīng)網(wǎng)絡(luò)模型預(yù)測得出。

由此對指標(biāo)函數(shù)在每一采樣時刻使用梯度下降法進(jìn)行優(yōu)化，便可得出控制律，根據(jù)廣義預(yù)測控制滾動優(yōu)化理論，最終控制量可取為：

（4）

其中，采用梯度下降法求取時的優(yōu)化步長，可借助訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的權(quán)值和S形函數(shù)的導(dǎo)數(shù)來求取，。

由此可見，通過用優(yōu)化滾動方法求取的控制律，與采用丟番圖求解相比減少了計算量，加快了計算速度。

2.2.2 反饋校正（Feedback correction）

預(yù)測模型的輸出不可能與實際對象的完全一致，于是通過反饋來對預(yù)測模型進(jìn)行修正。在神經(jīng)網(wǎng)絡(luò)預(yù)測控制算法中，每一步都要檢測實際輸出，并與模型輸出加以比較以構(gòu)成誤差信息，然后以此誤差信息對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行學(xué)習(xí)和修正，這一過程可以在線進(jìn)行，也可以離線進(jìn)行。為滿足控制系統(tǒng)實時性的要求通常采用在線學(xué)習(xí)和修正，設(shè)實際對象輸出與模型輸出之間的誤差用下式表示：

（5）

則得到反饋校正后模型的預(yù)測輸出為

（6）

式中，u為誤差修正系數(shù)。

基于混合型HJPSO-BP神經(jīng)網(wǎng)絡(luò)廣義預(yù)測控制的在線算法可歸結(jié)為如下步驟：

（1） 初始化預(yù)測網(wǎng)絡(luò)模型及控制器參數(shù)。

（2） 采樣被控對象輸入輸出數(shù)據(jù)，根據(jù)（2）式修改網(wǎng)絡(luò)權(quán)值。

（3） 按（4）式求出控制系列。

（4） 返回第二步。

2.3 控制系統(tǒng)結(jié)構(gòu)（The control system configuration）

如上所述，基于HJPSO-BP神經(jīng)網(wǎng)絡(luò)廣義預(yù)測控制，是由HJPSO-BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型、優(yōu)化控制器和反饋校正三部分構(gòu)成，其結(jié)構(gòu)如圖（1）所示.

3 仿真研究（Simulation Study）

火電廠鍋爐、汽輪發(fā)電機組協(xié)調(diào)控制系統(tǒng)經(jīng)過合理簡化，可以簡化看作雙輸入雙輸出系統(tǒng)。它的兩個輸入量為：汽輪機調(diào)節(jié)閥開度指令Ut，鍋爐燃燒率指令Ub；兩個輸出量為：汽輪機主蒸汽壓力Pt和機組實發(fā)功率Ne。

300MW火力發(fā)電機組在100%、70%負(fù)荷工況運行時傳遞函數(shù)分別表示如下：

= （11）

= （12）

用基于HJPSO-BP神經(jīng)網(wǎng)絡(luò)廣義預(yù)測控制策略對其進(jìn)行計算機仿真試驗。

分別采用HJPSO-BP算法進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練與普通BP算法進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，對比其誤差曲線如圖2所示：

由圖2可看出采用HJPSO-BP算法進(jìn)行模型訓(xùn)練，在速度上較普通BP算法提高很多，經(jīng)過9步即可使平方誤差達(dá)到0.0001。

然后用HJPSO-BP廣義預(yù)測控制策略對控制對象進(jìn)行仿真實驗：

在100%負(fù)荷時取采樣周期T=15s（選取的經(jīng)驗為：，為過渡過程上升到95%的上升時間，通過對功率和系統(tǒng)氣壓的階躍響應(yīng)分析可得采樣周期），模型長度N=1000，預(yù)測時域長度P=3，控制時域長度M=2，控制權(quán)矩陣R=[0.8 0.2]，Pt的約束值為0和20Mpa，Ne為0和330MW，取功率設(shè)定值Ne=300MW，壓力設(shè)定值 Pt=18 Mpa ；

在70%負(fù)荷時控制器參數(shù)均保持不變，以此來觀察NNGPC的魯棒性，Pt的設(shè)定值和約束值保持不變，Ne的設(shè)定值為210MW?？刂葡到y(tǒng)的仿真結(jié)果如圖3：

采用HJPSO-BP網(wǎng)絡(luò)的廣義預(yù)測控制策略，機組實發(fā)功率Ne和主蒸汽壓力Pt的輸出曲線如圖3所示，其中實線為100%負(fù)荷模型時調(diào)整控制器參數(shù)的輸出曲線，虛線為切換到70%負(fù)荷模型且保持控制器參數(shù)不變時的輸出曲線。仿真結(jié)果表明把HJPSO-BP網(wǎng)絡(luò)廣義預(yù)測控制運用到單元機組協(xié)調(diào)控制系統(tǒng)中，可保證快速平穩(wěn)地跟蹤系統(tǒng)的功率及主蒸汽壓力設(shè)定值，且對對象模型的不確定性具有很好的適應(yīng)性和魯棒性。

為方便清楚的比較HJPSO-BP網(wǎng)絡(luò)廣義預(yù)測控制的控制效果，下面采用常規(guī)PID策略對系統(tǒng)進(jìn)行控制仿真對比。在100%工況時，UT和UB的PID控制器參數(shù)分別設(shè)置為：kp1=0.0007，ki1=0.000041，kd1=0.012；kp2=0.1，ki2=0.25，kd2=1.4。Ne和Pt的輸出曲線如圖4實線所示；在70%工況時，PID控制器參數(shù)保持不變，以此觀察PID控制的魯棒性及對模型的適配性，此時Ne和Pt的輸出曲線如圖4虛線所示。

由上圖仿真結(jié)果可以看出，模型的改變，使得常規(guī)PID控制器不能很好的適應(yīng)模型的變化，Ne和Pt的輸出均出現(xiàn)了較大超調(diào)量，同時Ne的調(diào)節(jié)時間較長，不能迅速跟蹤功率設(shè)定值。由此可以看出，常規(guī)PID控制的魯棒性較差，而HJPSO-BP廣義預(yù)測控制具有更強的魯棒性，且更能適應(yīng)大型單元機組模型不確定性的要求。

4 結(jié)論（Conclusion）

本文針對大型單元機組被控對象的特點，結(jié)合協(xié)調(diào)控制運行中的普遍問題，采用HJPSO算法進(jìn)行神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，利用BP網(wǎng)絡(luò)快速完成這種多變量非線性系統(tǒng)的數(shù)學(xué)模型辨識，同時將訓(xùn)練好的HJPSO-BP網(wǎng)絡(luò)中的參數(shù)用于求取廣義預(yù)測控制率，這樣避免求解Diophantine方程，減小計算量。仿真結(jié)果表明，該方法保證在系統(tǒng)運行中功率和主蒸汽壓力平穩(wěn)地跟蹤其設(shè)定值且具有較好的魯棒性，在單元機組控制中較之常規(guī)協(xié)調(diào)控制策略更加有效。

參考文獻(xiàn)

[1] 孫增圻.智能控制理論與技術(shù)[M].清華大學(xué)出版社，1992.4.

第4篇：梯度下降法的基本原理范文

關(guān)鍵詞:室內(nèi)定位;RSS; BP神經(jīng)網(wǎng)絡(luò);IEEE 802.11b

中圖分類號:TN911.23 文獻(xiàn)標(biāo)識碼:A

1 引 言

目前,室內(nèi)定位算法主要有以下幾種｡

1)Time of arrival(TOA)

TOA定位的基本原理是通過測量節(jié)點間電波傳播的時間來確定節(jié)點的位置｡

TOA算法要求參加定位的各個基站在時間上實現(xiàn)嚴(yán)格同步｡在室內(nèi)環(huán)境中,由于已知點到待測點的距離通常不遠(yuǎn),無線電波的傳播速度太快,且存在嚴(yán)重的多徑干擾,因此無法利用無線電波進(jìn)行測距｡目前,基于TOA的室內(nèi)定位技術(shù)通常是利用超聲波傳播速度較慢的特點(在20攝氏度時超聲波的傳播速度為343.38m/s),來測量出已知點和待測點間的距離,進(jìn)而求出待測點的位置[1]｡

2)GPS L1 Re-radiating

GPS(Global Positioning System)是70年代初由美國開發(fā)的衛(wèi)星導(dǎo)航定位系統(tǒng),本質(zhì)上它也是一個基于TOA的定位系統(tǒng)｡

GPS L1 Re-radiating是將GPS在L1頻段上的信號,通過戶外天線接收后,增益放大為室內(nèi)可接收信號,進(jìn)而基于GPS實現(xiàn)室內(nèi)定位｡

3)Received signal strength,RSS

RSS定位的基本原理是利用移動裝置偵測所接收到的無線電波信號強弱,然后根據(jù)經(jīng)驗?zāi)Ｐ突騌SS隨距離衰減的模型來推斷節(jié)點間的距離,進(jìn)而實現(xiàn)定位[2]｡

該技術(shù)主要使用無線網(wǎng)絡(luò)本身的無線電信號來定位,不需額外添加硬件,是一種低功率､廉價的定位技術(shù)[3]｡

基于信號強度的室內(nèi)定位方法分為經(jīng)驗?zāi)Ｐ头ê托盘査p模型法｡

(1)經(jīng)驗?zāi)Ｐ头?/p>

在經(jīng)驗?zāi)Ｐ头ㄖ?將RSSI數(shù)據(jù)轉(zhuǎn)換為位置信息的方法主要有判定法和概率法兩種｡

(2)信號衰減模型法

信號衰減模型法則無需實地測量位置和RSSI,而是依據(jù)信號強度和距離的特定關(guān)系,結(jié)合三角測量法,根據(jù)來自三個(或以上)AP的RSSI來計算出待測點的位置｡

基于TOA的定位模型在開放的室外環(huán)境中非常有效,但在室內(nèi)環(huán)境卻存在一些問題｡使用超聲波雖可克服無線電波傳輸速度快的問題,但需構(gòu)建專門的超聲波系統(tǒng)｡GPS也主要是針對戶外目標(biāo)設(shè)計的定位系統(tǒng),應(yīng)用于室內(nèi)存在定位精度不高等問題｡基于RSS的定位模型中,經(jīng)驗法需進(jìn)行大量的實地測量,同時無法保護(hù)定位用戶的隱私;而信號衰減法在室內(nèi)受NLOS(非視距傳播)等因素影響,也使得定位精度較低｡

因此,本文提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型并借助MATLAB 7.0加以實現(xiàn)｡采用該方法進(jìn)行室內(nèi)定位,不需要WLAN以外的其他資源｡由于不需要知道定位節(jié)點和建筑物的詳細(xì)特性,用戶的隱私將隨之得到完全的保護(hù)｡

2 基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型

BP神經(jīng)網(wǎng)絡(luò)通常是指基于誤差反向傳播算法(Backpropagation)的多層前向神經(jīng)網(wǎng)絡(luò),目前,該算法已成為應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[4]｡

BP神經(jīng)網(wǎng)絡(luò)采用的是并行網(wǎng)絡(luò)結(jié)構(gòu),包括輸入層､隱含層和輸出層,經(jīng)作用函數(shù)后,再把隱節(jié)點的輸出信號傳遞到輸出節(jié)點,最后給出輸出結(jié)果｡該算法的學(xué)習(xí)過程由信息的前向傳播和誤差的反向傳播組成｡在前向傳播的過程中,輸入信息從輸入層經(jīng)隱含層逐層處理,并傳向輸出層｡第一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)｡如果在輸出層得不到期望的輸出結(jié)果,則轉(zhuǎn)入反向傳播,將誤差信號(目標(biāo)值與網(wǎng)絡(luò)輸出之差)沿原來的連接通道返回,通過修改各層神經(jīng)元權(quán)值,使得誤差均方最小｡神經(jīng)網(wǎng)絡(luò)理論已經(jīng)證明BP神經(jīng)網(wǎng)絡(luò)具有強大的非線性映射能力和泛化功能,任一連續(xù)函數(shù)或映射均可采用三層網(wǎng)絡(luò)加以實現(xiàn)｡

計算技術(shù)與自動化2007年6月第26卷第2期李 瑛等:一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型2.1 樣本數(shù)據(jù)的采集和處理

輸入向量為待測點收到的來自至少三個不同位置AP的RSSI值,輸出向量為待測點的坐標(biāo)值(X,Y)｡

樣本采集在一個10mX10m的室內(nèi)場地中進(jìn)行｡使用3個來自SMC公司的AP和1臺配置了ORiNOCO PC CARD的筆記本電腦｡AP及無線網(wǎng)卡符合并工作在IEEE 802.11b標(biāo)準(zhǔn)下｡筆記本電腦所使用的操作系統(tǒng)為RedHat Linux 9.0｡樣本均勻分布在6mx6m的中心區(qū)域中｡

2.2 網(wǎng)絡(luò)結(jié)構(gòu)的確定

Kolmogorov定理已經(jīng)證明[5],任意一連續(xù)函數(shù)可由一個三層BP 網(wǎng)絡(luò)來實現(xiàn)｡雖然研究表明三層以上的BP網(wǎng)絡(luò)可以減少隱含層節(jié)點數(shù),提高計算效率,但在缺乏理論指導(dǎo)的BP網(wǎng)絡(luò)設(shè)計中這樣做容易使問題趨向復(fù)雜化｡因此選擇三層BP神經(jīng)網(wǎng)絡(luò),即只有1個隱含層的BP神經(jīng)網(wǎng)絡(luò)｡

該網(wǎng)絡(luò)輸入層的節(jié)點數(shù)由輸入向量的維數(shù)決定,輸入向量的維數(shù)是3,所以輸入層節(jié)點數(shù)確定為3個｡輸出層節(jié)點數(shù)由輸出向量的維數(shù)決定,這里輸出節(jié)點數(shù)為2 ｡

隱含層節(jié)點數(shù)的選擇在BP網(wǎng)絡(luò)設(shè)計中是一個難點,目前還沒有理論上的指導(dǎo)｡過多的網(wǎng)絡(luò)節(jié)點會增加訓(xùn)練網(wǎng)絡(luò)的時間,也會使網(wǎng)絡(luò)的泛化能力減弱,網(wǎng)絡(luò)的預(yù)測能力下降｡然而網(wǎng)絡(luò)節(jié)點過少則不能反映后續(xù)值與前驅(qū)值的相關(guān)關(guān)系,建模不充分｡經(jīng)反復(fù)試驗,將隱含層節(jié)點數(shù)定為30,這樣形成了一個3-30-2結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò),如圖1所示｡

2.3 學(xué)習(xí)算法的選擇

基本BP 算法采用梯度下降法使得誤差均方(mse)趨向最小,直至達(dá)到誤差要求｡但在實際應(yīng)用中,存在收斂速度慢､局部極值等缺點｡Matlab 7.0神經(jīng)網(wǎng)絡(luò)工具箱中提供了十多種快速學(xué)習(xí)算法,一類是采用啟發(fā)式學(xué)習(xí)方法,如引入動量因子的traingdm 算法､變速率學(xué)習(xí)算法traingda ､“彈性”學(xué)習(xí)算法trainrp等;另一類采用數(shù)值優(yōu)化方法,如共軛梯度學(xué)習(xí)算法traincgf 等｡本研究選擇traincgf 算法｡該算法在不增加算法復(fù)雜性的前提下,可以提高收斂速度,并且可沿共扼方向達(dá)到全局最小點,較好地解決了經(jīng)典BP算法所存在的收斂速度慢和可能出現(xiàn)局部最優(yōu)解的問題｡

2.4 BP神經(jīng)網(wǎng)絡(luò)的初始化､訓(xùn)練與仿真

1)建立網(wǎng)絡(luò)

net==newff(P3,[30,2],{′tansig′,′purelin′},′traincgf′)

newff()為建立BP 神經(jīng)網(wǎng)絡(luò)的函數(shù);P3為6維矩陣,表示3維輸入向量中每維輸入的最小值和最大值之間的范圍｡[30,2]表示隱層節(jié)點數(shù)是30,輸出層節(jié)點數(shù)是2,{′tansig′,′purelin′}表示隱含層中的神經(jīng)元采用tansig轉(zhuǎn)換函數(shù),輸出層采用purelin函數(shù),′traincgf′表示選擇的學(xué)習(xí)算法｡

2)權(quán)重和閾值初始化

net==init(net)

給各連接權(quán)重LW{1,1}､LW{2,1}及閾值b{1}､b{2}賦予(-1,+1)間的隨機值｡

3)訓(xùn)練

[net,tr]=train(net,P,T)

P為輸入向量,T為目標(biāo)向量,根據(jù)網(wǎng)絡(luò)學(xué)習(xí)誤差逆?zhèn)鬟f算法,利用阻尼最小二乘算法迭代,由前一次訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重及閾值訓(xùn)練得到新的網(wǎng)絡(luò)權(quán)重及閾值｡

為了使生成的BP網(wǎng)絡(luò)對輸入向量有一定的容錯能力,最好的方法是既使用理想的信號又使用帶有噪聲的信號對網(wǎng)絡(luò)進(jìn)行訓(xùn)練｡具體做法是先用理想的輸入信號對網(wǎng)絡(luò)進(jìn)行訓(xùn)練,直到起平方和誤差足夠小;然后,使用20組理想信號和帶有噪聲的信號對網(wǎng)絡(luò)進(jìn)行訓(xùn)練｡經(jīng)過上述訓(xùn)練后,網(wǎng)絡(luò)對無誤差的信號也可能會采用對付帶有噪聲信號的辦法,這樣會導(dǎo)致很大的代價,因此,需要采用理想的向量對網(wǎng)絡(luò)再次訓(xùn)練,以保證網(wǎng)絡(luò)能對理想信號作出最好的反應(yīng)｡

使用函數(shù)traincgf對網(wǎng)絡(luò)進(jìn)行訓(xùn)練時,當(dāng)網(wǎng)絡(luò)平方和誤差小于3時停止網(wǎng)絡(luò)的訓(xùn)練｡訓(xùn)練過程中的誤差變化情況如圖2所示｡

根據(jù)訓(xùn)練后的網(wǎng)絡(luò)及輸入向量進(jìn)行仿真輸出｡

3 實驗結(jié)果及分析

利用訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行了36次定位,并統(tǒng)計了36次定位的平均誤差,結(jié)果如圖3所示｡

與利用信號衰減模型定位相比(如圖4所示),利用BP神經(jīng)網(wǎng)絡(luò)定位具有更高的統(tǒng)計精度｡

與信號衰減模型相比,雖然BP神經(jīng)網(wǎng)絡(luò)的模型解釋直觀性略有不足,但卻可獲得更精確的定位結(jié)果｡

利用BP神經(jīng)網(wǎng)絡(luò),雖然可解決傳統(tǒng)處理方法所不能處理的非線性映射問題,但在實際應(yīng)用中,對如何選擇和確定一個合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)沒有確切的理論指導(dǎo),只能通過試驗―調(diào)整―再試驗的過程來確定一個合適的網(wǎng)絡(luò)結(jié)構(gòu)｡同時,BP神經(jīng)網(wǎng)絡(luò)的隱含層作用機理和隱含層節(jié)點個數(shù)的選擇是BP神經(jīng)網(wǎng)絡(luò)的難點問題｡隱含層的節(jié)點個數(shù)的選擇需反復(fù)進(jìn)行試驗,當(dāng)多次輸出結(jié)果在一定誤差范圍內(nèi)時才可確定｡

4 結(jié)束語

本文提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的室內(nèi)定位模型,并在基于IEEE 802.11b標(biāo)準(zhǔn)的WLAN環(huán)境中對此模型進(jìn)行了測試｡一個基于信號衰減模型的定位算法也在同樣的環(huán)境中進(jìn)行了測試｡對比結(jié)果表明,利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行室內(nèi)定位能取得更好的定位精度｡

第5篇：梯度下降法的基本原理范文

關(guān)鍵詞：高速公路；隧道施工系統(tǒng)；安全評價；模糊理論；神經(jīng)網(wǎng)絡(luò)

0引言

近年來，隨著國家高速公路迅猛發(fā)展，隧道建設(shè)數(shù)量也越來越多，規(guī)模也越來越大。在隧道施工過程中，由于圍巖地質(zhì)條件的多樣性和復(fù)雜性，其施工事故發(fā)生率比其他巖土工程高且嚴(yán)重，給隧道工程施工人員身心帶來嚴(yán)重的危害，社會影響惡劣，有悖于國家建設(shè)和諧社會的宗旨。這就要求用科學(xué)的方法對隧道施工生產(chǎn)系統(tǒng)進(jìn)行安全分析與評估，預(yù)測事故發(fā)生的可能性[1]。

在傳統(tǒng)的公路隧道施工生產(chǎn)系統(tǒng)安全評價中，經(jīng)常使用的安全評價方法主要以定性安全評價方法為主，如專家論證法、安全檢查表法及作業(yè)條件危險性評價法等[2,3]。近年來，在公路隧道施工生產(chǎn)系統(tǒng)安全評價中，引人了模糊綜合評價的方法，取得了較好的決策效果[4]。但是，該方法缺乏對環(huán)境變化的自學(xué)習(xí)能力，對權(quán)值不能進(jìn)行動態(tài)調(diào)整[5],而神經(jīng)網(wǎng)絡(luò)具有非線性逼近能力,具有自學(xué)習(xí)、自適應(yīng)和并行分布處理能力，但其對不確定性知識的表達(dá)能力較差，因此，模糊控制與神經(jīng)網(wǎng)絡(luò)結(jié)合就可以優(yōu)勢互補，各取所長[6]，在這方面已經(jīng)出現(xiàn)了一些研究成果[7～11]。為此，本文把人工神經(jīng)網(wǎng)絡(luò)理論與模糊綜合評價理論相融合，研究建立了一種模糊神經(jīng)網(wǎng)絡(luò)評價模型，對公路隧道施工的安全管理水平進(jìn)行評價。

1模糊神經(jīng)網(wǎng)絡(luò)

1.1基本結(jié)構(gòu)原理

模糊神經(jīng)網(wǎng)絡(luò)是由與人腦神經(jīng)細(xì)胞相似的基本計算單元即神經(jīng)元通過大規(guī)模并行、相互連接而成的網(wǎng)絡(luò)系統(tǒng)，訓(xùn)練完的網(wǎng)絡(luò)系統(tǒng)具有處理評估不確定性的能力，也具有記憶聯(lián)想的能力，可以成為解決評估問題的有效工具，對未知對象作出較為客觀正確的評估。

根據(jù)評估問題的要求，本文采用具有多輸人單元和五輸出單元的三層前饋神經(jīng)網(wǎng)絡(luò)，其中包括神經(jīng)網(wǎng)絡(luò)和模糊集合兩方面的內(nèi)容。

1.2神經(jīng)網(wǎng)絡(luò)

為了模擬人腦結(jié)構(gòu)和功能的基本特性，前饋神經(jīng)網(wǎng)絡(luò)由許多非線性神經(jīng)元組成，并行分布，多層連接。Robert Hecht一Nielson于1989年證明了對于任何在閉區(qū)間內(nèi)的一個連續(xù)函數(shù)都可以用一個隱層的BP網(wǎng)絡(luò)來逼近[12]，因而一個三層的BP網(wǎng)絡(luò)完全可以完成任意的輸人層到輸出層的變換。因此，本文研究的公路隧道施工系統(tǒng)安全評價模糊神經(jīng)網(wǎng)絡(luò)采用三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。輸人層有 個神經(jīng)元，輸人向量 ， ，輸人層神經(jīng)元 的輸出是輸人向量的各分分量 。隱層有個神經(jīng)元 ， ，若輸人層神經(jīng)元 與隱層神經(jīng)元 之間的連接權(quán)值為 ，且隱層神經(jīng)元 的閾值為 ，則隱層神經(jīng)元 的輸出為

(l)

式中 是神經(jīng)元的激勵函數(shù)，一般選取單調(diào)遞增的有界非線性函數(shù)，這里選用Sigmoid函數(shù)：

(2)

由此，隱層神經(jīng)元的輸出為：

(3)

同理可得輸出層神經(jīng)元的輸出為：

(4)

1.3學(xué)習(xí)算法

本網(wǎng)絡(luò)采用BP學(xué)習(xí)算法，它是一種有教師的學(xué)習(xí)算法，其學(xué)習(xí)過程由信號的正向傳播和誤差的反向傳播組成。基本原理是：設(shè)輸人學(xué)習(xí)樣本為 個，即輸人矢量 ，已知其對應(yīng)的期望輸出矢量(教師信號)為 ，正向傳播過程將學(xué)習(xí)樣本輸人模式 從輸人層經(jīng)隱含單元層逐層處理，并傳向輸出層，得到實際的輸出矢量 ，如果在輸出層不能得到期望輸出 ，則轉(zhuǎn)人反向傳播，將 與 的誤差信號通過隱層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層的所有單元，從而調(diào)整各神經(jīng)元之間的連接權(quán)值，這種信號正向傳播與誤差反向傳播得各層權(quán)值調(diào)整過程是周而復(fù)始地進(jìn)行的，直到網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。

網(wǎng)絡(luò)的具體學(xué)習(xí)算法的計算模型如下：

對某一學(xué)習(xí)樣本 ，誤差函數(shù)為

（5）

式中： 、 分別為該樣本的輸出期望值和實際值。

對于所有學(xué)習(xí)樣本 ，網(wǎng)絡(luò)的總誤差為

（6）

網(wǎng)絡(luò)學(xué)習(xí)算法實際上就是求誤差函數(shù)的極小值。利用非線性規(guī)劃中的梯度下降法(最速下降法)，使權(quán)值沿著誤差函數(shù)的負(fù)梯度方向改變。

隱層與輸出層之間的權(quán)值(及閾值) 的更新量 可表示為

（7）

式中： 為學(xué)習(xí)率，可取 。

將式（6）和（4）代入式（7），并利用復(fù)合函數(shù)求導(dǎo)的連鎖規(guī)則，得

（8）

式中： 為迭代次數(shù)， 為誤差信號

（9）

類似的，輸入層與隱層之間的權(quán)值（及閾值）修正為

（10）

同理可得

式中 為誤差信號

（11）

為了改善收斂性，提高網(wǎng)絡(luò)的訓(xùn)練速度，避免訓(xùn)練過程發(fā)生振蕩，對BP算法進(jìn)行改進(jìn)，在權(quán)值調(diào)整公式中增加一動量項，即從前一次權(quán)值調(diào)整量中取出一部分迭加到本次權(quán)值調(diào)整量中，即：

（12）

（13）

式中 為動量因子，一般有 。

1.4模糊集合

評估指標(biāo)集由表征一類評估決策問題的若干性能指標(biāo)組成。由于指標(biāo)的量化含有不確定性，故用模糊方法加以處理[13]。評估指標(biāo)的模糊集合 可表示為

（14）

式中： 是評估指標(biāo)， 是相應(yīng)指標(biāo)的評價滿意度， 。

評估指標(biāo)集用其滿意度表示，取值在[0，1]之間，作為模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)中神經(jīng)網(wǎng)絡(luò)的輸人向量，這正好符合神經(jīng)網(wǎng)絡(luò)對輸人向量特征化的要求。實踐表明，經(jīng)過對輸人向量的特征化處理，可大大減少網(wǎng)絡(luò)的學(xué)習(xí)時間，加速網(wǎng)絡(luò)訓(xùn)練的收斂。

2隧道施工系統(tǒng)安全評價模糊神經(jīng)網(wǎng)絡(luò)

2.1指標(biāo)體系與神經(jīng)網(wǎng)絡(luò)劃分

實踐證明，一個好的隧道施工系統(tǒng)安全評價方法應(yīng)滿足以下要求：評價指標(biāo)能全面準(zhǔn)確地反映出隧道施工系統(tǒng)的狀況與技術(shù)質(zhì)量特征；評價模式簡單明了，可操作性強，易掌握；評價結(jié)論能反映隧道施工系統(tǒng)的合理性、經(jīng)濟(jì)性及安全可靠性；評價中所采用的數(shù)據(jù)易于獲取，數(shù)據(jù)處理工作量小；頂層輸出即為系統(tǒng)的專家評估，而每層各評估項目的子系統(tǒng)都可以用子結(jié)構(gòu)表示。

每個子結(jié)構(gòu)具有輸人輸出關(guān)系可表達(dá)為

（15）

其中 是子系統(tǒng)的輸出， 是子系統(tǒng)的輸人矢量， 為相應(yīng)的專家(加權(quán))知識。

評估專家系統(tǒng)中各子系統(tǒng)的評估由各自的模糊神經(jīng)網(wǎng)絡(luò)來完成。

這種對評估系統(tǒng)的結(jié)構(gòu)分解和組合具有如下特點：

（1）每個子系統(tǒng)可以采用較少的神經(jīng)元來實現(xiàn)神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)和知識推理，這樣既減少了學(xué)習(xí)樣本數(shù)、提高了樣本訓(xùn)練速度，又能夠獨立完成某一推理任務(wù)。

（2）分解的各子系統(tǒng)具有相對獨立性，便于系統(tǒng)的修改、擴(kuò)展和子系統(tǒng)的刪除，從而具有良好的維護(hù)性。

（3）子系統(tǒng)的評估項目即為節(jié)點，在系統(tǒng)進(jìn)行評估推理時產(chǎn)生的評估表示式可以很好地解釋評估系統(tǒng)的推理過程，避免了神經(jīng)網(wǎng)絡(luò)權(quán)值難以理解所致的推理過程難以理解的弱點。

2.2網(wǎng)絡(luò)的設(shè)計

評估問題是前向處理問題，所以選用如前所述的前向型模糊神經(jīng)網(wǎng)絡(luò)來實現(xiàn)。

（1）輸人層

輸人層是對模糊信息進(jìn)行預(yù)處理的網(wǎng)層，主要用于對來自輸人單元的輸人值進(jìn)行規(guī)范化處理，輸出由系統(tǒng)模糊變量基本狀態(tài)的隸屬函數(shù)所確定的標(biāo)準(zhǔn)化的值，以便使其適應(yīng)后面的處理。根據(jù)評價指標(biāo)體系，對應(yīng)20個指標(biāo)構(gòu)建BP網(wǎng)絡(luò)的輸入層為20個節(jié)點，將指標(biāo)轉(zhuǎn)換為相應(yīng)指數(shù)后作為樣本進(jìn)入網(wǎng)絡(luò)進(jìn)行計算。

（2）隱層(模糊推理層)

該層是前向型模糊神經(jīng)網(wǎng)絡(luò)的核心，用以執(zhí)行模糊關(guān)系的映射，將指標(biāo)狀態(tài)輸入與評估結(jié)果輸出聯(lián)系起來。采用試探法選取模型的隱含層神經(jīng)元數(shù)，即首先給定一個較小的隱含層神經(jīng)元數(shù)，代入模型觀察其收斂情況，然后逐漸增大，直至網(wǎng)絡(luò)穩(wěn)定收斂。通過計算該模型的隱含層神經(jīng)元數(shù)為28個。

（3）輸出層

輸出層是求解模糊神經(jīng)網(wǎng)絡(luò)的結(jié)果，也是最后的評估結(jié)果。我們把評價因素論域中的每一因素分成5個評價等級，即

={安全（ ），較安全（ ），安全性一般（ ），較不安全（ ），不安全（ ）}

對應(yīng)這5個等級，確定輸出層為5個節(jié)點。這樣就構(gòu)建了一個“20―28―5”的3層BP網(wǎng)絡(luò)作為評價體系的網(wǎng)絡(luò)模型。

2.3模糊神經(jīng)網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)設(shè)計好后,須對其進(jìn)行訓(xùn)練，使網(wǎng)絡(luò)具有再現(xiàn)專家評估的知識和經(jīng)驗的能力。樣本數(shù)據(jù)來自我省已經(jīng)建成的高速公路隧道施工的現(xiàn)場數(shù)據(jù)庫，從中選取30組，其中20組數(shù)據(jù)作為訓(xùn)練樣本，余下的10組作為測試樣本。實際網(wǎng)絡(luò)訓(xùn)練表明，當(dāng)訓(xùn)練步數(shù)為12875時，達(dá)到了目標(biāo)要求的允差，獲得模糊神經(jīng)網(wǎng)絡(luò)各節(jié)點的權(quán)值和閾值，網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)成功。根據(jù)最大隸屬度原則進(jìn)行比較，與期望結(jié)果相符，其準(zhǔn)確率為100%。這說明所建立的隧道施工系統(tǒng)安全評價模糊神經(jīng)網(wǎng)絡(luò)模型及訓(xùn)練結(jié)果可靠。

3 工程應(yīng)用實例

利用所訓(xùn)練好的模糊神經(jīng)網(wǎng)絡(luò)模型，對江西省正在施工的某高速公路A3合同段3座隧道（北晨亭隧道、洪家坂隧道和窯坑隧道）施工系統(tǒng)進(jìn)行安全評價測定，評價出系統(tǒng)的安全狀況與3座隧道施工實際情況完全相符。同時，實際系統(tǒng)的評價結(jié)果又可作為新的學(xué)習(xí)樣本輸入網(wǎng)絡(luò)模型，實現(xiàn)歷史經(jīng)驗和新知識相結(jié)合,在發(fā)展過程中動態(tài)地評價系統(tǒng)的安全狀態(tài)。

4 結(jié)論

（1）本文對模糊理論與神經(jīng)網(wǎng)絡(luò)融合技術(shù)進(jìn)行了研究，建立了一種公路隧道施工系統(tǒng)安全模糊神經(jīng)網(wǎng)絡(luò)評價模型，利用歷史樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練和測試，并對工程實例進(jìn)行了評價。結(jié)果顯示，該評價方法可行，評價精度滿足工程應(yīng)用要求,為公路隧道施工安全評價探索了一種新的評價方法。

（2）運用模糊神經(jīng)網(wǎng)絡(luò)知識存儲和自適應(yīng)性特征，通過適當(dāng)補充學(xué)習(xí)樣本，可以實現(xiàn)歷史經(jīng)驗與新知識完美結(jié)合，在發(fā)展過程中動態(tài)地評價公路隧道施工系統(tǒng)的安全狀態(tài)，可及時評估出施工系統(tǒng)的安全狀況，盡早發(fā)現(xiàn)安全隱患。

參考文獻(xiàn)：

[1]徐德蜀.安全科學(xué)與工程導(dǎo)論[M].北京:化學(xué)工業(yè)出版社,2005.

[2]劉鐵民,張興凱,劉功智.安全評價方法應(yīng)用指南[M].北京:化學(xué)工業(yè)出版社,2005.

[3]田建,李志強,張斌.交通建設(shè)工程安全評價技術(shù)現(xiàn)狀及趨勢研究[J].中國安全科學(xué)學(xué)報,2008,18(6):171-176.

[4]張鴻,劉優(yōu)平,黎劍華等.基于模糊理論的隧道施工安全預(yù)警模型研究及應(yīng)用[J].中國安全科學(xué)學(xué)報,2009.19(4):5-10.

[5]劉輝,王海寧,呂志飛.模糊神經(jīng)網(wǎng)絡(luò)技術(shù)在礦山安全評價中的適應(yīng)性研究[J].中國安全生產(chǎn)科學(xué)技術(shù),2005,1(3):54-59.

[6]張吉禮.模糊-神經(jīng)網(wǎng)絡(luò)控制原理與工程應(yīng)用[M].哈爾濱:哈爾濱工業(yè)大學(xué)出版社,2004.

[7]葛淑杰,李彥峰,姜天文等.基于模糊神經(jīng)網(wǎng)絡(luò)的煤礦安全評價綜合評判[J].黑龍江科技學(xué)院學(xué)報,2007,17(4):321-325.

[8]鄭恒,汪佩蘭.模糊神經(jīng)網(wǎng)絡(luò)在火工品生產(chǎn)系統(tǒng)安全評價中的應(yīng)用[J].安全與環(huán)境學(xué)報,2004,4:159-162.

[9田軍.基于模糊神經(jīng)網(wǎng)絡(luò)的隧道圍巖分級系統(tǒng)[J].湖南交通科技,2007,34(4):104-107.

[10]郭宇航,王保國.兩類新型神經(jīng)網(wǎng)絡(luò)及其在安全評價中的應(yīng)用[J].中國安全科學(xué)學(xué)報,2008,18(7):28-33.

[11]宋瑞,鄧寶.神經(jīng)元網(wǎng)絡(luò)在安全評價中的應(yīng)用[J].中國安全科學(xué)學(xué)報,2005,15(3):78-81.

[12]韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計及應(yīng)用[M].北京:化學(xué)工業(yè)出版社,2007.

[13]楊綸標(biāo),高英儀.模糊數(shù)學(xué)原理及應(yīng)用[M].廣州:華南理工大學(xué),2005.

第6篇：梯度下降法的基本原理范文

關(guān)鍵詞：避障；模式識別；全向移動機器人；超聲波傳感器；BP神經(jīng)網(wǎng)絡(luò)；樣本庫；分類誤差；仿真

中圖分類號：TP242.6 文獻(xiàn)標(biāo)識碼：A

Obstacles based on BP neural network pattern recognition

ZHANG Qiuhao，MENG Xianhui，GUO Hongche，SUN Baiqing

（Shenyang University of Technology，Shengyang 110870）

Abstract：Adopted theory of BP neural network to realize pattern identification of obstacle. Constructed a kind of neural network classifier based on BP algorithm, according to the characteristics of omni-directional mobile robot.Taked the distance of obstacle acquired by ultrasound sensor as input,classificaion pattern expected as output, then, trained the parameter of BP neural network classifier through training the data in sample library. Simulated the process of training with Matlab software. During training, this pattern classification could gain less error and gain correct resullt by adopting testing sample to test classifier. Showed that this kind of BP neural network classifier can execute effectively pattern classification to obstacles around mobile robot.

Key words：obstacle avoidance；pattern classification；omni-directional mobile robot；ultrasonic sensors；BP neural network；Sample library；Classification error；computer simulink

移動機器人的智能避障算法已經(jīng)有許多學(xué)者進(jìn)行了深入的研究，機器人在導(dǎo)航過程中，對障礙物的模式識別是感知當(dāng)前環(huán)境的一種重要方法，適合移動機器人本身特點的障礙物模式識別是好的避障算法的基礎(chǔ)。其中應(yīng)用人工神經(jīng)網(wǎng)絡(luò)對障礙物進(jìn)行模式的分類和識別也有很多[1-2]。在運用模式識別的若干種神經(jīng)網(wǎng)絡(luò)模型中，BP模型應(yīng)用最為廣泛。其非線性映射能力是保證其成功實現(xiàn)各種簡單或復(fù)雜分類的主要原因，而并行結(jié)構(gòu)則加速了運算。更重要的是，它將信息分布式存儲于連接權(quán)系數(shù)中，使網(wǎng)絡(luò)具有很高的容錯性和魯棒性，有效地解決了模式分類和識別中普遍存在的噪聲干擾和輸入模式的部分損失問題 [3] 。

1 BP神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)和機理

1.1 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)，也稱誤差后向傳播神經(jīng)網(wǎng)絡(luò)【4】，它是由非線性變換單元組成的多層前饋網(wǎng)絡(luò)。一般由輸入層、輸出層和隱含層三部分組成。隱含層可以為一層或多層。根據(jù)Kolmogorov定理（1957）[5]，一個三層的BP網(wǎng)絡(luò)足可以完成任意的m維到q維的映射，即一般只需一個隱含層就夠了。同時從簡潔實用的角度考慮，也提倡選用一個隱含層，隱含層含有n個神經(jīng)元。輸入層和隱含層之間以及隱含層和輸出層之間通過權(quán)值來表示連接強度。這就是三層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（如圖3-1）。

輸入層輸入向量X=[x1,x2,…，xi，…xm]T，隱含層輸出向量為Y=[ y1,y2,…，yj，…yn]T,輸出層輸出向量為Z=[ z1,z2,…，zk，…zq]T，期望輸出向量為T=[ t1,t2,…，tk，…tq]T。輸入層到隱含層之間的權(quán)值矩陣用A表示，A=[ a1,a2,…，aj，…an]，其中列向量aj為隱含層第j個神經(jīng)元對應(yīng)的權(quán)值向量，隱含層到輸出層之間的權(quán)值矩陣用B表示，B=[ b1,b2,…，bk，…bq]，其中列向量bk為輸出層第k個神經(jīng)元對應(yīng)的權(quán)值向量。

1.2 BP算法

BP算法的思想是，學(xué)習(xí)過程即信號的正向傳播與誤差的反向傳播兩個過程組成。

由信號的正向傳播，這里定義f（*）為神經(jīng)元激勵函數(shù)，對于隱含層有

yj =f（netj） j=1，2，…，n （1）

netj= aijxi j=1，2，…，n （2）

對于輸出層有

zk =f（netk） k=1，2，…，q （3）

netk= bjkyj k=1，2，…，q （4）

再來看誤差的反向傳播和權(quán)值的修正，BP算法采用非線性規(guī)劃中的最速下降法，按誤差函數(shù)的負(fù)梯度方向修改權(quán)值系數(shù)。

定義誤差函數(shù)E，取期望輸出和實際輸出之差的平方和為誤差函數(shù)，則：

E=12 (T-Z)2=12 (tk-zk)2 k=1，…，q （5）

進(jìn)一步展開至輸入層

E=12 {tk-f[ bjkf( aijyi)]｝2 其中k=1，…，n j=1,…,n i=1,…,m （6）

由上式可以看出，網(wǎng)絡(luò)輸入誤差是各層權(quán)值aij、bjk的函數(shù)，因此調(diào)整權(quán)值可以改變誤差E。調(diào)整權(quán)值的原則是使誤差不斷的減小，應(yīng)使權(quán)值的調(diào)整量與誤差的負(fù)梯度成正比，即：

aij= i=1,2,…,m j=1,2,…,n （7）

bij= j=1,2,…,n k=1,2,…,q （8）

式中負(fù)號表示梯度下降，η∈（0，1）為學(xué)習(xí)率。

各層權(quán)值調(diào)整過程是循環(huán)進(jìn)行的。權(quán)值不斷調(diào)整的過程，就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。通過不斷的調(diào)整權(quán)值和新的數(shù)據(jù)不斷加入，可以使誤差逐漸的減小。

2 構(gòu)建BP神經(jīng)網(wǎng)絡(luò)分類器結(jié)構(gòu)

模式識別的分類問題歸根結(jié)底是一個模式特征空間的劃分問題，或者說是一種映射問題。而BP網(wǎng)絡(luò)的輸入輸出關(guān)系可以看成是一種高度非線性的映射關(guān)系，其信息處理能力也是來自于一種簡單的非線性函數(shù)的多次復(fù)合。根據(jù)BP網(wǎng)絡(luò)結(jié)構(gòu)定理及有關(guān)性質(zhì)，大家知道，對于任何在閉區(qū)間內(nèi)的一個連續(xù)函數(shù)都可以用一個隱含層的BP網(wǎng)絡(luò)來逼近，也就是說一個三層的BP網(wǎng)絡(luò)可以完成任意的n維到q維的映射。BP網(wǎng)絡(luò)分類器就是在這個基礎(chǔ)上達(dá)成對樣本分類的，也就是說我們可以應(yīng)用BP網(wǎng)絡(luò)分類器完成從環(huán)境信息到環(huán)境分類的映射。

本課題應(yīng)用的移動機器人（如圖2）采用的是全方位移動機構(gòu)（如圖2-a為俯視圖 ），車輪為全向輪（如圖2-b），當(dāng)車輪旋轉(zhuǎn)時，輪心相對于地面的速度 是輪轂速度 與輥子滾動速度 的合成， 與 垂直。這種結(jié)構(gòu)的車輪在驅(qū)動力的作用下可以前進(jìn)或后退，當(dāng)受到橫向的外力時又可以自由的橫向移動，因此經(jīng)過適當(dāng)?shù)慕M合后就可以實現(xiàn)機器人的全方向移動和原地轉(zhuǎn)向運動，以及這兩種運動的合成[6]。

結(jié)合全向移動機器人能夠全方位移動和原地轉(zhuǎn)向的特點，對周圍障礙物分類比較具體化，更貼近于實際。本次研究把其周圍障礙物的模式分為10類 （如圖3）。為減小輸出層神經(jīng)元數(shù)，我們做一次處理，采用二進(jìn)制編碼來作為輸出的目標(biāo)向量。把10類用4位用二進(jìn)制編碼表示，如0000,0001,…,1010等。故輸出層的神經(jīng)元的個數(shù)為4個，即k=4。

移動機器人的工作環(huán)境空間是一個二維空間，其只對障礙物的形狀和距離車體的遠(yuǎn)近敏感，所以把機器人和周圍環(huán)境中的障礙物的距離做為BP神經(jīng)網(wǎng)絡(luò)分類器的輸入。采用NU40C10T/R-2型超聲波傳感器和AT89S51單片機組成系統(tǒng)對周圍環(huán)境中的障礙物進(jìn)行測距【7】，。NU40C10T/R-2型超聲波傳感器的方向角為60±15°,標(biāo)稱頻率40kHz。AT89S51單片機通過RS232接口電路與PC連接，從而可以把檢測的數(shù)據(jù)傳給PC進(jìn)行處理。

結(jié)合全向動機器人的特點和BP神經(jīng)網(wǎng)絡(luò)分類器所要的分類結(jié)果，要求機器人對周圍環(huán)境的感知要全面，傳感器在機器人上的分布（如圖4），并且對傳感器進(jìn)行了編號，為以后研究做準(zhǔn)備。從而可以確定輸入神經(jīng)元的個數(shù)為15，即m=15。傳感器所測定的距離值就做為BP神經(jīng)網(wǎng)絡(luò)分類器的輸入,并且在程序上把對障礙物檢測的距離做了處理，500mm為安全距離，一般機器人不會靠近障礙物500mm。檢測距離大于1000mm的賦值1000mm。

隱含層神經(jīng)元的個數(shù)，這里應(yīng)用了一個經(jīng)驗公式n= +β，其中n為隱含層神經(jīng)元的個數(shù)，m為輸入層神經(jīng)元個數(shù)，q為輸出層神經(jīng)元個數(shù)，β為1-10之間的任意一個數(shù)，取β=6?？傻胣= +10=16，即n=16。

選擇S函數(shù)為神經(jīng)元激勵函數(shù)[8]。因為輸出為二進(jìn)制編碼（0，1），所以在輸出層選擇S型對數(shù)正切函數(shù)（式9）。隱含層激勵函數(shù)我們也選取這個函數(shù)。即我們前面1.2節(jié)所提到的f（*）有

（9）

3 BP神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練和測試

Fig.5 BP Neural network classifier

構(gòu)建完了BP神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)即各層元素個數(shù)，我們就通過訓(xùn)練來確定各層元素之間的連接強度即權(quán)值系數(shù)。從而就得到一個BP神經(jīng)網(wǎng)絡(luò)分類器，然后我們再對它評價。這就是BP神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練和測試流程（如圖5）。

首先，建立好的訓(xùn)練樣本庫，網(wǎng)絡(luò)的性能與訓(xùn)練的樣本密切相關(guān)，既要有成規(guī)模的訓(xùn)練樣本，又要樣本有很好的全面性和代表性。應(yīng)用樣本數(shù)據(jù)通過訓(xùn)練來確定BP神經(jīng)網(wǎng)絡(luò)分類器中的權(quán)值，當(dāng)權(quán)值確定好后，意味著BP神經(jīng)網(wǎng)絡(luò)分類器生成。然后我們可以用一些新的實時數(shù)據(jù)進(jìn)行進(jìn)行測驗，這樣就能夠?qū)Ψ诸惼鬟M(jìn)行評價。

本次研究對每個期望劃分出來的類型進(jìn)行10次的數(shù)據(jù)采集，生成訓(xùn)練樣本庫。由于寫作條件的限制，本文只列舉出其中每類輸出的3次采集數(shù)據(jù)代表訓(xùn)練樣本庫。其中輸入量為傳感器所測量的距離值，輸出類為我們所期望的BP神經(jīng)網(wǎng)絡(luò)分類器所分類出來的結(jié)果。

根據(jù)前面1節(jié)所述BP神經(jīng)網(wǎng)絡(luò)的機理和其訓(xùn)練和測試流程，首先我們通過matlab對訓(xùn)練的過程和結(jié)果進(jìn)行仿真[9-10]，其中學(xué)習(xí)率η=0.05，允許誤差為5%，把100個訓(xùn)練樣本數(shù)據(jù)訓(xùn)練100次。

程序如下：

p_test=xlsread('訓(xùn)練樣本.xls','sheet1','A103:O105');

t_test=xlsread('訓(xùn)練樣本.xls','sheet1','P103:S105');

P=xdata;

T=ydata;

net=newff(minmax(P),[16,4],{'tansig','tansig'},'trainlm');%trainscg; trainlm; trainrp

net.trainParam.show=50;%

net.trainParam.lr=0.1;

net.trainParam.epochs=100;

net.trainParam.goal=5*1e-2;

[net,tr]=train(net,P,T);

執(zhí)行結(jié)果：

TRAINLM, Epoch 0/100, MSE 0.762867/0.05, Gradient 90881.1/1e-010

TRAINLM, Epoch 50/100, MSE 0.0754328/0.05, Gradient 89.035/1e-010

TRAINLM, Epoch 100/100, MSE 0.0723378/0.05, Gradient 107.27/1e-010

TRAINLM, Maximum epoch reached, performance goal was not met.

所得到的分類誤差曲線，

從仿真的結(jié)果看誤差為7%左右，沒有達(dá)到要求的5%，因為當(dāng)前的訓(xùn)練樣本數(shù)據(jù)還是比較少的，所以結(jié)果也是可以接受的。

然后，我們用一個測試樣本（如表2）對我們訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行測試。

程序如下：

BP神經(jīng)網(wǎng)絡(luò)分類器對測試樣本的數(shù)據(jù)分類是正確的。

通過以上的matlab中的仿真，我們用從訓(xùn)練樣本仿真中得到了BP神經(jīng)網(wǎng)絡(luò)分類器固化參數(shù)，然后對于這個分類器進(jìn)行測試也得到了正確的結(jié)果。

4 結(jié)論

本文介紹了BP神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)和機理，基于全向移動機器人的運動特點的分類器輸入和輸出描述，從而構(gòu)造出一種基于BP算法的神經(jīng)網(wǎng)絡(luò)分類器，通過matlab軟件的仿真，這種BP神經(jīng)網(wǎng)絡(luò)分類器能夠很好的對全向移動機器人周圍的障礙物模式進(jìn)行分類，為全向移動機器人智能避障打造了很好的基礎(chǔ)。

參考文獻(xiàn) (References)：

[1] 張明路，彭商賢等.用于移動機器人避障的人工神經(jīng)網(wǎng)絡(luò)和模糊邏輯控制技術(shù)[J].中國機械工程：1997，8(2)：21～24.

ZHANG Ming-lu,Peng SHANG-xian,et al.For mobile robot obstacle avoidance of artificial neural networks and fuzzy logic control technology[J]. Chinese Mechanical Engineering：1997，8(2)：21～24.

[2] 施鴻寶.神經(jīng)網(wǎng)絡(luò)及應(yīng)用[M].西安：西安交通大學(xué)出版社，1993.1.

SHI Hong-bao,Neural Networks and applications[M]. Xi'an：Xi'an Jiaotong University，1993.1.

[3] 董聰，劉西拉.廣義BP算法及網(wǎng)絡(luò)容錯性和泛化能力研究[J].控制與決策，1998.3；13：120～124.

DONG Cong，LIU Xi-la.Generalized BP algorithm and network fault tolerance and generalization ability of Study[J].Control and Decision，1998.3；13：120～124.

[4] 江虹，曾立波等.優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計與實現(xiàn)[J].計算機工程與應(yīng)用，2001，(5).：122.

JIANG Hong，ZENG Li-bo，et al. Optimized BP Neural Network Classifier Design and Implementation[J]. Computer Engineering and Applications，2001，(5).：122.

[5] 焦李成.神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論[M].西安：西安電子科技大學(xué)出版社，1996.

JIAO Li-cheng.Neural network theory[M].Xi'an：Xidian University Press，1996.

[6] 楊俊友，李慶宇等.下肢康復(fù)機器人結(jié)構(gòu)設(shè)計及動力學(xué)仿真[J].沈陽工業(yè)大學(xué)學(xué)報，2010，(5)：514～519.

YANG Jun-you，LI Yu-qing，et al.Mechanical structure design and kinetic simulation of lower limbs rehabilitative robot[J].Journal of Shenyang University of Technology，2010，(5)：514～519.

[7] 廖一，賀漢根等.遠(yuǎn)距離超聲波傳感器在測距系統(tǒng)中的設(shè)計與應(yīng)用[J].傳感器與儀器儀表：2009，(25)：90～92.

LIAO Yi，HE Han-gen，et al. Distance ranging ultrasonic sensors in the system design and application[J]. Sensors and Instrumentation，2010，(5)：514～519.

[8] 史曉霞，陳一民等.神經(jīng)網(wǎng)絡(luò)在應(yīng)用科學(xué)和工程中的應(yīng)用-從基本原理到復(fù)雜的模式識別[M].北京：機械工業(yè)出版社，2009.7.

SHI Xiao-xia，CHEN Yi-min，et al. Neural networks in applied science and engineering - from basic principles to complex pattern recognition[M].Bei Jing：Machinery Industry Press，2009.7.

[9] 董長虹.MATLAB神經(jīng)網(wǎng)絡(luò)與應(yīng)用[M].北京：北京航空航天大學(xué)出版社，2005.

DONG Chang-hong.MATLAB Neural Networks and Applications[M]. Beijing： Aerospace University Press，2005.

[10] 高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實例[M].北京：機械工業(yè)出版社，2003.

GAO Yong.Artificial neural network and simulation examples[M]. Bei Jing：Machinery Industry Press，2003.

第7篇：梯度下降法的基本原理范文

非負(fù)矩陣分解（NMF）要求分解得到的左矩陣為列滿秩，這限制了它在欠定盲分離（UBSS）中的應(yīng)用。針對此問題，提出基于帶行列式和稀疏性約束的NMF的欠定盲分離算法――DSNMF。該算法在基本NMF的基礎(chǔ)上，對NMF得到的左矩陣進(jìn)行行列式準(zhǔn)則約束，對右矩陣進(jìn)行稀疏性約束，平衡了重構(gòu)誤差、混合矩陣的唯一性以及分離信號的稀疏特性，實現(xiàn)了對混合矩陣和源信號的欠定盲分離。仿真結(jié)果表明，在源信號稀疏性較好和較差兩種情況下，DSNMF都能取得良好的分離效果。

ス丶詞：

欠定盲分離；非負(fù)矩陣分解；稀疏性；行列式準(zhǔn)則

ブ型擠擲嗪牛 TN911

文獻(xiàn)標(biāo)志碼：A

英文標(biāo)題

Algorithm for underdetermined blind source separation based on DSNMF

び⑽淖髡咼

LU Hong1, ZHAO Zhijin1,2, YANG Xiaoniu2

び⑽牡刂(

1. College of Communication Engineering, Hangzhou Dianzi University, Hangzhou Zhejiang 310018, China;

2. State Key Laboratory of Information Controlling Technology in Communications System, No.36 Research Institute of China Electronic Technology Corporation, Jiaxing Zhejiang 314033, China

英文摘要

)

Abstract:

The decomposed left matrix of Nonnegative Matrix Factorization (NMF) is required to be full column rank, which limits of its application to Underdetermined Blind Source Separation (UBSS). To address this issue, an algorithm for UBSS based on determinant and sparsity constraint of NMF, named DSNMF, was proposed in this paper. On the basis of standard NMF, determinant criterion was used for constraining the left matrix of NMF, while sparsity was used for constraining the right one. In this way, the reconstruction error, the uniqueness of mixing matrix and the spasity of original sources can be equipoised, which leads to the underdetermined blind separation of mixing matrix and original sources. The simulation results show that DSNMF both works well for good and poor sparsity of sources separation.

英文關(guān)鍵詞

Key words:

Underdetermined Blind Source Seperation (UBSS); Nonnegative Matrix Factorization (NMF); sparsity; determinant criterion

0 引言

非負(fù)矩陣分解（Nonnegative Matrix Factorization, NMF）是D.D.Lee和H.S.Seung1999年在《Nature》雜志上發(fā)表的一種新的矩陣分解方法［1］。其基本思想是在非負(fù)限制下將矩陣V∈Rm×N分解成兩個矩陣W∈Rm×n和H∈Rn×N的乘積，并使分解結(jié)果盡可能地滿足V≈WH，其中W和H中的元素非負(fù)。其數(shù)學(xué)模型可表示為：

V=WH(1)

在實際應(yīng)用中，人們往往對分解結(jié)果W和H施以除非負(fù)性之外的如稀疏性［2］、正交性［3］ 和平滑性［4］等限制，從而使分解結(jié)果更加合理。NMF及其拓展方法廣泛應(yīng)用于數(shù)據(jù)挖掘、模式識別、目標(biāo)檢測、文本聚類、稀疏表示與編碼和盲源分離等領(lǐng)域［5-8］。

盲源分離（Blind Source Separation, BSS）指在不知道源信號和傳輸信道參數(shù)的情況下，僅利用混合信號，恢復(fù)出源信號的過程，其數(shù)學(xué)模型可以表示為：

X=AS(2)

其中:S=s1,s2,…,snT∈Rn×N是n個N維信源信號構(gòu)成的信源矩陣，X=x1,x2,…,xmT∈Rm×N是m個N維觀測信號構(gòu)成的觀測矩陣，A∈Rm×n為未知混合矩陣。BSS的目標(biāo)是，在A未知的條件下根據(jù)已知的X估計未知的S。根據(jù)混合矩陣A的類型，BSS問題可分為超定（m>n）、正定（m=n）和欠定（m

X=WH(3)

使得W和H分別是A和S的估計。并且在BSS問題中，許多情況下源信號取值是非負(fù)的，如像素信號、信號能量等，在非負(fù)約束下式(3)與式(1)是一致的。

信號的稀疏性是自然界許多信號的基本屬性，是指信號在絕大多數(shù)的采樣點取值較小或為零，少數(shù)的采樣點取值明顯較大或偏離零，如像素信號、機械故障信號等。雖然某些信號在時域表現(xiàn)非稀疏，但進(jìn)行小波變換或傅里葉變換之后，往往在變換域表現(xiàn)出稀疏性。因此，稀疏性作為一個重要的先驗條件被廣泛用于解欠定盲分離（Underdetermined BSS，UBSS）問題［9-10］。

NMF模型中，矩陣V的列向量可以解釋為W矩陣中所有列向量（即基向量）的加權(quán)和，權(quán)重系數(shù)為H矩陣中對應(yīng)列的元素。通過NMF算法由V分解得到W，若W是唯一的，那么由方程理論可知W必為列滿秩的Вm≥n）。гUBSS問題中，A為行滿秩的，欠定系統(tǒng)不可逆，因此，僅有分解元素的非負(fù)約束，基本NMF算法難以獲得唯一的W。針對這一問題，Cichocki等人提出HALS算法［11］，采用將重構(gòu)誤差分層處理的方法，使每一層分解信號在迭代后都盡可能地稀疏。在源信號稀疏性良好的情況下，該算法可以獲得較好的分離結(jié)果，但對于源信號稀疏性不好的情況，分解結(jié)果偏離了方向，無法得到正確的分離結(jié)果。因此，本文針對此問題提出一種基于帶有行列式和稀疏性約束的非負(fù)矩陣分解的盲分離方法，記為DSNMF。該方法在基本NMF的基礎(chǔ)上對分解得到的W和H分別進(jìn)行行列式準(zhǔn)則約束和稀疏約束，使之符合UBSS中A和S的特性，獲得了較好的欠定盲分離效果。

┑2期

盧宏等：基于行列式和稀疏性約束的NMF的欠定盲分離方法

┆撲慊應(yīng)用 ┑31卷

1 基本原理

1.1 行列式準(zhǔn)則

定義 設(shè)P(W)是由矢量w┆1,…,w┆i,…,w┆n張成的空間，如果W是方陣，那么P(W)的體積可記為vol(P)=det(W)；如果W不是方陣，那么vol(P)=det(WWT)［12］。

行列式準(zhǔn)則：如果矢量w┆1,…,w┆i,…,w┆n張成的空間為P(W)В且有vol(P)ё钚。則這些矢量是唯一的。

將觀測點x┆l(l=1,2,…，N)Э闖墑怯瑟nЦ齜歉夯旌鮮噶w┆1,…,w┆i,…,w┆n的線性加權(quán)和，那么式(3)可寫成：

x┆l=∑ni=1w┆iHil; 1≤l≤N(4)

其中：w┆i為歸一化的列矢量。那么在給出觀測信號矩陣X，混合矢量個數(shù)nШ頭歉涸際的條件下，NMF的目標(biāo)就是找到構(gòu)成W的列矢量。在沒有其他約束的情況下，X可分解成無數(shù)組W與H的乘積。假設(shè)式(4)中n=2В圖1所示的散點是由W中兩列矢量加權(quán)得到的，a1、a2是散點圖邊緣的兩條單位矢量，a1′、a┆2 ′是由NMF得到的一組可能的解。г謁有能夠加權(quán)得到圖中散點的單位向量組中，由a1、a2Я礁雋惺噶空懦傻鈉叫興謀咝械奶寤是最小的，且a1Ш酮a2是唯一的。

因此，利用NMF和行列式準(zhǔn)則能夠得到構(gòu)成W的唯一一組混合矢量。

圖片

圖1 二維基于行列式準(zhǔn)則的最小體積法

1.2 稀疏測度分析

如果源信號是稀疏的，那么在式(3)NMF模型中，應(yīng)使分解得到的HЬ哂邢∈櫳裕也就是說NMF應(yīng)使得Hе芯】贍芏嗟腦素取值為零或接近于零，即Hе蟹橇閽素盡可能地少。那么，數(shù)學(xué)上該問題可以歸結(jié)為l0范數(shù)優(yōu)化問題：

min J(H)=H0=Аi,jHij0

s.t.V=WH(5)

其中:l0范數(shù)表示稀疏測度，АH0П硎揪卣H中非零元素的數(shù)目，即：

Hij0=1,Hij≠0Hij0=0,Hij=0 オ

雖然求解式(5)可以使H最稀疏，但解并不唯一，且對噪聲極為敏感，魯棒性差，難以有效求解，為此文獻(xiàn)［13］提出采用l1范數(shù)測度稀疏性，那么式(5)改寫為：オ

Иmin J(H)=H1=∑i,jHij1

s.t. V=WH (6)

文獻(xiàn)［14-15］證明了在H稀疏的情況下，l1范數(shù)優(yōu)化問題與l0范數(shù)優(yōu)化問題是等價的，但l1范數(shù)更容易求解，魯棒性好。因此本文采用l1范數(shù)作為稀疏測度方法。

2 基于

帶行列式和稀疏性約束NMF的欠定盲分離

2.1 基本NMF算法

任意給定非負(fù)矩陣V∈Rm×N，運用NMF可以將V分解為非負(fù)矩陣W∈Rm×n和非負(fù)矩陣H∈Rm×N的乘積，且有V≈WH。由于分解過程的非負(fù)限制，分解結(jié)果WH很難與V相等，難以達(dá)到無損分解，只能使二者盡可能相等，那么，NMF問題就轉(zhuǎn)化為如下的最優(yōu)化問題：

min D(VWH)

Иs.t. Wik,Hkj>0,∑iWik=1,1≤k≤n(7)

其中：D(VWH)是V與WH的距離函數(shù)，即重構(gòu)誤差。定義基于歐幾里得距離的目標(biāo)函數(shù) ［16］如下：

D(VWH)=12V－WH2=12Аi,j(Vij－(WH)ij)2

s.t. Wik,Hkj>0,АiWik=1,1≤k≤n(8)

從而問題轉(zhuǎn)化為帶約束的非線性規(guī)劃問題。

2.2 DSNMF算法

將行列式準(zhǔn)則（Determinant Criterion， DC）約束與稀疏性約束同時引入式(8)，以平衡重構(gòu)誤差、混合矩陣W的唯一性和分離信號H的稀疏性。記優(yōu)化目標(biāo)函數(shù)為F(VWH)，其數(shù)學(xué)表達(dá)式如下：

F(VWH)=αDD(VWH)+αWvol(P(W))+αHJ(H)

Иs.t. Wik,Hkj>0,ИАiWik=1,1≤k≤n(9)お

其中：vol(P(W))=detWWT表示對混合矩陣W行列式準(zhǔn)則約束；J(H)=Аk,jHkj1表示對分解得到的信號稀疏性的約束；Е聯(lián)D、αW和αH為平衡參數(shù)，通常取αD=1/（m×N），│聯(lián)W=1，αH=c/（n×N），cП硎疽懷J，通常取1，在源信號稀疏性較強時可適當(dāng)增大，如取10、100等。最小化F(VWH)可得到W和H。式(9)對于單獨的W和H都是凸函數(shù)，但是同時對于W和H來說卻不是凸函數(shù)。因此，采用與文獻(xiàn)［16］相似的梯度下降法，交替更新W和H。更新規(guī)則為：

Wik=Wik－ηWF(VWH)WikHkj=Hkj－ηHF(VWH)Hkj (10)

ИF(VWH)Wik=［－VHT+WHHT］ik+αW det (WWT)WikおF(VWH)Hkj=［－WVT+WTWH］kj+αHJ(H)Hkj(11)オ

И det(WWT)Wik=det(WWT)［(WWT)－1W］ik(12)オ

選擇學(xué)習(xí)速率［16］：

ηW=Wik［WHHT］ik，ηH=Hkj［WTWH］kj(13)

將式（11）、式（13）代入式（10）可以得到混合矩陣元素和源信號分量的乘性迭代更新規(guī)則：

Wik=Wik(［VHT］ik［WHHT］ik+ε－αWdet(WWT)［(WWT)－1W］ik［HTHW］ik+ε)お

Hkj=Hkj［WTV］kj－αH［WTWH］kj+ε(14)お

其中：ε是一很小的正常數(shù)，防止分母出現(xiàn)為零的情況。每一步迭代之后將W和H負(fù)元素置零，且使用Wik=Wik/∑kWik對W的列向量進(jìn)行歸一化，Ъ幢疚奶岢齙DSNMF欠定盲分離方法。

3 性能仿真與分析

3.1 算法性能評價

采用分離信號和源信號的重構(gòu)信噪比(Signal to Noise Ratio, SNR)作為對于盲分離算法性能的評價指標(biāo)［9］。

SNR=10 lgS2－S2(15)

其中：S和分別是源信號和被分離出的源信號，通過歸一化使之具有相同的能量，SNR越大信號分離效果越好。

3.2 兩組實驗

實驗一 源信號稀疏性較好的欠定盲分離。取自NMFLAB實驗工具箱的4個稀疏源信號［17］，如圖2(a)所示，選取隨機的混合矩陣為：

第8篇：梯度下降法的基本原理范文

關(guān)鍵詞：中藥水提液；膜污染；BP神經(jīng)網(wǎng)絡(luò)；隱含層神經(jīng)元；遺傳算法

DOI：10.3969/j.issn.1005-5304.2017.04.023

中圖分類號：R2-05；R284.2 文獻(xiàn)標(biāo)識碼：A 文章編號：1005-5304（2017）04-0092-05

Study on Forecasting Ceramic Membrane Fouling in TCM Extracts Based on Improved BP Neural Network DOU Peng-wei， WANG Zhen， SHE Kan-kan， FAN Wen-ling （Institute of Information Technology， Nanjing University of Chinese Medicine， Nanjing 210023， China）

Abstract： Objective To prevent and treat of ceramic membrane purification of membrane fouling process of TCM extracts； To explore new methods of forecasting membrane fouling degree. Methods BP neural network model was improved. Methods to fast determine the optimal number of neurons in the hidden layer and fast algorithm for optimizing the weight and threshold of BP neural network were studied. Data of 207 groups of TCM extracts were under network training and prediction. Results Compared with the models of multiple regression analysis， basic BP neural network and RBF neural network， the error of the improved BP neural network model was less than that of the BP neural network model， and the mean square error was only 0.005 7. In addition， the improved BP neural network model performance was more stable. In the 20 random running experiments， the goal of the success rate achieved up to 95%. Conclusion The improved model has a good network performance， the fitting effect and prediction ability， and can forecast the fouling degree of membrane stably and accurately.

Key words： TCM extracts； membrane fouling； BP neural network； hidden layer neuron； genetic algorithm

中藥水提液的純化技術(shù)是中藥制劑前處理中應(yīng)用最多的工藝方法之一。陶瓷膜因具有耐高溫、化學(xué)性質(zhì)穩(wěn)定、抗污染性強、機械強度高等優(yōu)點[1]，被廣泛應(yīng)用于中藥水提液的純化過程。然而，膜污染是制約陶瓷膜精制中藥的關(guān)鍵問題。

膜污染是指由于被過濾液中的微粒、膠體離子、溶質(zhì)分子與膜存在物理化學(xué)作用而引起的各種粒子在膜表面或膜孔內(nèi)吸附或沉積，造成膜孔堵塞或變小并使膜的透過流量與分離特性產(chǎn)生不可逆變化的一種現(xiàn)象[2]。中藥水提液組成復(fù)雜，是一種含有懸浮的固體微粒、膠體粒子和完全溶解溶質(zhì)分子的復(fù)雜混懸體，在分離過濾操作時膜極易被污染，造成膜通量銳減[3-4]。目前，中藥水提液陶瓷膜膜污染機理尚不明確，過濾過程缺乏系統(tǒng)性理論指導(dǎo)及有效的膜污染控制手段。

中藥水提液陶瓷膜膜污染是多種復(fù)雜因素綜合作用的結(jié)果，具有較強的不確定性，難以采用特定函數(shù)模型描述。要實現(xiàn)對膜污染的準(zhǔn)確預(yù)測，需要建立合理實用的預(yù)測模型。BP神經(jīng)網(wǎng)絡(luò)是近年被廣泛應(yīng)用的一種模擬人腦神經(jīng)系統(tǒng)結(jié)構(gòu)和功能的人工智能方法，是一種解決非線性、不確定性問題的數(shù)學(xué)模型，具有連續(xù)傳遞函數(shù)的多層前饋人工神經(jīng)網(wǎng)絡(luò)，訓(xùn)練方式為誤差反向傳播算法，并以均方誤差最小化為目標(biāo)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，最終能高精度地擬合數(shù)據(jù)[5]。BP神經(jīng)網(wǎng)絡(luò)具有較強的學(xué)習(xí)和適應(yīng)能力，適合針對中藥水提液復(fù)雜系統(tǒng)建模，在處理具有非線性特點的中藥水提液陶瓷膜膜污染預(yù)測問題方面，比一般的線性、非線性模型更有優(yōu)勢。

1 BP神經(jīng)網(wǎng)絡(luò)

1.1 拓?fù)浣Y(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)是按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，通過訓(xùn)練樣本來學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，無需事先揭示及描述映射關(guān)系的數(shù)學(xué)方程。學(xué)習(xí)規(guī)則采用最速下降法，通過誤差反向傳播不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的整體誤差最小[6-8]。

BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)包括輸入層、隱含層和輸出層，其中可包含1個或多個隱含層。各層次的神經(jīng)元之間形成全互連接，同層神經(jīng)元之間無反饋連接，見圖1。

1.2 基本原理及其缺陷

BP神網(wǎng)絡(luò)由信號的正向傳播和誤差的逆向傳播2部分組成[9]。設(shè)輸入層神經(jīng)元為P=[p1，p2，…pi]，隱含層神經(jīng)元為S=[s1，s2，…sk]，輸出層神經(jīng)元為A=[a1，a2，…，aj]， 表示輸入層第i個神經(jīng)元與隱含層第k個神經(jīng)元之間的連接權(quán)值， 表示隱含層第k個神經(jīng)元與輸出層第j個神經(jīng)元之間的連接權(quán)值；隱含層的激勵函數(shù)為f1，輸出層的激勵函數(shù)為f2， 表示隱含層中各神經(jīng)元的閾值， 表示輸出層中各神經(jīng)元的閾值。

1.2.1 信息的正向傳遞 輸入層各神經(jīng)元與隱含層各神經(jīng)元之間以相應(yīng)的權(quán)重連接，隱含層的第1個神經(jīng)元 ，從輸入層的每個神經(jīng)元處得到輸出值，加權(quán)求和 ，加上閾值 ，通過激勵函數(shù)f1，得到該神經(jīng)元的輸出值為 。

輸出層第1個神經(jīng)元a1接收隱含層每個神經(jīng)元輸出值，并加權(quán)求和得 ，加上閾值 ，通過激勵函數(shù)f2，得到輸出層該神經(jīng)元的輸出值為 。

1.2.2 誤差的反向傳播 N個數(shù)據(jù)樣本進(jìn)入輸入層正向傳播，經(jīng)過隱含層各神經(jīng)元處理，傳向輸出層，得到實際輸出值A(chǔ)，將實際輸出值A(chǔ)與期望輸出值T進(jìn)行誤差分析，比較并計算實際輸出與期望輸出的均方誤差 。

如果MSE未達(dá)到精度要求ε，則進(jìn)入反向傳播過程，把均方誤差信號MSE以梯度形式，按原來正向傳遞的通路逐層進(jìn)行反向傳播，并將誤差信號MSE分?jǐn)偨o各層的所有神經(jīng)元，從而獲得各層神經(jīng)元的誤差信號MSEj（j=1，2，3），將此誤差信號MSEj作為修正各連接權(quán)值和閾值的依據(jù)，并對其修改。

重復(fù)進(jìn)行網(wǎng)絡(luò)信息的正向傳遞和網(wǎng)絡(luò)誤差的反向傳播過程，直至均方誤差MSE達(dá)到精度要求或者訓(xùn)練達(dá)到最大迭代次數(shù)。

BP神經(jīng)網(wǎng)絡(luò)在實際應(yīng)用中存在一些缺陷[10]，其中在中藥分析領(lǐng)域有2個較明顯的缺陷：第一，BP神經(jīng)網(wǎng)絡(luò)的建模過程必須構(gòu)造一定的隱含層結(jié)構(gòu)，但尚無合適的方法確定隱含層的神經(jīng)元數(shù)，而隱含層神經(jīng)元數(shù)過少或過多都會造成模型預(yù)測結(jié)果不準(zhǔn)確；第二，BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值是隨機產(chǎn)生的，權(quán)值和閾值的取值情況又決定著數(shù)據(jù)擬合的效果，因此該模型具有不穩(wěn)定性。

2 改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)模型

2.1 隱含層神經(jīng)元數(shù)

利用區(qū)間估算方法快速確定BP神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)。具有單隱層的BP神經(jīng)網(wǎng)絡(luò)模型能夠映射所有連續(xù)函數(shù)，在不約束隱含層神經(jīng)元數(shù)的情況下，單隱層的BP神經(jīng)網(wǎng)絡(luò)模型能夠?qū)崿F(xiàn)任意的非線性映射[11]。因此，本研究選用單隱層模型。

隱含層神經(jīng)元數(shù)的確定是BP神經(jīng)網(wǎng)絡(luò)模型中非常關(guān)鍵和復(fù)雜的問題，目前尚無標(biāo)準(zhǔn)方法來確定最佳隱含層神經(jīng)元數(shù)。如果隱含層神經(jīng)元數(shù)過少，會使得BP神經(jīng)網(wǎng)絡(luò)性能不佳，不能產(chǎn)生足夠的連接權(quán)組合來滿足網(wǎng)絡(luò)對樣本的學(xué)習(xí)需求；如果隱含層神經(jīng)元數(shù)過多，極易陷入局部最小值，達(dá)不到最優(yōu)點，出現(xiàn)過擬合現(xiàn)象[12]。許多學(xué)者通過試湊法[13-15]歸納出了確定隱含層神經(jīng)元數(shù)目的一些經(jīng)驗性公式，如 、 、 ，其中k為隱含層神經(jīng)元數(shù)目，n為輸入層神經(jīng)元數(shù)目，m為輸出層神經(jīng)元數(shù)目，a為常數(shù)（一般a∈[1，10]）。

實踐表明，最佳隱含層神經(jīng)元數(shù)常介于 和 之間，因此本研究采用區(qū)間估算來快速確定BP神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)的方法。具體步驟：①構(gòu)建一個單隱層的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)輸入層神經(jīng)元數(shù)目為n，輸出層神經(jīng)元數(shù)目為m，初始隱含層神經(jīng)元數(shù)目 ；②初始化BP神經(jīng)網(wǎng)絡(luò)，通過權(quán)值直接確定法[16]設(shè)置網(wǎng)絡(luò)各層的連接權(quán)值、閾值，并設(shè)置精度要求ε；③網(wǎng)絡(luò)訓(xùn)練，計算均方誤差MSE；④若 ，隱含層增加1個神經(jīng)元數(shù)目，返回步驟③，否則停止運算；⑤比較不同隱含層神經(jīng)元數(shù)下的網(wǎng)絡(luò)均方誤差，選擇最小均方誤差所對應(yīng)的隱含層神經(jīng)元數(shù)作為最佳隱含層神經(jīng)元數(shù)。

2.2 初始權(quán)值和閾值

針對BP神經(jīng)網(wǎng)絡(luò)存在的“網(wǎng)絡(luò)初始權(quán)值和閾值隨機性”問題，本研究采用遺傳算法來優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值。遺傳算法[17-18]是模擬達(dá)爾文的遺傳選擇和自然淘汰的生物進(jìn)化過程的計算模型，是一種通過模擬自然進(jìn)化過程搜索最優(yōu)解的方法。遺傳算法從1組隨機產(chǎn)生的初始解（稱為群體）開始搜索過程。群體中的每個個體都是問題的1個解，稱為染色體；染色體在后續(xù)迭代中不斷進(jìn)化，生成下一代染色體。染色體的優(yōu)劣通過適應(yīng)度函數(shù)衡量。根據(jù)適應(yīng)度的大小從上一代和后代中選擇一定數(shù)量的個體作為下一代群體繼續(xù)進(jìn)化，直至發(fā)現(xiàn)最好的染色體，即問題的最優(yōu)解。

遺傳算法的目標(biāo)是尋找所有進(jìn)化代中能夠使網(wǎng)絡(luò)均方誤差最小的網(wǎng)絡(luò)權(quán)重，但由于遺傳算法只能朝著使適應(yīng)度函數(shù)值增大的方向進(jìn)行，所以本研究采用均方誤差的倒數(shù)作為適應(yīng)度函數(shù)。當(dāng)該適應(yīng)度函數(shù)取得最大值時，BP神經(jīng)網(wǎng)絡(luò)獲得最佳權(quán)值和閾值。計算公式： 。式中 表示第i條染色體的適應(yīng)度值；MSEi表示根據(jù)第i條染色體確定的BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值時預(yù)測值A(chǔ)與期望值T的均方誤差。

利用遺傳算法進(jìn)行BP神經(jīng)網(wǎng)絡(luò)模型權(quán)值和閾值快速尋優(yōu)的具體步驟：①通過編碼方式生成初始種群；②設(shè)置適應(yīng)度函數(shù)；③計算群體中所有個體的適應(yīng)值；④選擇適應(yīng)度高的個體執(zhí)行遺傳操作；⑤若達(dá)到終止條件，則返回最佳個體，即BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值；若未達(dá)到終止條件，則以指定的最大遺傳步數(shù)為終止計算準(zhǔn)則?；谶z傳算法的BP神經(jīng)網(wǎng)絡(luò)流程圖見圖2。

3 中藥水提液陶瓷膜膜污染預(yù)測實驗

3.1 實驗數(shù)據(jù)

3.1.1 參數(shù)體系 根據(jù)膜科學(xué)原理和經(jīng)驗規(guī)律，中藥水提液中的共性高分子、物理化學(xué)性質(zhì)和阻力分布等情況會對膜過程產(chǎn)生影響，是引起膜污染的重要因素?？紤]到實際測量的可行性，選擇測定5種高分子物質(zhì)（固含含量、果膠含量、淀粉含量、蛋白含量和鞣質(zhì)含量）、6種物化性質(zhì)（pH值、電導(dǎo)率、鹽度、濁度、黏度、密度）及3種阻力分布特征量（膜自身阻力、濃差極化阻力和表面沉積阻力），建立中藥水提液膜過程參數(shù)體系。

3.1.2 數(shù)據(jù)樣本 根據(jù)中藥水提液膜過程參數(shù)體系，通過實驗測定了207組中藥水提液數(shù)據(jù)，其中145組數(shù)據(jù)（70%）作為訓(xùn)練集，62組數(shù)據(jù)（30%）作為測試集。

本實驗?zāi)康臑橥ㄟ^對中藥水提液的共性高分子含量、物化性質(zhì)和阻力分布特征量的分析來預(yù)測膜污染度，因此輸入向量為固含含量等14個屬性值，輸出向量為膜污染度，見表1。

3.1.3 數(shù)據(jù)歸一化 由于輸入向量的數(shù)量級相差較大，直接將原始數(shù)據(jù)輸入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)訓(xùn)練將使網(wǎng)絡(luò)性能和收斂性較差，因此需要對輸入向量進(jìn)行歸一化處理，把數(shù)據(jù)限定在區(qū)間[0，1]。而輸出向量的數(shù)值符合該區(qū)間，故無需進(jìn)行歸一化處理。數(shù)據(jù)歸一化處理公式：X=（X0-Xmin）/（Xmax-Xmin）。其中X為歸一化后的數(shù)值，X0為歸一化前的原始數(shù)據(jù)，Xmax和Xmin分別為該屬性原始數(shù)據(jù)的最大值和最小值。

3.2 預(yù)測模型

3.2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計 根據(jù)BP神經(jīng)網(wǎng)絡(luò)原理，構(gòu)建單隱層的網(wǎng)絡(luò)模型。由于輸入向量有14個屬性元素，輸出向量是1個屬性元素，故設(shè)置網(wǎng)絡(luò)輸入層的神經(jīng)元數(shù)為14，網(wǎng)絡(luò)輸出層的神經(jīng)元數(shù)為1。采用“2.1”項網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)的快速確定方法，估算出隱含層神經(jīng)元數(shù)目區(qū)間為3～13。為了確定最佳隱含層神經(jīng)元數(shù)目，設(shè)計對比實驗比較不同神經(jīng)元數(shù)目的網(wǎng)絡(luò)誤差，實驗偽代碼見圖3，其中P、T、S、O分別為訓(xùn)練輸入值、訓(xùn)練目標(biāo)值、預(yù)測輸入值和預(yù)測目標(biāo)值。實驗結(jié)果見表2。

表2表明，在其他條件相同的情況下，模型的隱含層神經(jīng)元數(shù)目設(shè)置為9時，網(wǎng)絡(luò)均方誤差最小，模型的預(yù)測效果最佳，即最佳網(wǎng)絡(luò)結(jié)構(gòu)為14∶9∶1。

根據(jù)遺傳算法原理設(shè)計優(yōu)化模型。遺傳算法的編碼采用實數(shù)編碼，編碼串由4個部分組成：輸入層與隱含層的連接權(quán)值、隱含層與輸出層的連接權(quán)值、隱含層閾值和輸出層閾值。設(shè)定種群初始規(guī)模為50，最大遺傳代數(shù)為100，交叉操作采用單點交叉，變異操作采用均勻變異，交叉因子為0.6，變異因子為0.3。

3.2.2 預(yù)測結(jié)果分析 根據(jù)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練特點，設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練參數(shù)：BP神經(jīng)網(wǎng)絡(luò)的隱含層神經(jīng)元激勵函數(shù)采用S型正切函數(shù)，輸出層神經(jīng)元激勵函數(shù)采用S型對數(shù)函數(shù)。應(yīng)用模型進(jìn)行網(wǎng)絡(luò)訓(xùn)練和測試，具體預(yù)測結(jié)果見表3。

實驗均方誤差僅為0.005 7，表明基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的中藥水提液陶瓷膜膜污染預(yù)測模型能夠有效地對膜污染度進(jìn)行預(yù)測。也證明中藥水提液中的共性高分子、物理化學(xué)性質(zhì)和阻力分布特征確實是影響膜污染的重要因素。

為分析模型的精度，將本研究實驗結(jié)果與近年來中藥水提液膜污染數(shù)據(jù)建模相關(guān)文獻(xiàn)[19-21]進(jìn)行對比，見表4。結(jié)果表明，與多元回歸分析、基本BP神經(jīng)網(wǎng)絡(luò)和RBF神經(jīng)網(wǎng)絡(luò)比較，改進(jìn)BP神經(jīng)網(wǎng)絡(luò)具有更好的泛化能力，擬合效果和預(yù)測精度均有較大提高。

3.2.3 模型性能評價 由于BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值是隨機產(chǎn)生的，網(wǎng)絡(luò)模型性能與其相關(guān)，也是隨機變化的，因此為了對模型進(jìn)行評價，令基本BP神經(jīng)網(wǎng)絡(luò)模型和改進(jìn)模型均隨機運行20次，分別考察達(dá)到預(yù)設(shè)目標(biāo)的情況。設(shè)定平均相對誤差為10%，即均方誤差MSE為0.01，進(jìn)行對比分析，見表5。

表5表明，改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)穩(wěn)定性更佳，說明改進(jìn)算法實現(xiàn)了結(jié)構(gòu)、權(quán)值和閾值的同步優(yōu)化，避免了BP神經(jīng)網(wǎng)絡(luò)初始化的隨機性和盲目性，提高了計算精度和效率。

4 小結(jié)

本研究表明，基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的中藥水提液陶瓷膜膜污染預(yù)測模型能夠適應(yīng)中藥水提液陶瓷膜純化過程中采集到的多維、非線性數(shù)據(jù)，能夠穩(wěn)定準(zhǔn)確地預(yù)測膜污染度，為中藥水提液陶瓷膜膜污染的預(yù)測和防治提供了有效方法。

參考文獻(xiàn)：

[1] SISKENS C A M. Fundamental of inorganic membrane science and technology[M]. Holland：Elsevier Science B V，1996：619-639.

[2] 劉忠洲，續(xù)曙光，李鎖定.微濾超濾過程中的膜污染與清洗[J].水處理技術(shù)，1997（4）：3-9.

[3] 樊文玲，郭立瑋，林瑛.不同預(yù)處理方法對陶瓷膜澄清中藥水提液過程的影響研究[J].中成藥，2008，30（11）：1709-1710.

[4] 賀立中.藥液超濾過程中的膜污染及其防治[J].膜科學(xué)與技術(shù)，2000， 20（5）：49-54.

[5] 劉春艷，凌建春，寇林元，等.GA-BP神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)性能比較[J].中國衛(wèi)生統(tǒng)計，2013，30（2）：173-176.

[6] HOLLAND J H. Adaptation in natural and artificial systems：an introductory analysis with applications to biology，control， and artificial intelligence[M]. Cambridge：MIT Press，1992：89.

[7] 王元章，譴夯，周笛青，等.基于BP神經(jīng)網(wǎng)絡(luò)的光伏陣列故障診斷研究[J].電力系統(tǒng)保護(hù)與控制，2013（16）：108-114.

[8] 張國翊，胡錚.改進(jìn)BP神經(jīng)網(wǎng)絡(luò)模型及其穩(wěn)定性分析[J].中南大學(xué)學(xué)報：自然科學(xué)版，2011，42（1）：115-124.

[9] 郝曉弘，段曉燕，李恒杰.基于BP神經(jīng)網(wǎng)絡(luò)的迭代學(xué)習(xí)初始控制策略研究[J].計算機應(yīng)用，2009，29（4）：1025-1027，1031.

[10] 夏玫，陳立潮，王新波.一種提高BP神經(jīng)網(wǎng)絡(luò)泛化能力的改進(jìn)算法[J].計算機技術(shù)與發(fā)展，2009，19（9）：62-64，68.

[11] CHEN T， CHEN H， LIU R W. Approximation capability in C（Rn） by multilayer feedforward networks and related problems[J].IEEE Transactions on Neural Network，1995，6（1）：25-30

[12] 范佳妮，王振雷，錢鋒.BP人工神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)設(shè)計的研究進(jìn)展[J].控制工程，2005，12（S1）：109-113.

[13] 沈花玉，王兆霞，高成耀，等.BP神經(jīng)網(wǎng)絡(luò)隱含層單元數(shù)的確定[J].天津理工大學(xué)學(xué)報，2008，24（5）：13-15.

[14] 褚輝，賴惠成.一種改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)算法及其應(yīng)用[J].計算機仿真，2007，24（4）：75-77.

[15] 張慶慶，賀興時.BP神經(jīng)網(wǎng)絡(luò)結(jié)點數(shù)選取的改進(jìn)方法及其應(yīng)用[J].西安工程大學(xué)學(xué)報，2008，22（4）：502-505.

[16] 張雨濃，李巍，蔡炳煌，等.切比雪夫正交基神經(jīng)網(wǎng)絡(luò)的權(quán)值直接確定法[J].計算機仿真，2009，26（1）：157-161.

[17] 范青武，王普，高學(xué)金.一種基于有向交叉的遺傳算法[J].控制與決策，2009，24（4）：542-546.

[18] 莊健，楊清宇，杜海峰，等.一種高效的復(fù)雜系統(tǒng)遺傳算法[J].軟件學(xué)報，2010，21（11）：2790-2801.

[19] 洪弘.數(shù)據(jù)挖掘技術(shù)在中藥水提液膜分離中的應(yīng)用研究[D].南京：南京中醫(yī)藥大學(xué)，2012.