神經(jīng)網(wǎng)絡(luò)的反向傳播精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)的反向傳播主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞 BP神經(jīng)網(wǎng)絡(luò) 數(shù)據(jù)挖掘 最速下降法 函數(shù)逼近 模式識(shí)別

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

1研究背景

BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋網(wǎng)絡(luò)而且它的學(xué)習(xí)算法是一種誤差逆向傳播算法。BP神經(jīng)網(wǎng)絡(luò)是目前研究最為成熟、應(yīng)用最為廣泛的人工神經(jīng)網(wǎng)絡(luò)模型之一。由于其結(jié)構(gòu)簡(jiǎn)單、可操作性強(qiáng)、具有較好的自學(xué)習(xí)能力、能夠有效地解決非線性目標(biāo)函數(shù)的逼近問(wèn)題等優(yōu)點(diǎn)，因此被廣泛應(yīng)用于自動(dòng)控制、模式識(shí)別、圖像識(shí)別、信號(hào)處理、預(yù)測(cè)、函數(shù)擬合、系統(tǒng)仿真等學(xué)科和領(lǐng)域中。

2 BP神經(jīng)網(wǎng)絡(luò)原理

2.1概述

BP神經(jīng)網(wǎng)絡(luò)是一種反向傳播誤差算法然后訓(xùn)練的一個(gè)多層前饋網(wǎng)絡(luò)，簡(jiǎn)稱(chēng)為BP算法，它應(yīng)用在已被開(kāi)發(fā)出來(lái)的神經(jīng)網(wǎng)絡(luò)中，到目前為止是應(yīng)用最為廣泛的網(wǎng)絡(luò)模型之一。BP神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)并且存儲(chǔ)非常多的輸入模式與輸出模式之間的映射關(guān)系，卻無(wú)需在學(xué)習(xí)和存儲(chǔ)前事先揭示并描述輸入輸出間的映射關(guān)系的一種數(shù)學(xué)方程。它使用最速下降法，通過(guò)對(duì)輸出誤差的反向傳播，獲得不斷調(diào)整網(wǎng)絡(luò)連接權(quán)系數(shù)和閾值的信息，最終使神經(jīng)網(wǎng)絡(luò)的平方誤差最小，達(dá)到期望要求。

2.2 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)模型是一個(gè)三層網(wǎng)絡(luò)，它的拓?fù)浣Y(jié)構(gòu)可被劃分為：輸入層、輸出層、隱含層。其中輸入層與輸出層具有更重要的意義，因此它也可以為兩層網(wǎng)絡(luò)結(jié)構(gòu)（把隱含層劃入輸入層或者把隱含層去掉）。每層都由許多簡(jiǎn)單的能夠執(zhí)行并行運(yùn)算的神經(jīng)元組成，這些神經(jīng)元與生物系統(tǒng)中的那些神經(jīng)元非常類(lèi)似，但其并行性并沒(méi)有生物神經(jīng)元的并行性高。BP神經(jīng)網(wǎng)絡(luò)是一個(gè)前饋網(wǎng)絡(luò)，因此它具有前饋網(wǎng)絡(luò)所具有的特性：相鄰兩層之間的全部神經(jīng)元進(jìn)行互相連接，而處于同一層的神經(jīng)元不能進(jìn)行聯(lián)接。

2.3 BP算法原理

BP神經(jīng)網(wǎng)絡(luò)的基本原理是把一個(gè)輸入矢量經(jīng)過(guò)隱含層的一系列變換，然后得到一個(gè)輸出矢量，從而實(shí)現(xiàn)輸入數(shù)據(jù)與輸出數(shù)據(jù)間的一個(gè)映射關(guān)系。輸入信息的正向傳播，以及輸出誤差的反向傳播，構(gòu)成了 BP網(wǎng)絡(luò)的信息循環(huán)。BP算法根據(jù)輸出誤差來(lái)修改各神經(jīng)元連接的連接權(quán)系數(shù)，其目的是使輸出誤差達(dá)到預(yù)計(jì)范圍內(nèi)。BP網(wǎng)絡(luò)需要實(shí)際輸出與期望輸出之間的誤差來(lái)確定是否要修改神經(jīng)元連接的連接權(quán)系數(shù)。其中，期望輸出便是該網(wǎng)絡(luò)意義上的“導(dǎo)師”。BP網(wǎng)絡(luò)具有對(duì)稱(chēng)性的網(wǎng)絡(luò)結(jié)構(gòu)，在輸出端的每一個(gè)處理單元基本上都具有一個(gè)相同的激勵(lì)函數(shù)。

BP算法由正向傳播和反向傳播兩部分組成。在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱層單元處理后，傳至輸出層。每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層得不到期望輸出，就轉(zhuǎn)為反向傳播，即：把誤差信號(hào)沿連接路徑返回，并通過(guò)修改各層神經(jīng)元之間的連接權(quán)值，使誤差信號(hào)最小。

具體的算法步驟可概括如下：

第一步，選取初始權(quán)值、閾值。

第二步，重復(fù)下述過(guò)程直至滿足性能要求為止：

（1）對(duì)于學(xué)習(xí)樣本P=1到N

①計(jì)算每層各節(jié)點(diǎn)j的輸出yj，netj和的值（正向過(guò)程）；

②對(duì)各層從M層到第二層，對(duì)每層各節(jié)點(diǎn)反向計(jì)算%]j（反向過(guò)程）；

（2）修改權(quán)值

具體推導(dǎo)過(guò)程見(jiàn)參考文獻(xiàn)4。

3基于BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的實(shí)例

3.1函數(shù)逼近

我們?cè)O(shè)計(jì)一個(gè)簡(jiǎn)單的BP網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)非線性函數(shù)的逼近。通過(guò)改變?cè)摵瘮?shù)的參數(shù)以及BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目，來(lái)觀察訓(xùn)練時(shí)間以及訓(xùn)練誤差的變化時(shí)間。將要逼近的非線性函數(shù)設(shè)為正弦函數(shù)，其頻率參數(shù)k可以調(diào)節(jié)。假設(shè)頻率參數(shù)k=2，繪制此函數(shù)的曲線。如圖1。

（1）網(wǎng)絡(luò)建立：用MATLAB編程建立BP網(wǎng)絡(luò)結(jié)構(gòu)，為二層BP神經(jīng)網(wǎng)絡(luò)。隱層神經(jīng)元數(shù)目n 可以改變，暫時(shí)設(shè)為n=10，輸出層有一個(gè)神經(jīng)元。網(wǎng)絡(luò)訓(xùn)練采用Levenberg-Marquardt算法trainlm。

分析：因?yàn)榻⒕W(wǎng)絡(luò)時(shí)，權(quán)值和閾值的初始化是隨機(jī)的，所以網(wǎng)絡(luò)輸出結(jié)果很差，根本達(dá)不到函數(shù)逼近的目的，并且每次運(yùn)行的結(jié)果也有所不同。

（2）網(wǎng)絡(luò)訓(xùn)練：在MATLAB里應(yīng)用train（）函數(shù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，需要預(yù)先設(shè)置訓(xùn)練參數(shù)。將訓(xùn)練時(shí)間設(shè)置為50，訓(xùn)練精度設(shè)置為0.01，其余參數(shù)用默認(rèn)值。

（3）網(wǎng)絡(luò)測(cè)試：對(duì)于訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行仿真，繪制網(wǎng)絡(luò)輸出曲線，并與原始非線性函數(shù)曲線相比較，結(jié)果如下圖2。

由此可看出，得到的曲線和原始的非線性函數(shù)曲線很接近。這說(shuō)明經(jīng)過(guò)訓(xùn)練后，BP網(wǎng)絡(luò)對(duì)非線性函數(shù)的逼近效果非常好。

（4）討論分析：改變非線性函數(shù)的頻率和BP網(wǎng)絡(luò)隱層神經(jīng)元的數(shù)目，對(duì)于函數(shù)逼近的效果有一定的影響。網(wǎng)絡(luò)非線性程度越高，對(duì)BP網(wǎng)絡(luò)的要求越高，則相同的網(wǎng)絡(luò)逼近效果要差一些；隱性神經(jīng)元的數(shù)目對(duì)于網(wǎng)絡(luò)逼近效果也有一定的影響，一般來(lái)說(shuō)隱形神經(jīng)元數(shù)目越多，則BP網(wǎng)絡(luò)逼近非線性函數(shù)的能力越強(qiáng)，同時(shí)網(wǎng)絡(luò)訓(xùn)練所用的時(shí)間相對(duì)來(lái)說(shuō)也要長(zhǎng)一些。

參考文獻(xiàn)

[1] 閆志忠.BP神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)及其應(yīng)用研究[D].吉林大學(xué)，2003.

[2] 李友坤.BP神經(jīng)網(wǎng)絡(luò)的研究分析及改進(jìn)應(yīng)用[D].安徽理工大學(xué)，2012.

[3] 吳昌友.神經(jīng)網(wǎng)絡(luò)的研究及應(yīng)用[D].東北農(nóng)業(yè)大學(xué)， 2007.

第2篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；電力工程；異常數(shù)據(jù)識(shí)別技術(shù)

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，信號(hào)從輸入層到隱含層，再到輸出層得到期望輸出。期望輸出同實(shí)際值做比較，若得不到所期望的值，則誤差反向傳播，調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值和閾值。BP神經(jīng)網(wǎng)絡(luò)作為一種引入隱含層神經(jīng)元的采用多層感知器的神經(jīng)網(wǎng)絡(luò)模型，主要由輸入層、中間層和輸出層3 個(gè)部分組成。其中，中間層即隱含層，可以是一層或多層結(jié)構(gòu)。

1 BP神經(jīng)網(wǎng)絡(luò)概述

BP神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的分類(lèi)中的多層前饋型神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的主要特征為傳遞信號(hào)向前傳播，而誤差反向向后傳播。BP神經(jīng)網(wǎng)絡(luò)在工作時(shí)，信息從輸入層通過(guò)隱含層到達(dá)輸出層。輸出層達(dá)不到所期望的信號(hào)，將誤差反向傳播，從而根據(jù)誤差不斷調(diào)整BP神經(jīng)網(wǎng)絡(luò)的閾值和權(quán)重，從而使BP神經(jīng)網(wǎng)絡(luò)的輸出值不斷逼近期望值。

2系統(tǒng)設(shè)計(jì)

該異常數(shù)據(jù)識(shí)別系統(tǒng)利用神經(jīng)網(wǎng)絡(luò)對(duì)電力系統(tǒng)異常進(jìn)行識(shí)別，實(shí)際上是利用神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近任一非線性函數(shù)的特性以及通過(guò)學(xué)習(xí)歷史數(shù)據(jù)建模的特點(diǎn)。在各種類(lèi)型的神經(jīng)網(wǎng)絡(luò)中，BP神經(jīng)網(wǎng)絡(luò)具有輸入延遲，適合于電力系統(tǒng)異常數(shù)據(jù)識(shí)別。根據(jù)電力系統(tǒng)運(yùn)行的歷史數(shù)據(jù)，設(shè)定神經(jīng)網(wǎng)絡(luò)的輸入、輸出節(jié)點(diǎn)，以反映系統(tǒng)運(yùn)行的內(nèi)在規(guī)律，實(shí)現(xiàn)識(shí)別數(shù)據(jù)異常的目的。所以，利用神經(jīng)網(wǎng)絡(luò)對(duì)電力系統(tǒng)異常數(shù)據(jù)進(jìn)行識(shí)別，主要就是要設(shè)定神經(jīng)網(wǎng)絡(luò)的輸入、輸出節(jié)點(diǎn)使其能反映電力系統(tǒng)運(yùn)行規(guī)律。

3訓(xùn)練樣本

在BP神經(jīng)網(wǎng)絡(luò)模型中，在選擇樣本時(shí)，一定要盡可能的表達(dá)出系統(tǒng)中全部可能發(fā)生的情況所對(duì)應(yīng)的狀態(tài)，這樣才能表現(xiàn)出來(lái)動(dòng)力參數(shù)與實(shí)際測(cè)量數(shù)據(jù)一一對(duì)應(yīng)的映射關(guān)系。將需要進(jìn)行反分析的動(dòng)力參數(shù)作為因素，要在每一個(gè)因素里面的各種組合中均要做試驗(yàn)。假設(shè)在一組設(shè)計(jì)試驗(yàn)中，有n個(gè)因素，并且它自身又有l(wèi)1 ，l2 ，......，ln個(gè)水平，那么在進(jìn)行全面試驗(yàn)時(shí)，至少需要做每個(gè)水平之積次試驗(yàn)。當(dāng)因素及其自身對(duì)應(yīng)的水平數(shù)量不太多時(shí)，運(yùn)用這種算法是比較準(zhǔn)確的。但是，隨著因素及其對(duì)應(yīng)的水平越來(lái)越多，需要做的試驗(yàn)次數(shù)也要幾何級(jí)數(shù)般增長(zhǎng)。因此，在BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程中，如果選擇合適、合理的方法選擇樣本就十分重要。

4 BP網(wǎng)絡(luò)模型與訓(xùn)練算法

BP（BackPropagation，后向傳播）神經(jīng)網(wǎng)絡(luò)全稱(chēng)又叫作誤差反向傳播（errorBackPropagation）網(wǎng)絡(luò)。它是一種采用BP算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，每層網(wǎng)絡(luò)均包含一個(gè)或多個(gè)M-P神經(jīng)單元構(gòu)成。M-P神經(jīng)單元結(jié)構(gòu)，xi表示第i個(gè)輸入值，wi為該輸入值的權(quán)重，θ為該神經(jīng)元的閾值，y為該神經(jīng)元輸出值。其中，即神經(jīng)元將n個(gè)維度的輸入值加權(quán)相加后與神經(jīng)元的閾值進(jìn)行比較，然后將比較值通過(guò)激活函數(shù)f處理后進(jìn)行輸出。BP網(wǎng)絡(luò)通過(guò)不同網(wǎng)絡(luò)層間神經(jīng)元的全連接構(gòu)成。在網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)過(guò)程中，BP算法將輸入數(shù)據(jù)通過(guò)輸入層進(jìn)行輸入，并經(jīng)過(guò)隱藏層計(jì)算后由輸出層進(jìn)行輸出。接著輸出值與標(biāo)記值進(jìn)行比較，計(jì)算誤差（代價(jià)函數(shù)）。最后誤差再反向從輸出層向輸入層傳播，反向傳播過(guò)程使用梯度下降算法以目標(biāo)的負(fù)梯度方向來(lái)對(duì)神經(jīng)網(wǎng)絡(luò)上的權(quán)重和閾值進(jìn)行調(diào)整。

5神經(jīng)網(wǎng)絡(luò)識(shí)別實(shí)驗(yàn)

考察5 種不同類(lèi)型的神經(jīng)網(wǎng)絡(luò)，表1 列出了Perceptron、BP、PBH、模糊ARTMAP和RBF的均方根誤差與Perceptron的誤分類(lèi)率等信息。可以看到，Perceptron神經(jīng)網(wǎng)絡(luò)表現(xiàn)不佳，均方根誤差在0.6~0.7 之間；誤分類(lèi)率在0.1~0.2 之間。Perceptron神經(jīng)網(wǎng)絡(luò)對(duì)異常數(shù)據(jù)的檢測(cè)錯(cuò)誤與誤分類(lèi)率較高。隨著隱藏神經(jīng)元數(shù)量的增加，ARTMAP與RBF網(wǎng)絡(luò)的性能均會(huì)提高。在大多數(shù)情況下，均優(yōu)于Perceptron。BP與PBH網(wǎng)絡(luò)具有相似性能，且兩個(gè)神經(jīng)網(wǎng)絡(luò)始終比其他3 種類(lèi)型的神經(jīng)網(wǎng)絡(luò)表現(xiàn)更優(yōu)。隨著隱藏神經(jīng)元數(shù)量的增加，兩種神經(jīng)網(wǎng)絡(luò)錯(cuò)誤與誤分類(lèi)率不會(huì)降低。

6狼群算法

狼群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)。狼群算法是一種群智能算法，它通過(guò)模仿狼群捕獵的行為來(lái)處理優(yōu)化問(wèn)題。在自然界中，狼在食物鏈中處于捕獵者。狼的外形神似狗和豺，動(dòng)作迅速，嗅覺(jué)靈敏，有天生的捕獵能力。狼群算法最早于2007 年提出，后來(lái)有學(xué)者發(fā)現(xiàn)其中存在的問(wèn)題，經(jīng)狼群算法優(yōu)化后提出了新型狼群算法（WCA），最后，2013 年根據(jù)自然界中狼群追捕獵物，捕食，以及分配食物的方式提出的基于狼群群體智能的算法（WPA）。該算法詳細(xì)的將狼群內(nèi)的種類(lèi)分為頭狼、探狼、猛狼三種，并具有圍攻、召喚、奔襲、游走等行為。狼群算法同樣依據(jù)自然界中“勝者為王，適者生存”的更新機(jī)制。狼群算法的加入，形成了改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)，防止網(wǎng)絡(luò)陷入局部極值點(diǎn)，提高網(wǎng)絡(luò)效率。

7遺傳算法

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)。算法主要包括三部分：初始化BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、遺傳算法優(yōu)化和BP神經(jīng)網(wǎng)絡(luò)識(shí)別。其中初始化BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：確定輸入層、隱含層和輸出層節(jié)點(diǎn)個(gè)數(shù)，以及初始化網(wǎng)絡(luò)的權(quán)值和閾值等參數(shù)。遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)是將一個(gè)網(wǎng)絡(luò)中的所有權(quán)值和閾值看作種群中的一個(gè)個(gè)體，然后通過(guò)選擇、交叉和變異的操作得到最優(yōu)的個(gè)體，即最優(yōu)權(quán)值和閾值，并將該組權(quán)值閾值賦給BP神經(jīng)網(wǎng)絡(luò)作為初始的權(quán)值和閾值。最后的BP神經(jīng)網(wǎng)絡(luò)識(shí)別部分，是利用遺傳算法優(yōu)化的初始權(quán)值和閾值來(lái)訓(xùn)練網(wǎng)絡(luò)，再利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別。

結(jié)束語(yǔ)

為實(shí)現(xiàn)電網(wǎng)工程建設(shè)中對(duì)異常數(shù)據(jù)的檢測(cè)，建立了分布分層的數(shù)據(jù)檢測(cè)系統(tǒng)。其是一種使用統(tǒng)計(jì)預(yù)處理與神經(jīng)網(wǎng)絡(luò)分類(lèi)的異常數(shù)據(jù)檢測(cè)算法。通過(guò)對(duì)5 種不同的神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，可得出結(jié)論：BP與PBH網(wǎng)絡(luò)的性能優(yōu)于Perceptron、模糊ARTMAP和RBF等3 種神經(jīng)網(wǎng)絡(luò)?？紤]到構(gòu)建成本最終選取BP神經(jīng)網(wǎng)絡(luò)作為系統(tǒng)的神經(jīng)網(wǎng)絡(luò)分類(lèi)器，在此基礎(chǔ)上還進(jìn)行了系統(tǒng)測(cè)試。結(jié)果表明，系統(tǒng)能夠可靠地檢測(cè)到異常數(shù)據(jù)，其流量強(qiáng)度僅為背景強(qiáng)度的5%~10%，證明了該系統(tǒng)的有效性。

參考文獻(xiàn)

[1]李慧，陳愷妍.基于神經(jīng)網(wǎng)絡(luò)的電力計(jì)量故障診斷研究[J].計(jì)算機(jī)與數(shù)字工程，2020，48(05):1252-1257.

[2]多俊龍，王大眾，崇生生.在電力通信預(yù)警中優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)模型研究[J].東北電力技術(shù)，2020，41(02):13-15+62.

[3]羅寧，高華，賀墨琳.基于神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)方法研究[J].自動(dòng)化與儀器儀表，2020(01):157-160.

第3篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò) 動(dòng)量因子法 變步長(zhǎng)法 學(xué)習(xí)速率

1.引言

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）是通過(guò)對(duì)人腦神經(jīng)元建模、聯(lián)結(jié)模擬生物腦或世界系統(tǒng)的網(wǎng)絡(luò)模型，是一種具有學(xué)習(xí)、記憶和模式識(shí)別等智能信息處理功能的人工系統(tǒng)。通常研究和使用的十種神經(jīng)網(wǎng)絡(luò)模型中，人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART網(wǎng)絡(luò)模型。其中的BP神經(jīng)網(wǎng)絡(luò)是基于反向傳播（BackPropagation）的網(wǎng)絡(luò)，也是神經(jīng)網(wǎng)絡(luò)領(lǐng)域中研究最多、應(yīng)用最廣的網(wǎng)絡(luò)模型。它采用最小均方差的學(xué)習(xí)方式，可用于函數(shù)逼近及語(yǔ)言綜合、識(shí)別和自適應(yīng)控制等。

2.標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)算法

BP算法作為前饋網(wǎng)絡(luò)的主要學(xué)習(xí)算法，對(duì)神經(jīng)網(wǎng)絡(luò)的推廣應(yīng)用起了舉足輕重的促進(jìn)作用。標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)，優(yōu)化計(jì)算的方法很多，比較典型的是采用一階梯度法，即最速下降法。在BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，主要是針對(duì)一定的輸入，所得到的輸出是否與期望輸出接近，即誤差的代價(jià)函數(shù)達(dá)到最小。其簡(jiǎn)單的實(shí)現(xiàn)步驟為：（1）通過(guò)網(wǎng)絡(luò)輸入反向傳播；（2）通過(guò)網(wǎng)絡(luò)將敏感性反向傳播；（3）使用近似均方誤差的BP算法更新權(quán)值和偏置值。

標(biāo)準(zhǔn)的BP算法因具有簡(jiǎn)單、易行、計(jì)算量小及并行性強(qiáng)等優(yōu)點(diǎn)，是目前神經(jīng)網(wǎng)絡(luò)訓(xùn)練采用最多、最成熟的訓(xùn)練算法。由于BP網(wǎng)絡(luò)中待尋優(yōu)的參數(shù)太多，往往導(dǎo)致算法收斂速度慢。對(duì)于復(fù)雜問(wèn)題，訓(xùn)練過(guò)程需迭代幾千、幾萬(wàn)次才能收斂到期望的精度。因此，標(biāo)準(zhǔn)的BP網(wǎng)絡(luò)在很大程度上實(shí)用性不強(qiáng)，尤其對(duì)于實(shí)時(shí)性很強(qiáng)的系統(tǒng)而言。

3.BP算法的改進(jìn)

BP多層前饋網(wǎng)絡(luò)已成為神經(jīng)網(wǎng)絡(luò)的重要模型之一，但實(shí)際上的BP多層前饋網(wǎng)絡(luò)并不是利用標(biāo)準(zhǔn)的BP算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練的，而是對(duì)BP算法進(jìn)行了啟發(fā)式改進(jìn)。

（1）增加動(dòng)量因子法

BP算法的神經(jīng)網(wǎng)絡(luò)的誤差曲面具有不同的區(qū)域有不同的誤差改變率的特點(diǎn)。假若開(kāi)始訓(xùn)練的學(xué)習(xí)速率較高，那么算法的收斂速度可能很快。但當(dāng)?shù)M(jìn)入的區(qū)域包含極小點(diǎn)時(shí)，此時(shí)算法發(fā)散，來(lái)回振蕩，收斂不到極小值點(diǎn)。如果用平均改變參數(shù)的方法進(jìn)行軌跡的過(guò)濾，就可以對(duì)震蕩進(jìn)行平滑并可產(chǎn)生穩(wěn)定的軌跡。當(dāng)動(dòng)量濾波器的參數(shù)得到了改變，獲取反向傳播的動(dòng)量，使用了動(dòng)量項(xiàng)，可以在保證算法較為穩(wěn)定的前提下，在網(wǎng)絡(luò)訓(xùn)練進(jìn)入局部最小值時(shí)產(chǎn)生一個(gè)繼續(xù)向前的正向斜率運(yùn)動(dòng)，使得搜索能夠跳出較淺的峰值；當(dāng)網(wǎng)絡(luò)搜索位于誤差曲面平坦區(qū)的區(qū)域時(shí)，該方法能夠較快地提高訓(xùn)練速度。

（2）變步長(zhǎng)法

變步長(zhǎng)法通過(guò)調(diào)整網(wǎng)絡(luò)訓(xùn)練的學(xué)習(xí)率，故也稱(chēng)為可變學(xué)習(xí)速率的方法。BP算法中對(duì)連接權(quán)值的調(diào)整，取決于兩個(gè)因子，即學(xué)習(xí)速率和梯度。其中通過(guò)調(diào)整學(xué)習(xí)速率提高算法收斂收率的方法，是當(dāng)前認(rèn)為最簡(jiǎn)單、有效的方法。學(xué)習(xí)率不能隨意選取，選得太小，收斂會(huì)變慢；選得太大，可能調(diào)整過(guò)多，使得算法振蕩或發(fā)散。所以，在對(duì)學(xué)習(xí)率進(jìn)行調(diào)整時(shí)，一般遵循的準(zhǔn)則是：首先檢查修正值，看該值是否明顯降低了誤差。如果降低了，則學(xué)習(xí)率的值選取偏小，可以作為對(duì)學(xué)習(xí)率調(diào)整的參考；否則，學(xué)習(xí)率值調(diào)整過(guò)大，就應(yīng)該對(duì)該值進(jìn)行減小。增加可變速率參數(shù)后，得到改進(jìn)的BP算法如下：

①如果整個(gè)訓(xùn)練集上的均方誤差權(quán)值在更新后增加的，且該值超過(guò)了預(yù)設(shè)的某個(gè)百分?jǐn)?shù)，如：1%～5%，則不對(duì)權(quán)值進(jìn)行更新。學(xué)習(xí)速率被乘以一個(gè)大于零且小于1的因子，并且動(dòng)量系數(shù)被設(shè)置為0。

②如果均方誤差在權(quán)值更新后變小了，則接受權(quán)值更新。學(xué)習(xí)速度將被乘以一個(gè)大于1的因子。假若學(xué)習(xí)率被設(shè)置為0，則恢復(fù)之原來(lái)的值。

③如果均方誤差的增長(zhǎng)變小，則權(quán)值更新被接受，但學(xué)習(xí)速度保持不變。如果學(xué)習(xí)率過(guò)去被設(shè)置為0，則恢復(fù)到以前的值。

4.實(shí)驗(yàn)結(jié)果

分別對(duì)目標(biāo)誤差為0.001的網(wǎng)絡(luò)訓(xùn)練。實(shí)驗(yàn)結(jié)果如下：

（1）采用標(biāo)準(zhǔn)BP網(wǎng)對(duì)樣本進(jìn)行訓(xùn)練，迭代次數(shù)近5000次尚未收斂。

（2）采用增加動(dòng)量法，迭代375次，學(xué)習(xí)過(guò)程收斂。

（3）采用變步長(zhǎng)法，迭代1728次收斂。

由此可見(jiàn)，未改進(jìn)的標(biāo)準(zhǔn)BP學(xué)習(xí)算法存在收斂速度慢的缺陷；改進(jìn)后的BP學(xué)習(xí)算法都從不同程度上提高了算法的收斂速度，訓(xùn)練的次數(shù)大大減小了。對(duì)BP算法采用啟發(fā)式改進(jìn)措施后，明顯提高了學(xué)習(xí)速度。

第4篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

【關(guān)鍵詞】噸煤?jiǎn)魏?因素 BP神經(jīng)網(wǎng)絡(luò) MATLAB仿真

1 引言

噸煤?jiǎn)魏氖敲禾考庸て髽I(yè)組織生產(chǎn)考核指標(biāo)中的一項(xiàng)非常重要考核內(nèi)容，它指的是輸送或破碎環(huán)節(jié)中每輸送或破碎一噸煤所消耗的電量。噸煤?jiǎn)魏呐c系統(tǒng)的運(yùn)行時(shí)間、煤炭輸送量、原煤破碎量、線路損耗、系統(tǒng)故障時(shí)間以及電量結(jié)算日期等因素有著密切的關(guān)系。據(jù)統(tǒng)計(jì)，幾年前國(guó)內(nèi)多數(shù)煤炭加工企業(yè)對(duì)噸煤?jiǎn)魏牡挠?jì)算并未形成一種相對(duì)精確的預(yù)測(cè)模型。我們知道影響噸煤?jiǎn)魏牡囊蛩睾芏?，而且這些因素之間并不是簡(jiǎn)單的線性函數(shù)關(guān)系，基于此種現(xiàn)狀本文將影響噸煤?jiǎn)魏挠?jì)算的主要因素作為BP神經(jīng)網(wǎng)絡(luò)的輸入，利用MATAB仿真軟件對(duì)網(wǎng)絡(luò)進(jìn)行自學(xué)習(xí)式訓(xùn)練，通過(guò)多次訓(xùn)練建立了可靠的BP神經(jīng)網(wǎng)絡(luò)噸煤?jiǎn)魏念A(yù)測(cè)模型，并將2011年、2012年部分實(shí)際生產(chǎn)數(shù)據(jù)與預(yù)測(cè)數(shù)據(jù)進(jìn)行了對(duì)比驗(yàn)證，分析結(jié)果表明該模型預(yù)測(cè)的噸煤?jiǎn)魏哪軌驖M足指導(dǎo)生產(chǎn)實(shí)踐、控制成本的要求。

2 BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的建立

2.1 BP神經(jīng)網(wǎng)絡(luò)的基本原理

在人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史中，很長(zhǎng)一段時(shí)間里沒(méi)有找到隱層的連接權(quán)值調(diào)整問(wèn)題的有效算法。直到誤差反向傳播算法（BP算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)重調(diào)整問(wèn)題。BP （Back Propagation）神經(jīng)網(wǎng)絡(luò)，即誤差反傳算法的學(xué)習(xí)過(guò)程是由信息的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。當(dāng)實(shí)際輸出與期望輸出不符時(shí)，進(jìn)入誤差的反向傳播階段。誤差通過(guò)輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過(guò)程，是各層權(quán)值不斷調(diào)整的過(guò)程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過(guò)程，此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。本文就是利用其具有較強(qiáng)的非線性映射特性，來(lái)預(yù)測(cè)噸煤?jiǎn)魏牡摹?/p>

2.2 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)的設(shè)計(jì)

BP神經(jīng)網(wǎng)絡(luò)作為一種多層的前饋網(wǎng)絡(luò)，根據(jù)Kolmogorov定理，對(duì)于任意給定的一個(gè)連續(xù)函數(shù)，都可以用一個(gè)三層的前饋網(wǎng)絡(luò)以任意精度逼近，其輸入層隱含層各節(jié)點(diǎn)之間，隱含層和輸出層各節(jié)點(diǎn)之間用可調(diào)節(jié)的權(quán)值進(jìn)行連接。本模型將選取一個(gè)三層的BP神經(jīng)網(wǎng)絡(luò)，從輸入層到隱含層和從隱含層到輸出層的激勵(lì)函數(shù)（反映下層輸入對(duì)上層節(jié)點(diǎn)刺激脈沖強(qiáng)度的函數(shù)）分別采用S型函數(shù)和線性函數(shù)。

2.3 各層神經(jīng)元個(gè)數(shù)及參數(shù)的確定

2.3.1 網(wǎng)絡(luò)輸入層神經(jīng)元個(gè)數(shù)的確定

在BP神經(jīng)網(wǎng)絡(luò)模型的設(shè)計(jì)中，輸入和輸出節(jié)點(diǎn)的多少是由具體問(wèn)題來(lái)決定的。在噸煤?jiǎn)魏挠?jì)算過(guò)程中，輸入層神經(jīng)元應(yīng)選取對(duì)噸煤?jiǎn)魏挠?jì)算有重要影響的幾個(gè)因素：系統(tǒng)運(yùn)行時(shí)間（h）、產(chǎn)量（t）、用電量（KW?h）、流程的效率（t/h）這樣本模型的輸入層共計(jì)有4個(gè)節(jié)點(diǎn)。

2.3.2 網(wǎng)絡(luò)輸出層和隱含層神經(jīng)元個(gè)數(shù)的確定

輸出層選取噸煤?jiǎn)魏?、流程效率作為輸出層神?jīng)元。

2.4 數(shù)據(jù)處理與訓(xùn)練樣本的選擇

由于BP神經(jīng)網(wǎng)絡(luò)的泛化能力更多地體現(xiàn)在內(nèi)插功能上，對(duì)于外部數(shù)據(jù)的泛化能力很差，所以訓(xùn)練樣本的選取對(duì)于能否通過(guò)訓(xùn)練得到合理、精確的模型來(lái)說(shuō)是至關(guān)重要的。因此本模型選取了2010年，2011年兩年內(nèi)具有典型性的21組數(shù)據(jù)經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理后，20組作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，另外1組作為測(cè)試樣本。本文中BP神經(jīng)網(wǎng)絡(luò)的激勵(lì)函數(shù)為Sigmoid函數(shù)，這就要求網(wǎng)絡(luò)的輸入輸出量均應(yīng)在[-1，1]之間。對(duì)于連續(xù)值變量，我們需要進(jìn)行歸一化處理。本文所選的22組數(shù)據(jù)經(jīng)歸一處理后如表1所示（為公司數(shù)據(jù)保密此表只列出了歸一處理后的相應(yīng)數(shù)據(jù)）：

3 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練及預(yù)測(cè)分析

本模型采用MATLAB神經(jīng)網(wǎng)絡(luò).m文件格式調(diào)用BP神經(jīng)網(wǎng)絡(luò)算法traingdm函數(shù)對(duì)20組歸一化后的數(shù)據(jù)進(jìn)行BP網(wǎng)絡(luò)訓(xùn)練，學(xué)習(xí)速率設(shè)置為0.04，訓(xùn)練次數(shù)設(shè)置為10000次，目標(biāo)誤差10-3。

4 結(jié)論

綜上所述，本模型能夠較好的實(shí)現(xiàn)基于實(shí)際生產(chǎn)數(shù)據(jù)來(lái)預(yù)測(cè)噸煤?jiǎn)魏囊约傲鞒绦实墓δ?，同時(shí)數(shù)據(jù)也表明用BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)這一功能切實(shí)可行。通過(guò)此模型的建立我們可以通過(guò)控制流程的效率來(lái)控制噸煤?jiǎn)魏?，從而控制?shí)際噸煤?jiǎn)魏脑诳己酥笜?biāo)以內(nèi)，保證公司能夠順利完成全年的生產(chǎn)考核指標(biāo)。

參考文獻(xiàn)

[1]著作：飛思科技產(chǎn)品研發(fā)中心.神經(jīng)網(wǎng)絡(luò)理論與MATLAB7實(shí)現(xiàn)[M].北京：電子工業(yè)出版社，2006（99）.

作者簡(jiǎn)介

李忠飛（1981-），通遼市奈曼旗人。研究生學(xué)歷?，F(xiàn)為內(nèi)蒙古霍林河露天煤業(yè)股份有限公司煤炭加工公司維修一部工程師、控制理論與控制工程專(zhuān)業(yè)電修隊(duì)隊(duì)長(zhǎng)。

第5篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò) 多層感知器 BP算法 異或運(yùn)算

中圖分類(lèi)號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2013）03-0138-02

作為一門(mén)活躍的邊緣叉學(xué)科，神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用正成為人工智能、認(rèn)識(shí)科學(xué)、神經(jīng)生理學(xué)、非線性動(dòng)力學(xué)等相關(guān)專(zhuān)業(yè)的熱點(diǎn)。近十幾年來(lái)，針對(duì)神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)研究大量涌現(xiàn)，上百種神經(jīng)網(wǎng)絡(luò)模型被提出，其應(yīng)用涉及模式識(shí)別、聯(lián)想記憶、信號(hào)處理、自動(dòng)控制、組合優(yōu)化、故障診斷及計(jì)算機(jī)視覺(jué)等眾多方面，取得了令人矚目的進(jìn)展。

經(jīng)過(guò)近半個(gè)世紀(jì)的發(fā)展，神經(jīng)網(wǎng)絡(luò)理論在模式識(shí)別、自動(dòng)控制、信號(hào)處理、輔助決策、人工智能等眾多研究領(lǐng)域取得了廣泛的成功。關(guān)于學(xué)習(xí)、聯(lián)想和記憶等具有智能特點(diǎn)過(guò)程的機(jī)理及其模擬方面的研究正受到越來(lái)越多的重視。

學(xué)習(xí)功能是神經(jīng)網(wǎng)絡(luò)最主要的特征之一。各種學(xué)習(xí)算法的研究，在人工神經(jīng)網(wǎng)絡(luò)理論與實(shí)踐發(fā)展過(guò)程中起著重要作用。當(dāng)前，人工神經(jīng)網(wǎng)絡(luò)研究的許多課題都致力于學(xué)習(xí)算法的改進(jìn)、更新和應(yīng)用。

1958年，美國(guó)學(xué)者Frank Rosenblatt首次定義了一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取名為感知器（Perceptron）。經(jīng)過(guò)論證，單層感知器只能進(jìn)行線性分類(lèi)，對(duì)非線性樣本的劃分無(wú)法實(shí)現(xiàn)，例如異或問(wèn)題在二維空間中就是一個(gè)非線性的樣本空間分類(lèi)的問(wèn)題，就需要用到多層感知器，即網(wǎng)絡(luò)應(yīng)具有隱層，但對(duì)隱層神經(jīng)元的學(xué)習(xí)規(guī)則尚無(wú)所知。就感知器學(xué)習(xí)規(guī)則來(lái)說(shuō)，其權(quán)值的調(diào)整取決于網(wǎng)絡(luò)期望輸出與實(shí)際輸出之差，而對(duì)各隱層節(jié)點(diǎn)來(lái)說(shuō)，不存在期望輸出，因而該學(xué)習(xí)規(guī)則對(duì)隱層權(quán)值調(diào)整不適用。此時(shí)需要用到誤差反向傳播的BP學(xué)習(xí)規(guī)則。

BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入―輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用梯度法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input layer）、隱層（hide layer）和輸出層（output layer）。

BP算法由數(shù)據(jù)流的前向計(jì)算（正向傳播）和誤差信號(hào)的反向傳播兩個(gè)過(guò)程構(gòu)成。正向傳播時(shí)，傳播方向?yàn)檩斎雽与[層輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號(hào)的反向傳播流程。通過(guò)這兩個(gè)過(guò)程的交替進(jìn)行，在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略，動(dòng)態(tài)迭代搜索一組權(quán)向量，使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值，從而完成信息提取和記憶過(guò)程。

BP算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能達(dá)到所期望的輸出。學(xué)習(xí)過(guò)程由正向傳播與反向傳播組成。正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入信息，經(jīng)過(guò)網(wǎng)絡(luò)計(jì)算后得出它的輸出結(jié)果；反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)于輸入信息經(jīng)過(guò)計(jì)算后得到的輸出能達(dá)到期望的誤差要求。

學(xué)習(xí)的方法是使用一組訓(xùn)練樣例對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行訓(xùn)練，每一個(gè)樣例中，都包括輸入及期望的輸出兩部分。在正向傳播算法中，首先將訓(xùn)練樣例的輸入信息輸入到網(wǎng)絡(luò)中，輸入信息從輸入層經(jīng)過(guò)隱層節(jié)點(diǎn)逐層計(jì)算處理后，傳至輸出層。在計(jì)算處理過(guò)程中，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)，如果在輸出層得到的結(jié)果不是所期望的輸出，那么就轉(zhuǎn)為反向傳播。

反向傳播把誤差信號(hào)沿路徑方向傳回，并按一定的原則對(duì)各層神經(jīng)元的權(quán)值進(jìn)行修正，直到第一個(gè)隱層，這時(shí)再開(kāi)始進(jìn)行正向傳播，利用剛才的輸入信息進(jìn)行正向網(wǎng)絡(luò)計(jì)算，如果網(wǎng)絡(luò)的輸出達(dá)到了誤差要求，則學(xué)習(xí)過(guò)程結(jié)束，如果達(dá)不到要求，則再進(jìn)行反向傳播的連接權(quán)值調(diào)整。

這一過(guò)程不斷反復(fù)，直到網(wǎng)絡(luò)正向計(jì)算的輸出結(jié)果達(dá)到誤差要求的結(jié)果為止，這時(shí)學(xué)習(xí)過(guò)程結(jié)束。具體算法過(guò)程見(jiàn)圖1。一旦網(wǎng)絡(luò)進(jìn)行訓(xùn)練后，在用于求解實(shí)際問(wèn)題時(shí)就只需要使用正向傳播，而不需要使用反向傳播了。

使用BP算法實(shí)現(xiàn)異或問(wèn)題的具體學(xué)習(xí)過(guò)程按以下步驟順序進(jìn)行：

（1）網(wǎng)絡(luò)狀態(tài)初始化：用較小的隨機(jī)數(shù)對(duì)網(wǎng)絡(luò)的權(quán)值（Xji）和（Pkj）以及偏置值（θj）和（γk）賦初值。

（2）輸入第一個(gè)模式。

（3）把學(xué)習(xí)模式的值作為輸入層單元i的輸出（Ii），用輸入層到中間層的權(quán)值（Xji）和中間層單元的偏置值（θj），求出對(duì)中間單元j的輸入U(xiǎn)j以及相應(yīng)的輸出Hj：

Uj=?Ii +θj，

Hj=f（Uj）。

上式中的f（?）是Sigmoid函數(shù)。

（4）用中間層的輸出（Hj），中間層到輸入層的連接權(quán)值（Pkj）以及輸出層單元的偏置值（γk）求出對(duì)輸出層單元k的輸入Sk以及相應(yīng)的輸出Ok：

Sk=?Hj+γk，

Ok=f（Sk）。

（5）根據(jù)學(xué)習(xí)模式的教師信號(hào)Tk和輸出層的輸出Ok的差，求出有關(guān)輸入層單元k的偏置值以及連接到其上權(quán)值的誤差（δk）：

δk=（Ok-Tk）?Ok?（1- Ok）。

（6）根據(jù)誤差δk，從中間層到輸入層的權(quán)值（Xkj）以及中間層的輸出（Hj），求出有關(guān)中間層j的偏置值以及連接到其上的權(quán)值的誤差（σj）：

σj =?Pkj?Hj?（1-Hj）。

（7）根據(jù)由第（5）步求出的δk以及Hj和常數(shù)α，對(duì)從中間層單元j到輸出層單元k的權(quán)值（Pkj）加以調(diào)整。另外，根據(jù)δk和常數(shù)β對(duì)輸出層單元k的偏置值γk加以調(diào)整：

Pkj=Pkj+αδk Hj，

γk=γk+βδk。

（8）根據(jù)誤差σj，輸入單元i的輸出（Ii）以及常數(shù)α對(duì)從輸入單元i到中間層單元j的連接權(quán)值（Xji）加以調(diào)整。根據(jù)誤差（σj）和常數(shù)β對(duì)中間層單元j的偏置值（θj）加以調(diào)整：

Xji=Xji+ασj Ii，

θj=θj+βσj。

（9）輸入下一個(gè)模式。

（10）若有學(xué)習(xí)模式，則返回（3）。

（11）更新學(xué)習(xí)次數(shù)。

（12）若學(xué)習(xí)次數(shù)小于規(guī)定的次數(shù)，則返回（2）。

程序運(yùn)行過(guò)程及結(jié)果：

程序運(yùn)行后，在提示下輸入“學(xué)習(xí)率”為0.999，輸入“誤差控制精度”為0.0001，輸入“循環(huán)的最大次數(shù)”為20000，程序執(zhí)行后，可以看到在result.txt中結(jié)果如圖2。

通過(guò)這個(gè)實(shí)例，使用多層感知器解決了單層感知器不能解決的異或問(wèn)題，也從側(cè)面驗(yàn)證了BP網(wǎng)絡(luò)通過(guò)若干簡(jiǎn)單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但是從給入不同的學(xué)習(xí)率、誤差控制精度和學(xué)習(xí)次數(shù)得到了不同的結(jié)果，從中也暴露了BP算法的一些局限性。

（1）該學(xué)習(xí)算法的收斂速度慢，常常需要成千上萬(wàn)次的迭代，而且隨著訓(xùn)練樣例的增多，網(wǎng)絡(luò)性能會(huì)變差；

（2）網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取上無(wú)理論上的指導(dǎo)；

（3）從數(shù)學(xué)角度上看，BP算法是一種梯度最速下降法，這就有可能出現(xiàn)局部最小的問(wèn)題。當(dāng)出現(xiàn)局部最小時(shí)，從表面上看，符合誤差的要求，但這時(shí)所得到的解并不一定是問(wèn)題的真正解。所以BP算法是不完備的。

參考文獻(xiàn)

[1]徐麗娜.神經(jīng)網(wǎng)絡(luò)控制（第三版）.電子工業(yè)出版社，2009.7.

[2]馬銳.人工神經(jīng)網(wǎng)絡(luò)原理.機(jī)械工業(yè)出版社，2010.09.

[3]張軍，詹志輝.計(jì)算智能.清華大學(xué)出版社，2009.11.

[4]楊建剛.人工神經(jīng)網(wǎng)絡(luò)實(shí)用教程，浙江大學(xué)出版社，2001.1.

[5]宋宜斌，王培進(jìn).多層前饋神經(jīng)網(wǎng)絡(luò)改進(jìn)算法及其應(yīng)用.計(jì)算機(jī)工程，2003.8.

第6篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

【關(guān)鍵詞】BP神經(jīng)網(wǎng)絡(luò)；電網(wǎng)物資；需求預(yù)測(cè)

電網(wǎng)在電力系統(tǒng)中是聯(lián)系發(fā)電設(shè)備和用電設(shè)施的載體，它主要是由送電線路、變電所、配電所以及配電線路等環(huán)節(jié)組成。近幾年來(lái)，隨著我國(guó)國(guó)民經(jīng)濟(jì)的持續(xù)增長(zhǎng)，我國(guó)的電力事業(yè)得到了飛速發(fā)展，電網(wǎng)電壓等級(jí)不斷提高，網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大，電網(wǎng)物資作為影響電網(wǎng)建設(shè)至關(guān)重要的因素，其管理工作也顯得越來(lái)越重要。需求預(yù)測(cè)的開(kāi)展，能夠有效提高電力物資的保障能力，同時(shí)也能為長(zhǎng)期的物資規(guī)劃提供數(shù)據(jù)支持，因此，電網(wǎng)建設(shè)項(xiàng)目物資需求預(yù)測(cè)研究有著重要意義和價(jià)值。

物資需求預(yù)測(cè)的主要預(yù)測(cè)方法包括：基于時(shí)間序列的移動(dòng)平均法[1]、指數(shù)平滑法[2]、結(jié)合備件物資的特性提出的Croston法[3]以及用于預(yù)測(cè)需求不服從任何分布情況下的間歇性物資需求Bayesian法[4]等，這些方法都只能依靠物資本身需求數(shù)據(jù)來(lái)進(jìn)行擬合預(yù)測(cè)，對(duì)于需求波動(dòng)較大的物資預(yù)測(cè)精度較低。將人工神經(jīng)網(wǎng)絡(luò)方法引入需求預(yù)測(cè)成為一個(gè)新的研究趨勢(shì)[5，6]。

關(guān)于電網(wǎng)物資的需求預(yù)測(cè)，現(xiàn)有的研究集中于電力庫(kù)存物資的需求預(yù)測(cè)方面[7，8]。而目前電網(wǎng)企業(yè)的項(xiàng)目物資需求計(jì)劃管理主要采用的是提前儲(chǔ)備物資信息，工程、物資協(xié)同管理的模式[9]，至于電網(wǎng)建設(shè)項(xiàng)目物資的需求預(yù)測(cè)研究，還尚未開(kāi)展。其主要原因是缺乏主要的數(shù)據(jù)支持，國(guó)家電網(wǎng)公司的企業(yè)資源計(jì)劃（ERP）系統(tǒng)于2010年全面正式上線，為電網(wǎng)建設(shè)物資的需求預(yù)測(cè)提供了一個(gè)難得的數(shù)據(jù)平臺(tái)，也為物資需求預(yù)測(cè)提供初步的數(shù)據(jù)支撐。同時(shí)，電網(wǎng)建設(shè)項(xiàng)目物資的標(biāo)準(zhǔn)化建設(shè)也為需求預(yù)測(cè)的開(kāi)展提供了可能?；诖?，本文依據(jù)電網(wǎng)建設(shè)項(xiàng)目里程碑計(jì)劃中的指標(biāo)如電壓等級(jí)、線路長(zhǎng)度、變電容量等，提出基于BP神經(jīng)網(wǎng)絡(luò)的電網(wǎng)建設(shè)項(xiàng)目物資需求預(yù)測(cè)模型，并通過(guò)實(shí)例數(shù)據(jù)測(cè)試模型性能。

1.電網(wǎng)建設(shè)項(xiàng)目物資需求特點(diǎn)分析

電網(wǎng)建設(shè)項(xiàng)目具有投資額大，建設(shè)周期長(zhǎng)，受環(huán)境影響大的特點(diǎn)，每個(gè)項(xiàng)目的工程規(guī)模、啟動(dòng)時(shí)間、緊急程度均不同，這給項(xiàng)目物資管理造成了一定的難度。同時(shí)，不同地域、不同電壓等級(jí)的電網(wǎng)工程所需的物資有著相當(dāng)大的差異性，僅僅依靠物資的歷年數(shù)據(jù)進(jìn)行遞推預(yù)測(cè)是不可靠的。不同的計(jì)劃期（年，季，月）內(nèi)的物資需求量之間沒(méi)有必然的聯(lián)系，因此需要通過(guò)影響因素來(lái)判斷物資的需求。BP神經(jīng)網(wǎng)絡(luò)是一種能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系的方法，它無(wú)需事前揭示或描述這種映射關(guān)系，因而適合解決諸如電網(wǎng)建設(shè)項(xiàng)目物資需求預(yù)測(cè)這類(lèi)因果關(guān)系復(fù)雜的非確定性問(wèn)題。

2.BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型構(gòu)建

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，它主要是通過(guò)誤差逆向傳播算法來(lái)進(jìn)行訓(xùn)練的。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法是最速下降法，它通過(guò)反向傳播來(lái)不停調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，從而達(dá)到減小誤差至最優(yōu)的目的。

2.1 BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)是典型的多層結(jié)構(gòu)網(wǎng)絡(luò)，本文主要應(yīng)用BP神經(jīng)網(wǎng)絡(luò)算法構(gòu)建單隱層網(wǎng)絡(luò)（又稱(chēng)三層前饋網(wǎng)或三層感知器），所謂的三層網(wǎng)絡(luò)主要是由輸入層、隱含層以及輸出層組成，具體結(jié)構(gòu)如圖1所示。輸入層、隱含層以及輸出層各層均由大量神經(jīng)元組成，且層與層以權(quán)值連接，但同層之間不允許傳遞信號(hào)，各層神經(jīng)元只能向高層輸出激活信號(hào)。

2.2 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

BP神經(jīng)網(wǎng)絡(luò)是典型的有導(dǎo)師學(xué)習(xí)算法，其學(xué)習(xí)過(guò)程主要分為正向傳播和反向傳播兩種。正向傳播是用來(lái)計(jì)算前向網(wǎng)絡(luò)的，其將輸入信號(hào)通過(guò)隱含層傳遞至輸出層，經(jīng)網(wǎng)絡(luò)計(jì)算出輸出結(jié)果。在神經(jīng)網(wǎng)絡(luò)正向傳播過(guò)程中，網(wǎng)絡(luò)的權(quán)值固定不變，同層神經(jīng)元之間不能互相影響，同時(shí)，如果輸出層所得結(jié)果誤差超過(guò)期望值，則進(jìn)入反向傳播階段；BP神經(jīng)網(wǎng)絡(luò)的反向傳播實(shí)際指的是誤差的反向傳播，其將誤差信號(hào)（即輸出結(jié)果與期望結(jié)果的差值）逐層逆向反饋，通過(guò)修改神經(jīng)元的連接權(quán)值和閾值，來(lái)使正向傳播所得輸出結(jié)果能更加接近期望輸出。下圖2為BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法圖。

2.3 BP神經(jīng)網(wǎng)絡(luò)算法步驟

2.4 電網(wǎng)建設(shè)項(xiàng)目物資需求預(yù)測(cè)模型構(gòu)建

本文以某省電力公司電磁式電流互感器的歷史需求數(shù)據(jù)為樣本，從ERP系統(tǒng)中調(diào)取59個(gè)已建項(xiàng)目的需求數(shù)據(jù)，從中篩選出電磁式電流互感器的需求量，從而運(yùn)用MATLAB中的BP神經(jīng)網(wǎng)絡(luò)模型和軟件編程功能進(jìn)行預(yù)測(cè)分析，模型參數(shù)設(shè)定為：

（1）輸入層神經(jīng)元數(shù)目設(shè)為3，分別為變電容量、線路長(zhǎng)度和工程類(lèi)型。其中，“變電容量”是指項(xiàng)目所建電網(wǎng)變電站的主變壓器的容量，其主要反映變壓器輸送電能的能力，這個(gè)容量就決定了線路的負(fù)載能夠有多大；線路長(zhǎng)度是指項(xiàng)目所建電網(wǎng)的線路里程；工程類(lèi)型則是作為一個(gè)名義變量，定義為三個(gè)類(lèi)別：新建項(xiàng)目、改建項(xiàng)目以及擴(kuò)建項(xiàng)目，同時(shí)將其分別以數(shù)字1、2、3代替進(jìn)行演算分析。

（2）隱含層神經(jīng)元數(shù)目由Try Error Try法不斷調(diào)試直至找出最優(yōu)值為止，初始值參考上式（1）設(shè)為7。

（3）輸出層神經(jīng)元數(shù)目設(shè)為1，為電網(wǎng)物資預(yù)測(cè)數(shù)量。

構(gòu)建BP神經(jīng)網(wǎng)絡(luò)模型時(shí)，模型隱藏層選用S 形曲線傳遞函數(shù)，輸出層采用線性傳遞函數(shù)。將樣本數(shù)據(jù)隨機(jī)分為三組，70%樣本用于訓(xùn)練網(wǎng)絡(luò)，采用 Levenberg- Marquardt運(yùn)算法則作為訓(xùn)練法則；15%樣本進(jìn)行網(wǎng)絡(luò)泛化能力的檢測(cè)，當(dāng)泛化能力不再提高時(shí)終止網(wǎng)絡(luò)訓(xùn)練；剩下的15%樣本用于測(cè)試網(wǎng)絡(luò)的性能。若網(wǎng)絡(luò)訓(xùn)練結(jié)果誤差過(guò)大，則再次訓(xùn)練網(wǎng)絡(luò)，或調(diào)整隱藏層神經(jīng)元個(gè)數(shù)，反復(fù)訓(xùn)練網(wǎng)絡(luò)，直到獲得最佳結(jié)果為止，保存并輸出。

3.預(yù)測(cè)效果分析

采用BP算法訓(xùn)練網(wǎng)絡(luò)時(shí)，設(shè)定顯示間隔次數(shù)為25，最大循環(huán)次數(shù)為3000，目標(biāo)誤差為1×10-3，初始學(xué)習(xí)速率為0.5，學(xué)習(xí)速率增加的比率為1.2，學(xué)習(xí)速率減小的比率為0.7，動(dòng)量常數(shù)為0.8，最大誤差比率為0.6。將歸一化后的學(xué)習(xí)樣本依次輸入BP網(wǎng)絡(luò)，按上述BP學(xué)習(xí)算法的步驟反復(fù)訓(xùn)練，結(jié)果見(jiàn)圖3。

從圖3可以看出，電磁式電流互感器預(yù)測(cè)的最大絕對(duì)誤差為2臺(tái)，且主要分布于需求較少的項(xiàng)目中，對(duì)于需求較多的項(xiàng)目，預(yù)測(cè)值基本與實(shí)際值重合，精度較高，表明BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)能夠進(jìn)行有效預(yù)測(cè)。

由于ERP系統(tǒng)應(yīng)用尚未普及，目前可獲取的項(xiàng)目數(shù)據(jù)還不夠完善（樣本數(shù)據(jù)皆來(lái)自省電力公司ERP系統(tǒng)），本文主要選取的是在電網(wǎng)工程中運(yùn)用最為普遍的物資——電磁式電流互感器，因此數(shù)據(jù)量還較為豐富，也取得了較為滿意的預(yù)測(cè)效果。同時(shí)，諸如鋼絞線、接續(xù)金具、耐張線夾、T型線夾、懸垂線夾、聯(lián)結(jié)金具等物資由于應(yīng)用較為廣泛，可用的項(xiàng)目樣本也足夠多，因此通過(guò)構(gòu)建BP神經(jīng)網(wǎng)絡(luò)進(jìn)行物資預(yù)測(cè)也取得了較好的預(yù)測(cè)效果。

隨著電網(wǎng)建設(shè)的不斷發(fā)展以及ERP系統(tǒng)的深入應(yīng)用，未來(lái)可用的項(xiàng)目樣本將越來(lái)越多，而樣本集越豐富，建模所取得效果則越優(yōu)。盡管BP神經(jīng)網(wǎng)絡(luò)建模所預(yù)測(cè)到的電網(wǎng)建設(shè)項(xiàng)目物資需求量不一定是最優(yōu)值，但預(yù)測(cè)精度有了很大的提高。BP神經(jīng)網(wǎng)絡(luò)通過(guò)網(wǎng)絡(luò)訓(xùn)練，將原本很復(fù)雜的預(yù)測(cè)模型簡(jiǎn)化，同時(shí)不斷擴(kuò)充新樣本，以適應(yīng)不斷變化的環(huán)境，實(shí)現(xiàn)了對(duì)電網(wǎng)建設(shè)項(xiàng)目物資的動(dòng)態(tài)預(yù)測(cè)。

4.結(jié)論

運(yùn)用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法能很好地處理較為復(fù)雜的問(wèn)題，約束條件也遠(yuǎn)遠(yuǎn)少于傳統(tǒng)的預(yù)測(cè)模型，同時(shí)，BP人工神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)性和時(shí)變性的特點(diǎn)，能夠有效地實(shí)現(xiàn)動(dòng)態(tài)建模與分析，從而有效地實(shí)現(xiàn)了電網(wǎng)物資需求預(yù)測(cè)。然而人工神經(jīng)網(wǎng)絡(luò)技術(shù)是一種數(shù)據(jù)挖掘技術(shù)，如何獲取和整理歷史數(shù)據(jù)至關(guān)重要，因此，在實(shí)際中應(yīng)深入應(yīng)用電力公司的ERP 系統(tǒng)，盡早完善電網(wǎng)需求物資數(shù)據(jù)庫(kù)，為BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型構(gòu)建提供數(shù)據(jù)支持。

參考文獻(xiàn)：

[1]Siddique F，Choudhary M.A..Decision Support System for Optimizing Spare Parts Forecasting for Training Aircrafts Source：Recent Advances in Applied Mathematics[J]. Proceedings of the 14th WSEAS International Conference on Applied Mathematics， vol.， no.，pp： 34-41，2009.

[2]Moon Seongmin，Hicks Christian， Simpson.The development of a hierarchical forecasting method for predicting spare parts demand in the South Korean Navy- A case study Andrew[J].International Journal of Production Economics， vol.140， no.2，pp：794-802， December 2012.

[3]Heinecke G.，Syntetos A.A.，Wang W..Forecasting- based SKU classification[J]. International Journal of Production Economics，2011.

[4]Kamath K Rajashree，T P M Pakkala.A Bayesian approach to dynamic in ventory model under an unknown demand distribution[J].Computers& Operations Reseach，2002.

[5]Amin-Naseri M.R.，Tabar B.R..Neural network approach to lumpy demand forecasting for spare parts in process industries[J].Computer and Communication Engineering，vol.， no.，pp：1378-1382， 13-15，May 2008.

[6]張冬，明新國(guó)，趙成雷等.基于BP神經(jīng)網(wǎng)絡(luò)和設(shè)備特性的工業(yè)設(shè)備備件需求預(yù)測(cè)[J].機(jī)械設(shè)計(jì)與研究，2010，26（1）：72-76.

[7]孫懷富.基于電子商務(wù)平臺(tái)的電力物資決策管理研究[D].北京：北京工業(yè)大學(xué)，2006.

[8]王志勇.大唐集團(tuán)托克托發(fā)電廠物資管理研究[D].北京：華北電力大學(xué)，2010.

[9]鄔斌弢，張玉鑫.基于雙向協(xié)同的物資需求計(jì)劃管理在電網(wǎng)工程中的應(yīng)用研究[J].華東電力，2012，40（5）：0913-0914.

基金項(xiàng)目：國(guó)家電網(wǎng)公司科技資助項(xiàng)目（豫電WZBKJ[2011]342號(hào)）。

作者簡(jiǎn)介：

宋斌（1968-），男，河南開(kāi)封人，高級(jí)工程師，河南省電力公司物資部計(jì)劃合同處處長(zhǎng)，主要從事電力物資合同管理和供應(yīng)鏈管理等研究。

宋秉虎（1970-），男，甘肅白銀人，高級(jí)工程師，研究方向：電力物資管理，供應(yīng)鏈管理。

第7篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞：風(fēng)速；短期預(yù)測(cè)；相似數(shù)據(jù)；小波分析；人工神經(jīng)網(wǎng)絡(luò)

1 引言

隨著風(fēng)電場(chǎng)并網(wǎng)運(yùn)行規(guī)模的增大，國(guó)內(nèi)外對(duì)于風(fēng)力發(fā)電并網(wǎng)各種課題的研究越來(lái)越深入，但關(guān)于風(fēng)電場(chǎng)發(fā)電功率預(yù)測(cè)的研究還達(dá)不到令人滿意的程度，預(yù)測(cè)誤差一般都在15%以上[1]。

采用的方法通常包括持續(xù)法、卡爾曼濾波法、隨機(jī)時(shí)間序列法、神經(jīng)網(wǎng)絡(luò)法。其中，人工神經(jīng)網(wǎng)絡(luò)法進(jìn)行風(fēng)速或風(fēng)電功率預(yù)測(cè)應(yīng)用得最廣。文獻(xiàn)[2-3]都利用小波―BP神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，但訓(xùn)練樣本沒(méi)有相關(guān)性，預(yù)測(cè)精度偏低。文獻(xiàn)[4-5]利用改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)建模，雖然運(yùn)行時(shí)間縮短，但是在數(shù)據(jù)相關(guān)性和數(shù)據(jù)去噪處理方面欠缺，導(dǎo)致精度不高。因此，本文建立了基于相似數(shù)據(jù)并結(jié)合小波分析的BP神經(jīng)網(wǎng)絡(luò)建模。

2 基于相似數(shù)據(jù)并結(jié)合小波分析的BP神經(jīng)網(wǎng)絡(luò)建模

2.1 相似數(shù)據(jù)選擇辦法

2.3 反向傳播（BP）神經(jīng)網(wǎng)絡(luò)

2.4 仿真實(shí)驗(yàn)建模

3 算法對(duì)比分析

從圖4可得出，BP神經(jīng)網(wǎng)絡(luò)模型的平均相對(duì)誤差為20.77%，而本模型為10.21%。因此，采用本模型建模得到的相對(duì)誤差較傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)精度有很大的提高。

4 結(jié)論

針對(duì)風(fēng)力發(fā)電中風(fēng)速預(yù)測(cè)問(wèn)題，本文在BP神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)上引入相似數(shù)據(jù)并結(jié)合小波分解進(jìn)行短期風(fēng)速預(yù)測(cè)，得到如下結(jié)論：

⑴相似數(shù)據(jù)的選取增強(qiáng)了數(shù)據(jù)的相關(guān)性，提高了模型預(yù)測(cè)精度。

⑵小波分解降低了信號(hào)的非平穩(wěn)性，使模型更好地?cái)M合了風(fēng)速信號(hào)的低頻和高頻特性，可進(jìn)一步提高算法精度。

⑶通過(guò)對(duì)算法對(duì)比分析，表明本模型較傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型誤差小，充分地說(shuō)明此方法在工程應(yīng)用上具有可行性。

[參考文獻(xiàn)]

[1]楊秀媛，肖洋，陳樹(shù)勇.風(fēng)電場(chǎng)風(fēng)速和發(fā)電功率預(yù)測(cè)研究[J].中國(guó)電機(jī)工程學(xué)報(bào)，2005，25（11）：1-5.

[2]師洪濤，楊靜玲，丁茂生，王金梅.基于小波―BP神經(jīng)網(wǎng)絡(luò)的短期風(fēng)電功率預(yù)測(cè)方法[J].電力系統(tǒng)自動(dòng)化，2011，35（16）：44-48.

[3]厲衛(wèi)娜，蘇小林.基于小波- 神經(jīng)網(wǎng)絡(luò)的短期風(fēng)電功率預(yù)測(cè)研究[J].電力學(xué)報(bào)，2011，26（6）：458-461.

[4]王德明，王莉，張廣明.基于遺傳BP神經(jīng)網(wǎng)絡(luò)的短期風(fēng)速預(yù)測(cè)模型[J]. 浙江大學(xué)學(xué)報(bào)（工學(xué)版），2012，46（5）：837-841.

第8篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞:神經(jīng)網(wǎng)絡(luò);計(jì)算機(jī);智能信息;應(yīng)用

中圖分類(lèi)號(hào):TP183

文獻(xiàn)標(biāo)識(shí)碼:A

文章編號(hào):16723198(2009)20028602

1神經(jīng)網(wǎng)絡(luò)的定義

一般情況下,人工神經(jīng)元網(wǎng)絡(luò)是作為信息處理單元來(lái)模仿大腦,執(zhí)行特定的任務(wù)或完成感興趣的功能。關(guān)于它的定義有很多種,而下面的HechtNielsen給出的神經(jīng)網(wǎng)絡(luò)定義最具有代表意義: 神經(jīng)網(wǎng)絡(luò)是一種并行的分布式信息處理結(jié)構(gòu),它通過(guò)稱(chēng)為連接的單向信號(hào)通路將一些處理單元互連而成。每一個(gè)處理單元都有一個(gè)單輸出到所期望的連接。每一個(gè)處理單元傳送相同的信號(hào)――處理單元輸出信號(hào)。處理單元的輸出信號(hào)可以是任一種所要求的數(shù)學(xué)類(lèi)型。在每一個(gè)處理單元中執(zhí)行的信息處理在它必須完全是局部的限制下可以被任意定義,即它必須只依賴于處理單元所接受的輸入激勵(lì)信號(hào)的當(dāng)前值和處理單元本身所存儲(chǔ)記憶的值。

2神經(jīng)網(wǎng)絡(luò)的基本屬性

(1)非線性: 人腦的思維是非線性的,故人工神經(jīng)網(wǎng)絡(luò)模擬人的思維也應(yīng)是非線性的。

(2)非局域性: 非局域性是人的神經(jīng)系統(tǒng)的一個(gè)特性,人的整體行為是非局域性的最明顯體現(xiàn)。神經(jīng)網(wǎng)絡(luò)以大量的神經(jīng)元連接模擬人腦的非局域性,它的分布存儲(chǔ)是非局域性的一種表現(xiàn)。

(3)非定常性: 神經(jīng)網(wǎng)絡(luò)是模擬人腦思維運(yùn)動(dòng)的動(dòng)力學(xué)系統(tǒng),它應(yīng)按不同時(shí)刻的外界刺激對(duì)自己的功能進(jìn)行修改,故而它是一個(gè)時(shí)變的系統(tǒng)。

(4)非凸性:神經(jīng)網(wǎng)絡(luò)的非凸性即是指它有多個(gè)極值,也即系統(tǒng)具有不只一個(gè)的較穩(wěn)定的平衡狀態(tài)。這種屬性會(huì)使系統(tǒng)的演化多樣化。

3神經(jīng)網(wǎng)絡(luò)模型的分類(lèi)

(1)按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分,則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。

(2)按照學(xué)習(xí)方式區(qū)分,則有教師學(xué)習(xí)和無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)。

(3)按照網(wǎng)絡(luò)性能區(qū)分,則有連續(xù)型和離散性網(wǎng)絡(luò),隨機(jī)型和確定型網(wǎng)絡(luò)。

(4)按照突觸性質(zhì)區(qū)分,則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。

(5)按對(duì)生物神經(jīng)系統(tǒng)的層次模擬區(qū)分,則有神經(jīng)元層次模型,組合式模型,網(wǎng)絡(luò)層次模型,神經(jīng)系統(tǒng)層次模型和智能型模型。

通常人們較多地考慮神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)。一段而言,神經(jīng)網(wǎng)絡(luò)有分層網(wǎng)絡(luò)、層內(nèi)連接的分層網(wǎng)絡(luò)、反饋連接的分層網(wǎng)絡(luò)、互連網(wǎng)絡(luò)等4種互連結(jié)構(gòu)。在人們提出的幾十種神經(jīng)網(wǎng)絡(luò)模型中,人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和AR雙自適應(yīng)共振理論網(wǎng)絡(luò)。

Hopfield網(wǎng)絡(luò)是最典型的反饋網(wǎng)絡(luò)模型,它是目前人們研究得最多的模型之一。Hopfield網(wǎng)絡(luò)是由相同的神經(jīng)元構(gòu)成的單層,并且不具學(xué)習(xí)功能的自聯(lián)想網(wǎng)絡(luò)。它需要對(duì)稱(chēng)連接。這個(gè)網(wǎng)絡(luò)習(xí)以完成制約優(yōu)化和聯(lián)想記憶等功能。

BP網(wǎng)絡(luò)是誤差反向傳播(Back Propagation)網(wǎng)絡(luò)。它是一種多層前向網(wǎng)絡(luò),采用最小均方差學(xué)習(xí)方式。這是一種最廣泛應(yīng)用的網(wǎng)絡(luò)。它可用于語(yǔ)言綜合,識(shí)別和自適應(yīng)控制等用途。BP網(wǎng)絡(luò)需有教師訓(xùn)練。

Kohonen網(wǎng)絡(luò)是典型的自組織神經(jīng)網(wǎng)絡(luò),這種網(wǎng)絡(luò)也稱(chēng)為自組織特征映射網(wǎng)絡(luò)SOM。它的輸入層是單層單維神經(jīng)元;而輸出層是二維的神經(jīng)元,神經(jīng)元之間存在以“墨西哥帽”形式進(jìn)行側(cè)向交互的作用。因而,在輸出層中,神經(jīng)元之間有近揚(yáng)遠(yuǎn)抑的反饋特性,從而使Kohonen網(wǎng)絡(luò)可以作為模式特征的檢測(cè)器。

ART網(wǎng)絡(luò)也是一種自組織網(wǎng)絡(luò)模型。這是一種無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)。它能夠較好地協(xié)調(diào)適應(yīng)性,穩(wěn)定性和復(fù)雜性的要求。在ART網(wǎng)絡(luò)中,通常需要兩個(gè)功能互補(bǔ)的子系統(tǒng)相互作用.這兩個(gè)子系統(tǒng)稱(chēng)注意子系統(tǒng)和取向子系統(tǒng)。ART網(wǎng)絡(luò)主要用于模式識(shí)別,它不足之處是在于對(duì)轉(zhuǎn)換、失真和規(guī)模變化較敏感。

4誤差反向傳播的前饋網(wǎng)絡(luò)(BP網(wǎng)絡(luò))

學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)一種最重要也最令人注目的特點(diǎn)。自從40年代Hebb提出的學(xué)習(xí)規(guī)則以來(lái),人們相繼提出了各種各樣的學(xué)習(xí)算法。其中以在1986年Rumelhart等提出的誤差反向傳播法,即BP(error BackPropagation)法影響最為廣泛。直到今天,BP算法仍然是最重要、應(yīng)用最多的有效算法。

(1)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)理和機(jī)構(gòu):在神經(jīng)網(wǎng)絡(luò)中,對(duì)外部環(huán)境提供的模式樣本進(jìn)行學(xué)習(xí)訓(xùn)練,并能存儲(chǔ)這種模式,則稱(chēng)為感知器,感知器采用有教師信號(hào)進(jìn)行學(xué)習(xí)。感知器的學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)最典型的學(xué)習(xí)。這種學(xué)習(xí)系統(tǒng)分成三個(gè)部分:輸入部,訓(xùn)練部和輸出部。

輸入部接收外來(lái)的輸入樣本X,由訓(xùn)練部進(jìn)行網(wǎng)絡(luò)的權(quán)值W調(diào)整,然后由輸出部輸出結(jié)果。在這個(gè)過(guò)程中,期望的輸出信號(hào)可以作為教師信號(hào)輸入,由該教師信號(hào)與實(shí)際輸出進(jìn)行比較,產(chǎn)生的誤差去控制修改權(quán)值W。

(2)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的梯度算法:從感知器的學(xué)習(xí)算法可知,學(xué)習(xí)的目的是在于修改網(wǎng)絡(luò)中的權(quán)值,使到網(wǎng)絡(luò)對(duì)于所輸入的模式樣本能正確分類(lèi)。當(dāng)學(xué)習(xí)結(jié)束時(shí),也即神經(jīng)網(wǎng)絡(luò)能正確分類(lèi)時(shí),顯然權(quán)值就反映了同類(lèi)輸人模式樣本的共同特征。換句話講,權(quán)值就是存儲(chǔ)了的輸人模式。由于權(quán)值是分散存在的,故神經(jīng)網(wǎng)絡(luò)自然而然就有分布存儲(chǔ)的特點(diǎn)。

感知器學(xué)習(xí)算法相當(dāng)簡(jiǎn)單,當(dāng)函數(shù)不是線性可分時(shí)求不出結(jié)果,而且不能推廣到一般前饋網(wǎng)絡(luò)中,為此出現(xiàn)了另一種算法-梯度算法((LMS)。梯度算法把神經(jīng)元的激發(fā)函數(shù)改為可微分函數(shù),例如非對(duì)稱(chēng)Sigmoid函數(shù)為f (x) = l/(1 + e-x ),或?qū)ΨQ(chēng)Sigmoid函數(shù)f (x) = (1 - e-x )/ (1 + e-x ) 梯度法比原來(lái)感知器的學(xué)習(xí)算法進(jìn)了一大步。

(3)反向傳播學(xué)習(xí)的BP算法:感知機(jī)學(xué)習(xí)算法是一種單層網(wǎng)絡(luò)的學(xué)習(xí)算法。在多層網(wǎng)絡(luò)中,它只能改變最后權(quán)值。因此,感知機(jī)學(xué)習(xí)算法不能用于多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。1986年,Rumelhart提出了反向傳播學(xué)習(xí)算法,即BP算法。這種算法可以對(duì)網(wǎng)絡(luò)中各層的權(quán)值進(jìn)行修正,故適用于多層網(wǎng)絡(luò)的學(xué)習(xí)。

它含有輸人層、輸出層以及處于輸入輸出層之間單層或多層的中間層,即隱含層。隱含層雖然和外界不連接,但是,它們的狀態(tài)則影響輸入輸出之間的關(guān)系。這也是說(shuō),改變隱含層的權(quán)值,可以改變整個(gè)多層神經(jīng)網(wǎng)絡(luò)的性能。

第9篇：神經(jīng)網(wǎng)絡(luò)的反向傳播范文

關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò);電力負(fù)荷;短期預(yù)測(cè)

中圖分類(lèi)號(hào):TP183 文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1007-9599 (2010) 09-0000-02

Power Load Short-term Forecasting Based on BP Neural Network

Wang Jing,Yang Xiao

(School of Economics&Management,North China Electric Power University,Beijing102206,China)

Abstract:Load forecasting is an important task in power system.We forecasted short-term load for a region of southern based on BP neural network.Firstly,we introduce the structure of BP neural network,and then we make use of the data to do empirical research by using BP neural network of the region.And we consider the meteorological factors in the design of the BP neural network structure.

Keywords:BP Neural Network;Power Load;Short-term Forecast

一、引言

目前,全國(guó)供電緊張,部分嚴(yán)重地區(qū)經(jīng)常缺電,造成許多發(fā)電設(shè)備不能及時(shí)檢修,處于超負(fù)荷的運(yùn)轉(zhuǎn)狀態(tài)。會(huì)導(dǎo)致機(jī)組老化加速,出現(xiàn)不可預(yù)見(jiàn)的事故,造成人員、財(cái)產(chǎn)的傷亡。因此對(duì)未來(lái)電網(wǎng)內(nèi)負(fù)荷變化趨勢(shì)的預(yù)測(cè),是電網(wǎng)調(diào)度部門(mén)和設(shè)計(jì)部門(mén)所必須具備的基本信息之一。

電力系統(tǒng)負(fù)荷預(yù)測(cè)是電力生產(chǎn)部門(mén)的重要工作,通過(guò)精確的預(yù)測(cè)電力負(fù)荷,可以經(jīng)濟(jì)的調(diào)度發(fā)電機(jī)組,合理安排機(jī)組啟停、機(jī)組檢修計(jì)劃,降低發(fā)電成本,提高經(jīng)濟(jì)效益。負(fù)荷預(yù)測(cè)對(duì)電力系統(tǒng)控制、運(yùn)行和計(jì)劃都有著重要的意義。電力系統(tǒng)負(fù)荷變化受多方面的影響,包括不確定性因素引起的隨機(jī)波動(dòng)和周期性變化規(guī)律。并且,由于受天氣、節(jié)假日等特殊情況影響,又使負(fù)荷變化出現(xiàn)差異。神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)非線性的映射功能,用神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)電力負(fù)荷越來(lái)越引起人們的關(guān)注。

二、BP網(wǎng)絡(luò)理論

(一)BP網(wǎng)絡(luò)結(jié)構(gòu)

BP神經(jīng)網(wǎng)絡(luò)全稱(chēng)為Back-Propagation Network,即反向傳播網(wǎng)絡(luò),是一種多層前饋神經(jīng)網(wǎng)絡(luò),結(jié)構(gòu)圖如圖1所示,根據(jù)圖示可以知道BP神經(jīng)網(wǎng)絡(luò)是一種有三層或三層以上的神經(jīng)網(wǎng)絡(luò),包括輸入層、中間層(隱層)和輸出層。前后層之間實(shí)現(xiàn)全連接,各層之間的神經(jīng)元不進(jìn)行連接。當(dāng)學(xué)習(xí)樣本輸入后,神經(jīng)元的激活之經(jīng)由各層從輸入層向輸出層傳遞。之后,根據(jù)減少目標(biāo)輸出與實(shí)際輸出誤差的原則,從輸出層反向經(jīng)過(guò)各層至輸入層,逐級(jí)修正各連接的權(quán)值,該算法成為“誤差方向傳播算法”,即BP算法。由于誤差反向傳播不斷進(jìn)行,網(wǎng)絡(luò)對(duì)輸入模式響應(yīng)的正確率也不斷上升。

BP神經(jīng)網(wǎng)絡(luò)傳遞函數(shù)不同于感知器模型傳遞函數(shù),BP神經(jīng)網(wǎng)絡(luò)要求其必須是可微的,所以感知器網(wǎng)絡(luò)中所用到的硬閾值傳遞函數(shù)在BP神經(jīng)網(wǎng)絡(luò)中并不適應(yīng)。BP神經(jīng)網(wǎng)絡(luò)中常用的傳遞函數(shù)有正切函數(shù)、Sigmoid型的對(duì)數(shù)或線性函數(shù)。由于這些函數(shù)均是可微的,所以BP神經(jīng)網(wǎng)絡(luò)所劃分的區(qū)域是一個(gè)非線性的超平面組成的區(qū)域,是一個(gè)比較平滑的曲面,它比線性劃分更加的精確。另外,網(wǎng)絡(luò)才有嚴(yán)格的梯度下降法進(jìn)行學(xué)習(xí),權(quán)值修正的解析式分非常明確。

(二)BP網(wǎng)絡(luò)算法

(1)初始化。給沒(méi)給連接權(quán)值 、 、閾值 與 賦予區(qū)間 內(nèi)的隨機(jī)值

(2)確定輸入P和目標(biāo)輸出T。選取一組輸入樣本 和目標(biāo)輸出樣本 提供給網(wǎng)絡(luò)。

(3)用輸入樣本 、連接權(quán) 和閾值 計(jì)算中間層各單元的輸入 ,然后用 通過(guò)傳遞函數(shù)計(jì)算中間層各單元的輸出 。

(4)利用中間層的輸出 、連接權(quán) 和閾值 計(jì)算輸出層各單元的輸出 ,然后通過(guò)傳遞函數(shù)計(jì)算輸出層各單元的響應(yīng) 。

(5)利用目標(biāo)向量 和網(wǎng)絡(luò)的實(shí)際輸出 ,計(jì)算輸出層各單元的一般化誤差 。

(6)利用連接權(quán) 、輸出層的一般化誤差 和中間層的輸出 計(jì)算中間層各單元的一般化誤差 。

(7)利用輸出層各單元的一般化誤差 與中間呈個(gè)單元的輸出 來(lái)修正連接權(quán) 和閾值 。

(8)利用中間層各單元的一般化誤差 ,和輸入層各單元輸入P來(lái)修正連接權(quán) 和閾值 ,計(jì)算方法同(7)。

(9)達(dá)到誤差精度要求或最大訓(xùn)練步數(shù),輸出結(jié)果,否則返回(3)

三、實(shí)證研究

(一)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文以南方某缺電城市的整點(diǎn)有功負(fù)荷值,在預(yù)測(cè)的前一天中,每隔2小時(shí)對(duì)電力負(fù)荷進(jìn)行一次測(cè)量,這樣,可以得到12組負(fù)荷數(shù)據(jù)。此外電力負(fù)荷還和環(huán)境因素有關(guān),文章選取預(yù)測(cè)日最高氣溫、最低氣溫和降雨量氣象特征作為網(wǎng)絡(luò)輸入變量。所以設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)為:15個(gè)輸入層節(jié)點(diǎn)和12個(gè)輸出向量,根據(jù)Kolmogorov定理可知,網(wǎng)絡(luò)中間層的神經(jīng)元可以去31個(gè)。

(二)輸入數(shù)據(jù)歸一化處理

獲得輸入變量后,為了防止神經(jīng)元飽和現(xiàn)象,在BP神經(jīng)網(wǎng)絡(luò)輸入層進(jìn)行歸一化,文章才有如下公式進(jìn)行變換。

(三)實(shí)證分析

中間層神經(jīng)元傳遞函數(shù)和輸出層傳遞函數(shù)分別采用S型正切函數(shù)tansig和S型對(duì)數(shù)函數(shù)logsig,因?yàn)檫@連個(gè)函數(shù)輸出區(qū)間為[0,1],滿足網(wǎng)絡(luò)設(shè)計(jì)的需求。

利用以下代碼創(chuàng)建一個(gè)滿足上述要求的BP神經(jīng)網(wǎng)絡(luò)。

threshold=[0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1];

netbp=newff(threshold,[31,12],{’tansig’,’logsig’},’trainlm’)

其中變量threshold用于規(guī)定輸入向量的最大值和最小值,規(guī)定了網(wǎng)絡(luò)輸入向量的最大值為1,最小值為0,。“trainlm”是為網(wǎng)絡(luò)設(shè)定的訓(xùn)練函數(shù),采用的是Levenberg-Marquardt算法進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)。該方法明顯優(yōu)于共軛梯度法及變學(xué)習(xí)效率的BP算法,LM算法可大大提高學(xué)習(xí)速度,縮短訓(xùn)練時(shí)間。

使用該地區(qū)2007年8月11日到20日的負(fù)荷和氣象數(shù)據(jù)作為輸入向量,8月12日至8月21日負(fù)荷數(shù)據(jù)作為目標(biāo)向量,對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,再用8月20日負(fù)荷數(shù)據(jù)和21日的氣象特征數(shù)據(jù)來(lái)預(yù)測(cè)21日用電負(fù)荷,檢驗(yàn)預(yù)測(cè)誤差是否能帶到要求。

利用MATLAB進(jìn)行仿真,經(jīng)過(guò)79次訓(xùn)練后達(dá)到誤差要求結(jié)果。如圖2

網(wǎng)絡(luò)訓(xùn)練參數(shù)的設(shè)定見(jiàn)下表

從圖3和圖4中可以看出運(yùn)用BP神經(jīng)網(wǎng)絡(luò)方法很好的預(yù)測(cè)了負(fù)荷走勢(shì),并且預(yù)測(cè)誤差較小,負(fù)荷工程預(yù)測(cè)的要求。四、結(jié)論

在進(jìn)行電力負(fù)荷預(yù)測(cè)時(shí),必須考慮氣象因素的影響。在不同的地區(qū)氣象因素對(duì)電力負(fù)荷的影響不同,因此本文在設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)時(shí),結(jié)合該地實(shí)際情況考慮氣象因素。本文研究了BP神經(jīng)網(wǎng)絡(luò)在電力負(fù)荷短期預(yù)測(cè)中的應(yīng)用,根據(jù)上述的預(yù)測(cè)結(jié)果可以說(shuō)明BP神經(jīng)網(wǎng)絡(luò)對(duì)電力負(fù)荷進(jìn)行短期預(yù)測(cè)是目前一種比較可行的方法。

參考文獻(xiàn)

[1]蔣平,鞠平.應(yīng)用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行中期電力負(fù)荷預(yù)報(bào)[J].電力系統(tǒng)自動(dòng)化,1995,6(19):15-17

[2]蘇寧.MATLAB軟件在電力負(fù)荷預(yù)測(cè)中的應(yīng)用[J].華北電力技術(shù),2007(8):16-19

[3]康重慶,夏清,張伯明.電力系統(tǒng)負(fù)荷預(yù)測(cè)研究綜述與發(fā)展方向的探討[J].電力系統(tǒng)自動(dòng)化,2OO4,28(17):1-11

[4]姜勇.電力系統(tǒng)短期負(fù)荷預(yù)測(cè)的模糊神經(jīng)網(wǎng)絡(luò)方法[J].繼電器,2002,36(2):11-13

[5]田景文,高美娟.人工神經(jīng)網(wǎng)絡(luò)算法研究及應(yīng)用[M].北京:北京理工大學(xué)出版社,2006