對神經(jīng)網(wǎng)絡(luò)的理解精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的對神經(jīng)網(wǎng)絡(luò)的理解主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：對神經(jīng)網(wǎng)絡(luò)的理解范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；數(shù)據(jù)挖掘；算法

1.數(shù)據(jù)挖掘過程及常用的神經(jīng)網(wǎng)絡(luò)模型

1.1數(shù)據(jù)挖掘過程

數(shù)據(jù)挖掘是一個(gè)由諸多步驟共同組成的具有反復(fù)特性的迭代過程，其最主要的目的是從海量的數(shù)據(jù)當(dāng)中，找出人們最感興趣的信息。大體上可將數(shù)據(jù)挖掘過程分為3個(gè)階段，即數(shù)據(jù)準(zhǔn)備、模式提取以及結(jié)果的解釋與評估。

（1）第一個(gè)階段為準(zhǔn)備所需的數(shù)據(jù)，具體可將這個(gè)階段細(xì)分為數(shù)據(jù)清洗、數(shù)據(jù)選取以及數(shù)據(jù)預(yù)處理和數(shù)據(jù)表示四個(gè)步驟。數(shù)據(jù)是數(shù)據(jù)挖掘過程中不可或缺的重要前提和基礎(chǔ)，但大量的實(shí)踐表明，只有數(shù)據(jù)是很難進(jìn)行挖掘工作的，必須在對數(shù)據(jù)進(jìn)行挖掘前，做一些相應(yīng)的準(zhǔn)確工作，這些工作也成為數(shù)據(jù)挖掘的重要環(huán)節(jié)。

（2）第二階段為模式提取。該階段是數(shù)據(jù)挖掘的核心環(huán)節(jié)，需要先明確數(shù)據(jù)挖掘的任務(wù)及目標(biāo)，并在正式確定目標(biāo)之后，選擇合適的算法或工具，開始對數(shù)據(jù)進(jìn)行挖掘操作。在這個(gè)環(huán)節(jié)當(dāng)中，算法是關(guān)鍵，即可選擇單一的算法，也可多種方法聯(lián)合使用，具體的選擇應(yīng)視挖掘的任務(wù)而定。

（3）第三階段為解釋與評價(jià)。挖掘過程中發(fā)現(xiàn)的模式應(yīng)當(dāng)以最容易理解的形式呈現(xiàn)給用戶，其間要對發(fā)現(xiàn)的模式進(jìn)行比較、校驗(yàn)，看是否與用戶的要求相符，進(jìn)而確定出挖掘效果。

1.2神經(jīng)網(wǎng)絡(luò)模型

現(xiàn)階段，已知的人工神經(jīng)網(wǎng)絡(luò)模型有40多種，較為常用的有以下幾種：

（1）BP神經(jīng)網(wǎng)絡(luò)。BP是誤差反向傳播的簡稱，這種神經(jīng)網(wǎng)絡(luò)歸屬于前饋網(wǎng)絡(luò)的范疇，其具有多層映射的特征，該網(wǎng)絡(luò)所采用的主要學(xué)習(xí)方式為最小均差，結(jié)構(gòu)簡單、學(xué)習(xí)訓(xùn)練算法成熟、工作狀態(tài)穩(wěn)定是BP模型的3大特點(diǎn)，正因如此使得該模型獲得了非常廣泛的應(yīng)用。由于BP算法對誤差函數(shù)有著一定的要求，即誤差函數(shù)必須可微，故此，為了有效克服局部極小的問題，多以全局優(yōu)化算法為主，如遺傳算法等。

（2）RBF神經(jīng)網(wǎng)絡(luò)。RBF是徑向基函數(shù)的簡稱，該網(wǎng)絡(luò)與BP網(wǎng)絡(luò)在歸屬的范疇上相同，也屬于前饋網(wǎng)絡(luò)。RBF網(wǎng)絡(luò)在激活函數(shù)方面有多種可選擇，最常用的是高斯函數(shù)，因?yàn)檫@種函數(shù)具有很多顯著的特點(diǎn)，如形式簡單、徑向?qū)ΨQ、容易解析等等。由于RBF網(wǎng)絡(luò)是一個(gè)多層前饋網(wǎng)絡(luò)，故此只要隱單元足夠多，便可達(dá)到任意給定精度，其在逼近目標(biāo)時(shí)，采用的化整為零的思想，即將目標(biāo)分解成為若干個(gè)局部對象。

（3）混合型神經(jīng)網(wǎng)絡(luò)。這是―種將其它方法有機(jī)融合到―起構(gòu)成的神經(jīng)網(wǎng)絡(luò)模型，它與傳統(tǒng)網(wǎng)絡(luò)模型的拓?fù)浣Y(jié)構(gòu)相同，但學(xué)習(xí)機(jī)制卻有所不同。常用的混合型神經(jīng)網(wǎng)絡(luò)有模糊和進(jìn)化2種。

2.基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘方法

2.1神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中的應(yīng)用優(yōu)勢

神經(jīng)網(wǎng)絡(luò)是一門實(shí)用性較強(qiáng)的科學(xué)技術(shù)，其集多種現(xiàn)代技術(shù)于一身，有諸多并行分布的處理單元連接而成。從系統(tǒng)的角度上講，神經(jīng)網(wǎng)絡(luò)歸屬于動(dòng)態(tài)系統(tǒng)的范疇，具有自適應(yīng)和非線性的特征，對噪聲數(shù)據(jù)有著非常強(qiáng)的容錯(cuò)和承受能力。由于神經(jīng)網(wǎng)絡(luò)所具有的這些特點(diǎn)，使得基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的數(shù)據(jù)挖掘模型具備了與之相同的特點(diǎn)，這樣便可以適應(yīng)數(shù)據(jù)環(huán)境的不同變化，由此進(jìn)一步提升了數(shù)據(jù)挖掘模型的準(zhǔn)確性。可見，神經(jīng)網(wǎng)絡(luò)十分適用于數(shù)據(jù)挖掘領(lǐng)域。

2.2基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘過程

由上文分析可知，在數(shù)據(jù)挖掘領(lǐng)域中，神經(jīng)網(wǎng)絡(luò)具有較高的適用性，以此為基礎(chǔ)的數(shù)據(jù)挖掘過程分為以下幾個(gè)階段。

2.2.1數(shù)據(jù)的選擇及預(yù)處理階段

數(shù)據(jù)選擇的主要目的是為神經(jīng)網(wǎng)絡(luò)的構(gòu)建提供相應(yīng)的數(shù)據(jù)支撐，這個(gè)過程可以細(xì)分為以下2個(gè)環(huán)節(jié)：（1）對數(shù)據(jù)進(jìn)行訓(xùn)練，（2）對數(shù)據(jù)進(jìn)行測試。觀察和理解是選擇數(shù)據(jù)時(shí)必須做的工作，當(dāng)樣本數(shù)據(jù)集確定之后，便可按照挖掘目標(biāo)，并結(jié)合挖掘方法，對數(shù)據(jù)進(jìn)行編碼處理。

2.2.2網(wǎng)絡(luò)訓(xùn)練與剪枝

當(dāng)數(shù)據(jù)選擇和處理工作完成之后，數(shù)據(jù)挖掘人員需要選用一個(gè)神經(jīng)網(wǎng)絡(luò)模型，同時(shí)確定相應(yīng)的網(wǎng)絡(luò)訓(xùn)練算法，通過該算法對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。剪枝的主要作用是以神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性為前提，去除掉沒有意義和價(jià)值的冗余結(jié)點(diǎn)由此會(huì)使網(wǎng)絡(luò)模式更加簡練，也更容易理解。

2.2.3規(guī)則的提取與評估階段

經(jīng)過以上2個(gè)階段后，神經(jīng)網(wǎng)絡(luò)當(dāng)中便會(huì)蘊(yùn)含著學(xué)習(xí)到的規(guī)則，也就是常說的知識，但是此時(shí)的規(guī)則由于存在形式的原因，不容易理解，所以需要對規(guī)則進(jìn)行提取。提取規(guī)則的主要目的在于將規(guī)則的形式轉(zhuǎn)化為容易理解的形式，如模糊邏輯、決策樹等，然后再借助測試樣本對規(guī)則的可靠性進(jìn)行測試、評估。

2.3基于RBF神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘模型設(shè)計(jì)

下面本文以RBF神經(jīng)網(wǎng)絡(luò)為依托，對數(shù)據(jù)挖掘模型進(jìn)行設(shè)計(jì)，其整體框架結(jié)構(gòu)如圖1所示。

整個(gè)系統(tǒng)由以下模塊構(gòu)成：數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分類與評估、控制與干預(yù)、GUI人機(jī)交互、知識庫。系統(tǒng)模塊的設(shè)計(jì)情況如下。

2.3.1數(shù)據(jù)準(zhǔn)備

①數(shù)據(jù)選擇。在數(shù)據(jù)選擇中，讓用戶利用數(shù)據(jù)訪問接口對數(shù)據(jù)集進(jìn)行自行選擇，進(jìn)一步確定數(shù)據(jù)集類型、數(shù)據(jù)集名稱及數(shù)據(jù)集處所位置。數(shù)據(jù)訪問接口為對象模型，該模型覆蓋了數(shù)據(jù)訪問的各個(gè)層面，具體可使用的接口包括ADO，DAO和ODBC三種，本系統(tǒng)采用的數(shù)據(jù)庫訪問方案為DAO/ODBC，選擇該方案的主要原因是DAO既能夠與Microsoft Jet數(shù)據(jù)庫引擎并用，還可借助ODBC Direct選項(xiàng)不與其并用。同時(shí)，通過DA0對Jet進(jìn)行訪問更加簡單、便捷，并且使用DATE控件和DAO，能夠創(chuàng)建出與數(shù)據(jù)庫本身無任何關(guān)聯(lián)性的虛擬代碼。②數(shù)據(jù)清理。該環(huán)節(jié)的主要目的是將不希望包括在內(nèi)的觀測值篩選掉，操作過程既可借助SQn吾句實(shí)現(xiàn)，也可借助相關(guān)程序予以實(shí)現(xiàn)。③數(shù)據(jù)合成。該環(huán)節(jié)是將獨(dú)立的數(shù)據(jù)合成數(shù)據(jù)集，操作過程較為簡單，只要規(guī)則確定便可利用sQL語句或相關(guān)程序來實(shí)現(xiàn)。

2.3.2數(shù)據(jù)挖掘

（1）挖掘方法的選擇與管理。該環(huán)節(jié)在系統(tǒng)中具有重要的作用，與系統(tǒng)的可擴(kuò)充性和最佳挖掘方法的選擇有關(guān)。挖掘方法管理可對系統(tǒng)中使用的全部方法所產(chǎn)生的接口信息進(jìn)行保存，如對文本文件分詞方法、Web日志的Session戈0分方法等挖掘方法中產(chǎn)生的特定數(shù)據(jù)信息予以保存，粗糙集、決策樹屬于通用的挖掘方法。在對該模塊進(jìn)行設(shè)計(jì)的過程中，針對分類預(yù)測問題，使用了聚類和神經(jīng)網(wǎng)絡(luò)以及統(tǒng)計(jì)學(xué)等方法。選擇方法的主要目的是幾乎所有的方法都是數(shù)據(jù)依賴，并沒苻一種方法能夠在所有的數(shù)據(jù)上表現(xiàn)良好。因此在方法選擇的初始階段，通過專家的人為干預(yù)是有必要的。經(jīng)過對前人的研究成果進(jìn)行總結(jié)后發(fā)現(xiàn)，將多種不同的方法聯(lián)合運(yùn)用可大幅度提升運(yùn)用效果。對于本文構(gòu)建的數(shù)據(jù)挖掘系統(tǒng)而言，其核心部分為數(shù)據(jù)挖掘模塊，該模塊的設(shè)計(jì)分為3個(gè)方面：①訓(xùn)練模塊，以訓(xùn)練RBF網(wǎng)絡(luò)為主，采用數(shù)學(xué)模型方法構(gòu)建網(wǎng)絡(luò)分類模型；②預(yù)測模塊，在分類實(shí)際數(shù)據(jù)的基礎(chǔ)上，將分類產(chǎn)生的數(shù)據(jù)結(jié)果快速傳遞到評估模塊；③重構(gòu)模塊，該模塊地能夠確保數(shù)據(jù)挖掘模型具有―定的可擴(kuò)展性和自適應(yīng)能力，按照具體需要對模型進(jìn)行重新構(gòu)建。（2）結(jié)果顯示。該環(huán)節(jié)以多種形式顯示數(shù)據(jù)挖掘結(jié)果，如列表、樹、圖等是最為常見的顯示方式。本文采用了可視化的方法進(jìn)行數(shù)據(jù)挖掘結(jié)果顯示，這樣能夠使用戶對挖掘結(jié)果的了解更加直觀、具體。（3）結(jié)果評估。在評估中，采用數(shù)據(jù)挖掘評價(jià)方式，通過比較分析不同模型下產(chǎn)生的數(shù)據(jù)挖掘效果，從而得出各類型分析工具的最終結(jié)果，再配以相應(yīng)的標(biāo)準(zhǔn)圖標(biāo)進(jìn)行直觀顯示，方便用戶利用相關(guān)數(shù)據(jù)信息開展定量評價(jià)。在結(jié)果評估中，強(qiáng)調(diào)獲取規(guī)則的價(jià)值評定，其評價(jià)關(guān)鍵點(diǎn)為查看數(shù)據(jù)挖掘結(jié)果與用戶期望的符合程度，并對挖掘結(jié)果的可靠性和價(jià)值性進(jìn)行評價(jià)，將其作為知識庫是否納入規(guī)則的重要評判依據(jù)。在GUI交互界面上，數(shù)據(jù)挖掘系統(tǒng)與用戶可以進(jìn)行交互操作。

2.4安全性保障措施

基于RBF神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘系統(tǒng)在使用過程中，安全性非常重要，為此，本文提出幾點(diǎn)安全性保障措施，以此來確保數(shù)據(jù)挖掘的安全。

（1）采用登錄機(jī)制確保數(shù)據(jù)安全。所謂的登錄機(jī)制主要是針對客戶端的一種安全控制措施。由于用戶與服務(wù)器端需要通過網(wǎng)絡(luò)的方式進(jìn)行數(shù)據(jù)傳輸，為了進(jìn)一步提高數(shù)據(jù)傳輸?shù)陌踩?，可對?shù)據(jù)進(jìn)行加密處理，并將用戶挖掘到的數(shù)據(jù)結(jié)果存儲(chǔ)在服務(wù)器上，由此在不同的計(jì)算機(jī)上使用客戶端均可對之前挖掘到的數(shù)據(jù)結(jié)果進(jìn)行利用。

（2）設(shè)置權(quán)限。可以通過用戶管理來完成用戶的注冊、登錄以及使用權(quán)限管理。當(dāng)用戶需要使用數(shù)據(jù)挖掘系統(tǒng)進(jìn)行數(shù)據(jù)挖掘時(shí)，要先進(jìn)行賬號注冊，并在使用前通過注冊的賬號和密碼進(jìn)行登錄，從而保證每個(gè)用戶的數(shù)據(jù)安全。此外，用戶管理能夠?qū)崿F(xiàn)分級管理，賦予不同用戶不同的權(quán)限，這使安全性獲得了進(jìn)一步提升。

第2篇：對神經(jīng)網(wǎng)絡(luò)的理解范文

人腦是自生命誕生以來，生物經(jīng)過數(shù)十億年漫長歲月進(jìn)化的結(jié)果，是具有高度智能的復(fù)雜系統(tǒng)，它不必采用繁復(fù)的數(shù)字計(jì)算和邏輯運(yùn)算，卻能靈活處理各種復(fù)雜的，不精確的和模糊的信息，善于理解語言、圖象并具有直覺感知等功能。

人腦的信息處理機(jī)制極其復(fù)雜，從結(jié)構(gòu)上看它是包含有140億神經(jīng)細(xì)胞的大規(guī)模網(wǎng)絡(luò)。單個(gè)神經(jīng)細(xì)胞的工作速度并不高（毫秒級），但它通過超并行處理使得整個(gè)系統(tǒng)實(shí)現(xiàn)處理的高速性和信息表現(xiàn)的多樣性。

因此，從信息處理的角度對人腦進(jìn)行探究，并由此研制出一種象人腦一樣能夠“思維”的智能計(jì)算機(jī)和智能信息處理方法，一直是人工智能追求的目標(biāo)。

神經(jīng)網(wǎng)絡(luò)就是通過對人腦的基本單元---神經(jīng)元的建模和聯(lián)結(jié)，來探索模擬人腦神經(jīng)系統(tǒng)功能的模型，并研制一種具有學(xué)習(xí)、聯(lián)想、記憶和模式識別等智能信息處理功能的人工系統(tǒng)。本文介紹神經(jīng)網(wǎng)絡(luò)的特征以及近年來有關(guān)神經(jīng)網(wǎng)絡(luò)和混沌理論、模糊計(jì)算和遺傳算法等相結(jié)合的混合神經(jīng)網(wǎng)絡(luò)探究的動(dòng)態(tài)。

一．神經(jīng)網(wǎng)絡(luò)和聯(lián)結(jié)主義

回顧認(rèn)知科學(xué)的發(fā)展，有所謂符號主義和聯(lián)結(jié)主義兩大流派。符號主義從宏觀層次上，撇開人腦的內(nèi)部結(jié)構(gòu)和機(jī)制，僅從人腦外在表現(xiàn)出來的智能現(xiàn)象出發(fā)進(jìn)行探究。例如，將記憶、判定、推理、學(xué)習(xí)等心理活動(dòng)總結(jié)成規(guī)律、甚至編制成規(guī)則，然后用計(jì)算機(jī)進(jìn)行模擬，使計(jì)算機(jī)表現(xiàn)出各種智能。

符號主義認(rèn)為，熟悉的基本元素是符號，認(rèn)知過程是對符號表示的運(yùn)算。人類的語言，文字的思維均可用符號來描述，而且思維過程只不過是這些符號的存儲(chǔ)、變換和輸入、輸出而已。以這種方法實(shí)現(xiàn)的系統(tǒng)具有串行、線性、準(zhǔn)確、簡潔、易于表達(dá)的特征，體現(xiàn)了邏輯思維的基本特性。七十年代的專家系統(tǒng)和八十年代日本的第五代計(jì)算機(jī)探究計(jì)劃就是其主要代表。

聯(lián)接主義則和其不同，其特征是從微觀出發(fā)。聯(lián)接主義認(rèn)為符號是不存在的，認(rèn)知的基本元素就是神經(jīng)細(xì)胞（神經(jīng)元），認(rèn)知過程是大量神經(jīng)元的聯(lián)接，以及這種聯(lián)接所引起的神經(jīng)元的不同興奮狀態(tài)和系統(tǒng)所表現(xiàn)出的總體行為。八十年代再度興起的神經(jīng)網(wǎng)絡(luò)和神經(jīng)計(jì)算機(jī)就是這種聯(lián)接主義的代表。

神經(jīng)網(wǎng)絡(luò)的主要特征是摘要：大規(guī)模的并行處理和分布式的信息存儲(chǔ)，良好的自適應(yīng)、自組織性，以及很強(qiáng)的學(xué)習(xí)功能、聯(lián)想功能和容錯(cuò)功能。和當(dāng)今的馮．諾依曼式計(jì)算機(jī)相比，更加接近人腦的信息處理模式。主要表現(xiàn)如下摘要：

神經(jīng)網(wǎng)絡(luò)能夠處理連續(xù)的模擬信號。例如連續(xù)灰度變化的圖象信號。

能夠處理混沌的、不完全的、模糊的信息。

傳統(tǒng)的計(jì)算機(jī)能給出精確的解答，神經(jīng)網(wǎng)絡(luò)給出的是次最優(yōu)的逼近解答。

神經(jīng)網(wǎng)絡(luò)并行分布工作，各組成部分同時(shí)參和運(yùn)算，單個(gè)神經(jīng)元的動(dòng)作速度不高，但總體的處理速度極快。

神經(jīng)網(wǎng)絡(luò)信息存儲(chǔ)分布于全網(wǎng)絡(luò)各個(gè)權(quán)重變換之中，某些單元障礙并不影響信息的完整，具有魯棒性。

傳統(tǒng)計(jì)算機(jī)要求有準(zhǔn)確的輸入條件，才能給出精確解。神經(jīng)網(wǎng)絡(luò)只要求部分條件，甚至對于包含有部分錯(cuò)誤的輸入，也能得出較好的解答，具有容錯(cuò)性。

神經(jīng)網(wǎng)絡(luò)在處理自然語言理解、圖象模式識別、景物理解、不完整信息的處理、智能機(jī)器人控制等方面有優(yōu)勢。

符號主義和聯(lián)接主義兩者各有特色，學(xué)術(shù)界目前有一種看法摘要：認(rèn)為基于符號主義得傳統(tǒng)人工智能和基于聯(lián)接主義得神經(jīng)網(wǎng)絡(luò)是分別描述人腦左、右半腦的功能，反映了人類智能的兩重性摘要：精確處理和非精確處理，分別面向熟悉的理性和感性兩個(gè)方面，兩者的關(guān)系應(yīng)該是互補(bǔ)而非互相代替。理想的智能系統(tǒng)及其表現(xiàn)的智能行為應(yīng)是兩者相互結(jié)合的結(jié)果。

接下去的新問題是，符號AI和聯(lián)接AI具體如何結(jié)合，兩者在智能系統(tǒng)中相互關(guān)系如何？分別扮演什么角色？目前這方面發(fā)表的文獻(xiàn)很多，大致有如下幾種類型摘要：

1．松耦合模型摘要：符號機(jī)制的專家系統(tǒng)和聯(lián)接機(jī)制的神經(jīng)網(wǎng)絡(luò)通過一個(gè)中間媒介（例如數(shù)據(jù)文件）進(jìn)行通訊。

2．緊耦合模型摘要：和松耦合模型相比較，其通訊不是通過外部數(shù)據(jù)進(jìn)行，而是直接通過內(nèi)部數(shù)據(jù)完成，具有較高的效率。其主要類型有嵌入式系統(tǒng)和黑板結(jié)構(gòu)等。

3．轉(zhuǎn)換模型摘要：將專家系統(tǒng)的知識轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)，或把神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換成專家系統(tǒng)的知識，轉(zhuǎn)換前的系統(tǒng)稱為源系統(tǒng)，轉(zhuǎn)換后的系統(tǒng)稱為目標(biāo)系統(tǒng)，由一種機(jī)制轉(zhuǎn)成另一種機(jī)制。假如源系統(tǒng)是專家系統(tǒng)，目標(biāo)系統(tǒng)是神經(jīng)網(wǎng)絡(luò)，則可獲得學(xué)習(xí)能力及自適應(yīng)性；反之，可獲得單步推理能力、解釋能力及知識的顯式表示。當(dāng)然，轉(zhuǎn)換需要在兩種的機(jī)制之間，確定結(jié)構(gòu)上的一致性，目前主要新問題是還沒有一種完備而精確的轉(zhuǎn)換方法實(shí)現(xiàn)兩者的轉(zhuǎn)換。有待進(jìn)一步探究。

4．綜合模型摘要：綜合模型共享數(shù)據(jù)結(jié)構(gòu)和知識表示，這時(shí)聯(lián)接機(jī)制和符號機(jī)制不再分開，兩者相互結(jié)合成為一個(gè)整體，既具有符號機(jī)制的邏輯功能，又有聯(lián)接機(jī)制的自適應(yīng)和容錯(cuò)性的優(yōu)點(diǎn)和特征。例如聯(lián)接主義的專家系統(tǒng)等。

近年來神經(jīng)網(wǎng)絡(luò)探究的另一個(gè)趨向，是將它和模糊邏輯、混沌理論、遺傳進(jìn)化算法等相結(jié)合，即所謂“混合神經(jīng)網(wǎng)絡(luò)”方法。由于這些理論和算法都是屬于仿效生物體信息處理的方法，人們希望通過她們之間的相互結(jié)合，能夠獲得具有有柔性信息處理功能的系統(tǒng)。下面分別介紹。

二．混沌理論和智能信息處理

混沌理論是對貌似無序而實(shí)際有序，表面上看來是雜亂無章的現(xiàn)象中，找出其規(guī)律，并予以處理的一門學(xué)科。早在七十年代，美國和歐洲的一些物理學(xué)家、生物學(xué)家、數(shù)學(xué)家就致力于尋求在許許多多不同種類的不規(guī)則性之間的聯(lián)系。生物學(xué)家發(fā)現(xiàn)在人類的心臟中有混沌現(xiàn)象存在，血管在顯微鏡下交叉纏繞，其中也有驚人的有序性。在生物腦神經(jīng)系統(tǒng)中從微觀的神經(jīng)膜電位到宏觀的腦電波，都可以觀察到混沌的性態(tài)，證實(shí)混沌也是神經(jīng)系統(tǒng)的正常特性。

九十年代開始，則更進(jìn)一步將混沌和神經(jīng)網(wǎng)絡(luò)結(jié)合起來，提出多種混沌神經(jīng)網(wǎng)絡(luò)模型，并探索應(yīng)用混沌理論的各種信息處理方法。例如，在神經(jīng)元模型中，引入神經(jīng)膜的不應(yīng)性，探究神經(jīng)元模型的混沌響應(yīng)，探究在神經(jīng)網(wǎng)絡(luò)的方程中，不應(yīng)性項(xiàng)的定標(biāo)參數(shù)，不定性時(shí)間衰減常數(shù)等參數(shù)的性質(zhì)，以及這些參數(shù)于神經(jīng)網(wǎng)絡(luò)混沌響應(yīng)的關(guān)系，并確定混沌---神經(jīng)網(wǎng)絡(luò)模型具有混沌解的參數(shù)空間。經(jīng)過試驗(yàn)，由這種混沌神經(jīng)網(wǎng)絡(luò)模型所繪出的輸出圖形和腦電圖極為相似。

現(xiàn)代腦科學(xué)把人腦的工作過程看成為復(fù)雜的多層次的混沌動(dòng)力學(xué)系統(tǒng)。腦功能的物理基礎(chǔ)是混沌性質(zhì)的過程，腦的工作包含有混沌的性質(zhì)。通過混沌動(dòng)力學(xué)，探究、分析腦模型的信息處理能力，可進(jìn)一步探索動(dòng)態(tài)聯(lián)想記憶、動(dòng)態(tài)學(xué)習(xí)并應(yīng)用到模式識別等工程領(lǐng)域。例如摘要：

對混沌的隨機(jī)不規(guī)則現(xiàn)象，可利用混沌理論進(jìn)行非線性猜測和決策。

對被噪聲所掩蓋的微弱信號，假如噪聲是一種混沌現(xiàn)象，則可通過非線性辨識，有效進(jìn)行濾波。

利用混沌現(xiàn)象對初始值的敏銳依靠性，構(gòu)成模式識別系統(tǒng)。

探究基于混沌---神經(jīng)網(wǎng)絡(luò)自適應(yīng)存儲(chǔ)檢索算法。該算法主要包括三個(gè)步驟，即摘要：特征提取、自適應(yīng)學(xué)習(xí)和檢索。

模式特征提取采用從簡單的吸引子到混沌的層次分支結(jié)構(gòu)來描述，這種分支結(jié)構(gòu)有可能通過少數(shù)幾個(gè)系統(tǒng)參數(shù)的變化來加以控制，使復(fù)雜新問題簡單化。自適應(yīng)學(xué)習(xí)采用神經(jīng)網(wǎng)絡(luò)的誤差反傳學(xué)習(xí)法。檢索過程是通過一個(gè)具有穩(wěn)定吸引子的動(dòng)力學(xué)系統(tǒng)來完成，即利用輸入的初始條件和某個(gè)吸引子（輸出）之間的存在直接對應(yīng)關(guān)系的方法進(jìn)行檢索。利用這種方法可應(yīng)用于模式識別。例如黑白圖象的人臉識別。

三．模糊集理論和模糊工程

八十年代以來在模糊集理論和應(yīng)用方面，也有很大進(jìn)展。1983年美國西海岸AI探究所發(fā)表了稱為REVEAL的模糊輔助決策系統(tǒng)并投入市場，1986年美國將模糊邏輯導(dǎo)入OPS---5，并探究成功模糊專家系統(tǒng)外殼FLOPS，1987年英國發(fā)表采用模糊PROLOG的智能系統(tǒng)FRIL等。除此通用工具的研制以外，各國還開發(fā)一系列用于專用目的的智能信息處理系統(tǒng)并實(shí)際應(yīng)用于智能控制、模式識別、醫(yī)療診斷、故障檢測等方面。

模糊集理論和神經(jīng)網(wǎng)絡(luò)雖然都屬于仿效生物體信息處理機(jī)制以獲得柔性信息處理功能的理論，但兩者所用的探究方法卻大不相同，神經(jīng)網(wǎng)絡(luò)著眼于腦的微觀網(wǎng)絡(luò)結(jié)構(gòu)，通過學(xué)習(xí)、自組織化和非線性動(dòng)力學(xué)理論形成的并行分析方法，可處理無法語言化的模式信息。而模糊集理論則著眼于可用語言和概念作為代表的腦的宏觀功能，按照人為引入的隸屬度函數(shù)，邏輯的處理包含有模糊性的語言信息。

神經(jīng)網(wǎng)絡(luò)和模糊集理論目標(biāo)相近而方法各異。因此假如兩者相互結(jié)合，必能達(dá)到取長補(bǔ)短的功能。將模糊和神經(jīng)網(wǎng)絡(luò)相結(jié)合的探究，約在15年前便已在神經(jīng)網(wǎng)絡(luò)領(lǐng)域開始，為了描述神經(jīng)細(xì)胞模型，開始采用模糊語言，把模糊集合及其運(yùn)算用于神經(jīng)元模型和描述神經(jīng)網(wǎng)絡(luò)系統(tǒng)。目前，有關(guān)模糊---神經(jīng)網(wǎng)絡(luò)模型的探究大體上可分為兩類摘要：一類是以神經(jīng)網(wǎng)絡(luò)為主，結(jié)合模糊集理論。例如，將神經(jīng)網(wǎng)絡(luò)參數(shù)模糊化，采用模糊集合進(jìn)行模糊運(yùn)算。另一類以模糊集、模糊邏輯為主，結(jié)合神經(jīng)網(wǎng)絡(luò)方法，利用神經(jīng)網(wǎng)絡(luò)的自組織特性，達(dá)到柔性信息處理的目的。

和神經(jīng)網(wǎng)絡(luò)相比，模糊集理論和模糊計(jì)算是更接近實(shí)用化的理論，非凡近年來美國和日本的各大公司都紛紛推出各種模糊芯片，研制了型號繁多的模糊推理板，并實(shí)際應(yīng)用于智能控制等各個(gè)應(yīng)用領(lǐng)域，建立“模糊工程”這樣一個(gè)新領(lǐng)域。日本更首先在模糊家電方面打開市場，帶有模糊控制，甚至標(biāo)以神經(jīng)---模糊智能控制的洗衣機(jī)、電冰箱、空調(diào)器、攝象機(jī)等已成為新一代家電的時(shí)髦產(chǎn)品。我國目前市場上也有許多洗衣機(jī)，例如榮事達(dá)洗衣機(jī)就是采用模糊神經(jīng)網(wǎng)絡(luò)智能控制方式的洗衣機(jī)。

四．遺傳算法

遺傳算法（GeneticAlgorithm摘要：GA）是模擬生物的進(jìn)化現(xiàn)象（自然、淘汰、交叉、忽然變異）的一種概率搜索和最優(yōu)化方法。是模擬自然淘汰和遺傳現(xiàn)象的工程模型。

GA的歷史可追溯到1960年，明確提出遺傳算法的是1975年美國Michigan大學(xué)的Holland博士，他根據(jù)生物進(jìn)化過程的適應(yīng)現(xiàn)象，提出如下的GA模型方案摘要：

1．將多個(gè)生物的染色體（Chromosmoe）組成的符號集合，按文字進(jìn)行編碼，稱為個(gè)體。

2．定義評價(jià)函數(shù)，表示個(gè)體對外部環(huán)境的適應(yīng)性。其數(shù)值大的個(gè)體表示對外部環(huán)境的適應(yīng)性高，它的生存（子孫的延續(xù)）的概率也高。

3．每個(gè)個(gè)體由多個(gè)“部分”組合而成，每個(gè)部分隨機(jī)進(jìn)行交叉及忽然變異等變化，并由此產(chǎn)生子孫（遺傳現(xiàn)象）。

4．個(gè)體的集合通過遺傳，由選擇淘汰產(chǎn)生下一代。

遺傳算法提出之后，很快得到人工智能、計(jì)算機(jī)、生物學(xué)等領(lǐng)域科學(xué)家的高度重視，并在各方面廣泛應(yīng)用。1989年美國Goldberg博士發(fā)表一本專著摘要：“GeneticAlgorithmsinSearch，OptimizationandMachineLearning”。出版后產(chǎn)生較大影響，該書對GA的數(shù)學(xué)基礎(chǔ)理論，GA的基本定理、數(shù)理分析以及在搜索法、最優(yōu)化、機(jī)器學(xué)習(xí)等GA應(yīng)用方面進(jìn)行了深入淺出的介紹，并附有Pascal模擬程序。

1985年7月在美國召開第一屆“遺傳算法國際會(huì)議”（ICGA）。以后每隔兩年召開一次。近年來，遺傳算法發(fā)展很快，并廣泛應(yīng)用于信息技術(shù)的各個(gè)領(lǐng)域，例如摘要：

智能控制摘要：機(jī)器人控制。機(jī)器人路徑規(guī)劃。

工程設(shè)計(jì)摘要：微電子芯片的布局、布線；通信網(wǎng)絡(luò)設(shè)計(jì)、濾波器設(shè)計(jì)、噴氣發(fā)動(dòng)機(jī)設(shè)計(jì)。

圖象處理摘要：圖象恢復(fù)、圖象識別、特征抽取。

調(diào)度規(guī)劃摘要：生產(chǎn)規(guī)劃、調(diào)度新問題、并行機(jī)任務(wù)分配。

優(yōu)化理論摘要：TSP新問題、背包新問題、圖劃分新問題。

人工生命摘要：生命的遺傳進(jìn)化以及自增殖、自適應(yīng)；免疫系統(tǒng)、生態(tài)系統(tǒng)等方面的探究。

神經(jīng)網(wǎng)絡(luò)、模糊集理論和以遺傳算法為代表的進(jìn)化算法都是仿效生物信息處理模式以獲得智能信息處理功能的理論。三者目標(biāo)相近而方法各異；將它們相互結(jié)合，必能達(dá)到取長補(bǔ)短、各顯優(yōu)勢的效果。例如，遺傳算法和神經(jīng)網(wǎng)絡(luò)和模糊計(jì)算相結(jié)合方面就有摘要：

神經(jīng)網(wǎng)絡(luò)連續(xù)權(quán)的進(jìn)化。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)如BP網(wǎng)絡(luò)是通過學(xué)習(xí)，并按一定規(guī)則來改變數(shù)值分布。這種方法有練習(xí)時(shí)間過長和輕易陷入局部優(yōu)化的新問題。采用遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)可以克服這個(gè)缺點(diǎn)。

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的進(jìn)化。

目前神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)全靠設(shè)計(jì)者的經(jīng)驗(yàn)，由人事先確定，還沒有一種系統(tǒng)的方法來確定網(wǎng)絡(luò)結(jié)構(gòu)，采用遺傳算法可用來優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則的進(jìn)化。

第3篇：對神經(jīng)網(wǎng)絡(luò)的理解范文

關(guān)鍵詞：人工智能；深度學(xué)習(xí)；教學(xué)建議

0 引言

傳統(tǒng)的人工智能課程主要包括人工智能導(dǎo)論、模式分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等。這些課程由各個(gè)院校根據(jù)專業(yè)情況不同而選擇，課程的內(nèi)容也有較大差別，但是，基本上都涉及人工神經(jīng)網(wǎng)絡(luò)的內(nèi)容。然而在人工神經(jīng)網(wǎng)絡(luò)的教學(xué)內(nèi)容上，一般只講解經(jīng)典的多層感知器和反向傳播算法，或再加入一些反饋網(wǎng)絡(luò)的內(nèi)容，這種教學(xué)內(nèi)容設(shè)計(jì)的一個(gè)不足是忽視了人工智能領(lǐng)域的最新發(fā)展——深度學(xué)習(xí)，它是近幾年人工智能領(lǐng)域最具影響力的研究主題，并在大規(guī)模語音識別、大規(guī)模圖像檢索等領(lǐng)域取得突破。

北京郵電大學(xué)計(jì)算機(jī)學(xué)院開設(shè)人工智能科學(xué)與技術(shù)的本科專業(yè)，筆者從事深度學(xué)習(xí)的研究工作，同時(shí)承擔(dān)了本科生和研究生人工智能類課程的教學(xué)工作，因此產(chǎn)生了將深度學(xué)習(xí)內(nèi)容引人人工智能類課程的想法。本文先介紹深度學(xué)習(xí)的背景，說明深度學(xué)習(xí)在人工智能發(fā)展中的地位，之后分析了將深度學(xué)習(xí)基本內(nèi)容引入人工智能類課程的必要性和可行性，最后給出了一些實(shí)施建議供探討。

1 深度學(xué)習(xí)背景

2006年，加拿大多倫多大學(xué)的GeoffreyHinton教授與Salakhutdinov博士在美國《科學(xué)》雜志發(fā)表了題為“Reducing the Dimensionality ofDatawith Neural Networks”的論文，該文提出一種學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)的方法，并將這種具有多層結(jié)構(gòu)的學(xué)習(xí)方法命名為深度學(xué)習(xí)（Deep Learning），而這成為深度學(xué)習(xí)研究的一個(gè)導(dǎo)火索，從此深度學(xué)習(xí)的研究與應(yīng)用蓬勃發(fā)展起來。

深度學(xué)習(xí)在語音識別與生成、計(jì)算機(jī)視覺等應(yīng)用領(lǐng)域取得了突出進(jìn)展。近幾年的國際機(jī)器學(xué)會(huì)（International Conference on MachineLearning，ICML）、神經(jīng)信息處理大會(huì)（AnnualConference On Neural Information Processing Systems，NIPS）、計(jì)算機(jī)視覺大會(huì)（InternationalConference on Computer Vision，ICCV）、

聲學(xué)語音與信號處理大會(huì)（International ConferenceOn Acoustics，Speech，and Signal Processing，ICASSP）、計(jì)算語言學(xué)大會(huì)（Annual Meeting of the Association for Computational Linguistics.ACL）、計(jì)算機(jī)視覺與模式識別（InternationalConference on Computer Vision and P atternRecognition，CVPR）等都有不少相關(guān)的研究論文、會(huì)議教程和小組研討會(huì)（Workshop）。美國國防高級研究計(jì)劃（DARPA）也提出了關(guān)于深層學(xué)習(xí)的研究項(xiàng)目。此外，2013年6月《程序員雜志》的封面故事，采訪了周志華、李航、朱軍3位國內(nèi)的機(jī)器學(xué)習(xí)專家對于深度學(xué)習(xí)的看法，他們一致肯定了深度學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域的貢獻(xiàn)。

工業(yè)界對深度學(xué)習(xí)也寄予了很高期望。2012年6月，《紐約時(shí)報(bào)》報(bào)道了斯坦福大學(xué)計(jì)算機(jī)科學(xué)家AndrewNg和谷歌公司的系統(tǒng)專家JeffDean共同研究深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型在語音識別和圖像識別等領(lǐng)域獲得的巨大成功。2012年11月，微軟公司在天津公開演示了一個(gè)全自動(dòng)的同聲傳譯系統(tǒng)，其關(guān)鍵技術(shù)也是深度學(xué)習(xí)。2013年1月，百度公司首席執(zhí)行官李彥宏先生宣布建立深度學(xué)習(xí)研究院（Institute of Deep Learning）。2013年3月，谷歌公司收購了由深度學(xué)習(xí)創(chuàng)始人Geoffrey Hinton創(chuàng)立的公司。

從學(xué)術(shù)界與工業(yè)界的研究態(tài)勢看，深度學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)與模式識別，乃至人工智能領(lǐng)域的研究熱點(diǎn)。正是在這樣一個(gè)背景下，人工神經(jīng)網(wǎng)絡(luò)重新回到人們的視野。此前人工神經(jīng)網(wǎng)絡(luò)的發(fā)展大致可以分為兩個(gè)時(shí)期，1943年，McCulloch和Pitts提出了最早的人工神經(jīng)元，這種神經(jīng)元具有學(xué)習(xí)能力，這是人工神經(jīng)網(wǎng)絡(luò)的發(fā)端，也可以被認(rèn)為是人工智能的發(fā)端（當(dāng)時(shí)還沒有人工智能這個(gè)術(shù)語）。1949年，Hebb提出了Hebbian學(xué)習(xí)算法。1957年，Rosenblatt提出了感知器的神經(jīng)網(wǎng)絡(luò)模型。1969年，Minsky和Papert分析了這種感知器神經(jīng)網(wǎng)絡(luò)模型的局限性。然而，很多研究者認(rèn)為，感知器的這種局限性對于所有的神經(jīng)網(wǎng)絡(luò)模型都適用，這使人工神經(jīng)網(wǎng)絡(luò)的研究很快暗淡下來。1980年代中期，諾貝爾獎(jiǎng)得主John Hopfield提出了Hopfield神經(jīng)網(wǎng)絡(luò)模型，這種Recurrent神經(jīng)網(wǎng)絡(luò)具有的動(dòng)態(tài)性有可能用于解決復(fù)雜的問題。同時(shí)，多層前向神經(jīng)網(wǎng)絡(luò)的后傳算法也被重新發(fā)現(xiàn)，這兩個(gè)工作使人工神經(jīng)網(wǎng)絡(luò)得到重生。這時(shí)，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)成為人工智能的一個(gè)重要組成部分。但是，在隨后的研究中，人們發(fā)現(xiàn)，當(dāng)學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)包含更多的隱藏層時(shí)，后傳算法并不能學(xué)到有效的網(wǎng)絡(luò)權(quán)值，這使得神經(jīng)網(wǎng)絡(luò)的研究再次陷入低潮。此次以深層神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)重新回到研究的舞臺，其中一個(gè)重要因素是Hinton提出的逐層預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)方法治愈了多層神經(jīng)網(wǎng)絡(luò)的一個(gè)致命傷。

2 必要性與可行性

深度學(xué)習(xí)的發(fā)展使得從事教學(xué)一線的教師也無法忽視這個(gè)頗具影響力的研究主題。為此，我們提出將深度學(xué)習(xí)這個(gè)主題引入到人工智能類課程中，將它作為課題教學(xué)的一部分。

2.1 必要性

將深度學(xué)習(xí)這個(gè)主題引入到人工智能類課程中的必要性主要包括如下4點(diǎn)。

1）深度學(xué)習(xí)是人工智能的前沿。

2006年以來，深度學(xué)習(xí)的研究席卷了整個(gè)人工智能，從機(jī)器學(xué)習(xí)、機(jī)器視覺、語音識別到語言處理，都不斷涌現(xiàn)出新的研究工作和突破性進(jìn)展。深度學(xué)習(xí)不僅在機(jī)器學(xué)習(xí)領(lǐng)域成為研究熱點(diǎn)，同時(shí)在多個(gè)應(yīng)用領(lǐng)域也成為有力工具，而且，在工業(yè)界的系統(tǒng)應(yīng)用中，深度學(xué)習(xí)成為其中的關(guān)鍵解決技術(shù)。

2）深度學(xué)習(xí)是人工智能的突破。

深度學(xué)習(xí)的發(fā)端是神經(jīng)網(wǎng)絡(luò)。關(guān)于神經(jīng)網(wǎng)絡(luò)的論述，在人工智能類常見教科書中還停留在多層神經(jīng)網(wǎng)絡(luò)，即神經(jīng)網(wǎng)絡(luò)的第二階段，它們大部分描述多層結(jié)構(gòu)無法訓(xùn)練的現(xiàn)象。但是，從深度學(xué)習(xí)的角度看，深層神經(jīng)網(wǎng)絡(luò)不僅可學(xué)習(xí)，而且有必要，這與第二代神經(jīng)網(wǎng)絡(luò)的觀點(diǎn)是完全不同的。深度學(xué)習(xí)突破了原有人工神經(jīng)網(wǎng)絡(luò)的認(rèn)識，超越了人工智能神經(jīng)網(wǎng)絡(luò)教科書中的原有內(nèi)容，因此，有必要將多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可學(xué)習(xí)性告知學(xué)生，從新的視角糾正原有的觀點(diǎn)。

3）深度學(xué)習(xí)是人工智能的延伸。

深度學(xué)習(xí)不僅提供了一種可以在深層神經(jīng)結(jié)構(gòu)下訓(xùn)練網(wǎng)絡(luò)的方法，也包含了不少新的內(nèi)容，是人工智能的新發(fā)展，為人工智能補(bǔ)充了新的內(nèi)容。到目前為止，深度學(xué)習(xí)至少包括：從生物神經(jīng)網(wǎng)絡(luò)與人類認(rèn)知的角度認(rèn)識深層神經(jīng)網(wǎng)絡(luò)的必要性；如何構(gòu)建和學(xué)習(xí)深層學(xué)習(xí)網(wǎng)絡(luò)；如何將深層結(jié)構(gòu)用于解決視覺、語音、語言的應(yīng)用問題；如何看待深度學(xué)習(xí)與原有的機(jī)器學(xué)習(xí)方法，如流形學(xué)習(xí)、概率圖模型、能量模型的直接關(guān)系；深度學(xué)習(xí)與其他學(xué)科的關(guān)系等。

4）深度學(xué)習(xí)是學(xué)生的潛在興趣點(diǎn)。

大學(xué)生對知識有著強(qiáng)烈的好奇心，加之當(dāng)前信息技術(shù)的發(fā)達(dá)，部分對智能感興趣的學(xué)生可以從其他途徑了解到這個(gè)學(xué)科發(fā)展的前沿。因此，順勢而為，將深度學(xué)習(xí)這個(gè)主題做具體講解，滿足學(xué)生的好奇心，培養(yǎng)他們對學(xué)科前沿與發(fā)展的認(rèn)識，是十分必要的。對高年級的學(xué)生而言，了解深度學(xué)習(xí)的基本知識，是他們?nèi)嬲J(rèn)識人工智能與發(fā)展前沿的一個(gè)途徑，而對于研究生，較多地了解和掌握深度學(xué)習(xí)的基本知識有助于他們研究工作的開展。

基于以上幾點(diǎn)，筆者認(rèn)為，將深度學(xué)習(xí)這個(gè)主題引入到人工智能類課程中非常有必要。深度學(xué)習(xí)作為人工智能的前沿，既是對人工智能原有理論和技術(shù)的一個(gè)突破和補(bǔ)充。

2.2 可行性

將深度學(xué)習(xí)引入到人工智能類課程中的可行性主要包括如下3點(diǎn)。

1）深度學(xué)習(xí)與現(xiàn)有人工智能聯(lián)系密切。

深度學(xué)習(xí)并不像突兀的山峰拔地而起。而是深深植根于原有的人工智能理論與技術(shù)。深度學(xué)習(xí)是以神經(jīng)網(wǎng)絡(luò)為出發(fā)點(diǎn)，這正是深度學(xué)習(xí)教與學(xué)的切入點(diǎn)。比如，可以通過對多層感知器隱藏層的增加和后傳算法的失效來講解深度學(xué)習(xí)是如何解決這個(gè)問題的。再者，深度學(xué)習(xí)的一個(gè)核心構(gòu)建“受限波爾茲曼機(jī)（Restricted Boltzmann Machine）”，可以被認(rèn)為是一種能量模型，而這種模型與Hopfield網(wǎng)絡(luò)都可以從物理學(xué)的能量模型角度分析，RBM可以認(rèn)為是Hopfield網(wǎng)絡(luò)的隨機(jī)擴(kuò)展?？傊疃葘W(xué)習(xí)與現(xiàn)有人工智能的聯(lián)系，使學(xué)習(xí)深度學(xué)習(xí)變得容易。

2）深度學(xué)習(xí)的基本內(nèi)容并不深。

深度學(xué)習(xí)有個(gè)很好的名字，這個(gè)名字恰當(dāng)?shù)孛枋隽颂囟ǖ膶W(xué)習(xí)結(jié)構(gòu)。比如，深度學(xué)習(xí)的核心部件受限于波爾茲曼機(jī)RBM，其結(jié)構(gòu)非常簡單。從神經(jīng)網(wǎng)絡(luò)的角度，受限波爾茲曼機(jī)是一種隨機(jī)的雙向連接神經(jīng)網(wǎng)絡(luò)，信號可以從可見層傳遞到隱藏層，也可以從隱藏層傳遞到可見層。網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)是具有特定結(jié)構(gòu)的神經(jīng)元，其中的神經(jīng)元具有典型的包含自身偏置的Logistic函數(shù)的隨機(jī)單元，能夠依Logistic函數(shù)計(jì)算得到的概率輸出0狀態(tài)或1狀態(tài)。概括地說，深度學(xué)習(xí)的基本內(nèi)容在高年級階段較易掌握。

3）深度學(xué)習(xí)的資料容易獲得。

當(dāng)前的信息資訊非常發(fā)達(dá)，有相當(dāng)多的資料可以通過互聯(lián)網(wǎng)等多種途徑獲得，這使學(xué)習(xí)深度學(xué)習(xí)成為可能。近期，中國計(jì)算機(jī)學(xué)會(huì)主辦了多個(gè)技術(shù)講座均涉及深度學(xué)習(xí)的部分；深度學(xué)習(xí)的創(chuàng)始人Hinton教授的主頁也有很多資料；Coursera網(wǎng)站有免費(fèi)的Hinton教授的神經(jīng)網(wǎng)絡(luò)課程；斯坦福大學(xué)的Ng教授提供了很多的在線教程；蒙特利爾大學(xué)Bengio教授發(fā)表的題為“Learning Deep Architectures for AI”的論文也是這領(lǐng)域的優(yōu)質(zhì)資料。

3 實(shí)施建議

在具體的教學(xué)過程中，筆者建議適當(dāng)安排深度學(xué)習(xí)的最基本內(nèi)容，內(nèi)容不宜過多，也不宜占用過多的學(xué)時(shí)，可以根據(jù)教學(xué)對象的不同進(jìn)行調(diào)整。比如，本科生的高年級專業(yè)課可以安排1學(xué)時(shí)的教學(xué)量，介紹層次訓(xùn)練的基本算法；也可以在高年級前沿講座中安排2學(xué)時(shí)，內(nèi)容覆蓋面盡可能廣泛。在研究生的教學(xué)中，可以根據(jù)教學(xué)的課程主題安排內(nèi)容與學(xué)時(shí)。比如，神經(jīng)網(wǎng)絡(luò)主題的課程可以安排4-6學(xué)時(shí)的教學(xué)內(nèi)容，包括波爾茲曼機(jī)及學(xué)習(xí)算法、深層信念網(wǎng)絡(luò)與學(xué)習(xí)算法、深層波爾茲曼機(jī)與學(xué)習(xí)算法卷、積神經(jīng)網(wǎng)絡(luò)、自動(dòng)編碼器等。結(jié)合應(yīng)用，課程還可以包含MNIST數(shù)字識別的應(yīng)用、人臉識別的應(yīng)用、圖像檢索的應(yīng)用、語音識別中的應(yīng)用等。另外，深度學(xué)習(xí)是一個(gè)實(shí)踐性很強(qiáng)的研究，隨機(jī)性：大規(guī)模（意味著數(shù)據(jù)不宜可視化，程序運(yùn)行時(shí)間長）等多種因素混合，使深度學(xué)習(xí)在學(xué)習(xí)中不容易理解。為此，可以在條件允許的前提下，增加小規(guī)模的實(shí)驗(yàn)，輔助理解。最后，課件可以通過對優(yōu)質(zhì)資料做修改得到。

第4篇：對神經(jīng)網(wǎng)絡(luò)的理解范文

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；神經(jīng)元；可視化

中圖分類號：TP183文獻(xiàn)標(biāo)識碼：A文章編號：1009-3044(2008)36-2882-03

Analysis and Comparison Between ANN and Viewdata

ZHAO Chun, LI Dong

(Department of Computer Science, Xinxiang University, Xinxiang 453000, China)

Abstract: ANN and viewdata two calculating methods of obtaing new data by the dig and learrangement of the original data. This paper intends to make a general analysis of the featurcs of the two methods and a friof comparison between the two, and summed up the two algorithms and the similarity of common ground.

Key words：ANN; nerve cell; viewdata

1 引言

人工神經(jīng)網(wǎng)絡(luò)和可視化方法是數(shù)據(jù)挖掘中的兩個(gè)重要的算法模型，兩者都是根據(jù)模擬人腦和人的視覺神經(jīng)與傳統(tǒng)的數(shù)字計(jì)算機(jī)相比較而抽象出來的數(shù)據(jù)挖掘算法。可視化方法是人腦神經(jīng)網(wǎng)絡(luò)的一部分，它們之間存在著必然的聯(lián)系，而算法又各有所異。隨著數(shù)據(jù)挖掘技術(shù)的快速發(fā)展，存儲(chǔ)在數(shù)據(jù)庫中的數(shù)據(jù)量也迅速增長，這證明傳統(tǒng)的關(guān)系數(shù)據(jù)庫和存儲(chǔ)圖像、CAD（計(jì)算機(jī)輔助設(shè)計(jì)）圖紙、地理信息和分子生物結(jié)構(gòu)的復(fù)雜2D和3D多媒體數(shù)據(jù)庫是合理的。許多應(yīng)用都要用到大型的數(shù)據(jù)庫，這些數(shù)據(jù)庫有幾百萬種數(shù)據(jù)對象，這些數(shù)據(jù)對象的緯度達(dá)到幾十甚至幾百。面對如此復(fù)雜的數(shù)據(jù)時(shí)，我們常常面臨著一些棘手的問題：應(yīng)該從哪里開始著手？哪些是有用的數(shù)據(jù)？還有一些其他可用的數(shù)據(jù)嗎？能得出答案的其他方法是什么？人們在尋求突破的同時(shí)反復(fù)地思考并詢問復(fù)雜數(shù)據(jù)的專門問題。我們從人工神經(jīng)網(wǎng)絡(luò)和可視化方法的算法、特有屬性進(jìn)行橫向和縱向的比較來找出他們的共同點(diǎn)和相似點(diǎn)。

2 人工神經(jīng)網(wǎng)絡(luò)算法與可視化方法性能比較

2.1 人工神經(jīng)網(wǎng)絡(luò)提供特有的屬性和能力

1) 人工神經(jīng)網(wǎng)絡(luò)有超強(qiáng)的運(yùn)算功能――人腦大約有1011個(gè)微處理神經(jīng)元，這些神經(jīng)元之間相互連接，連接的數(shù)目大約達(dá)到1015數(shù)量級[1]。每個(gè)神經(jīng)元都相當(dāng)一個(gè)微型計(jì)算機(jī)，把每個(gè)微型計(jì)算機(jī)鏈接起來就形成了一個(gè)超級計(jì)算機(jī)網(wǎng)絡(luò)。

2) 由于人工神經(jīng)網(wǎng)絡(luò)相當(dāng)于一個(gè)超級因特網(wǎng)，每個(gè)神經(jīng)元都相當(dāng)于一個(gè)微型計(jì)算機(jī)，對所有的任務(wù)都可并行，并且是分布式處理，其處理能力也是超強(qiáng)的――每個(gè)神經(jīng)元節(jié)點(diǎn)都可以看作一個(gè)微型計(jì)算機(jī)，這樣就形成了一個(gè)龐大的神經(jīng)元網(wǎng)絡(luò)。

3) 人工神經(jīng)網(wǎng)絡(luò)有歸納總結(jié)和分類的能力。――歸納總結(jié)和分類是人工神經(jīng)網(wǎng)絡(luò)對輸入而產(chǎn)生合理的輸出。

4) 人工神經(jīng)網(wǎng)絡(luò)有離散性。

5) 人工神經(jīng)網(wǎng)絡(luò)通過典型的實(shí)例中進(jìn)行歸納總結(jié)。

6) 對整個(gè)網(wǎng)絡(luò)有很強(qiáng)的適應(yīng)性和快速的驗(yàn)證的能力。

7) 對整個(gè)人工神經(jīng)網(wǎng)絡(luò)的包容性。

8 對整個(gè)人工神經(jīng)網(wǎng)絡(luò)統(tǒng)籌能力。

2.2 可視化方法特有的屬性和能力

1) 在正常情況下人對圖像的信息比較敏感。而對數(shù)據(jù)的反映比較遲鈍。

2) 人從圖像視覺接受到的信息比從文本或表格上接受更快、更有效。比如“百聞不如一見”。

3) 人從圖像視覺接受到的信息總是有選擇的接受

4) 人的視覺選擇的特征為形狀、顏色、亮度、運(yùn)動(dòng)、向量、質(zhì)地等。

這些篩選仍然是通過人龐大的神經(jīng)網(wǎng)絡(luò)中的部分神經(jīng)元來處理的。其中進(jìn)行的樣本的學(xué)習(xí)能里以及自適應(yīng)性得到了充分的體現(xiàn)。

2.3 人工神經(jīng)網(wǎng)絡(luò)和可視化方法的共同點(diǎn)

1) 對接受到的信息進(jìn)行歸納處理。

2) 對接受到的信息進(jìn)行轉(zhuǎn)化，只是轉(zhuǎn)化的方式不同。

3) 對接受到的信息進(jìn)行篩選，并對接受到的信息產(chǎn)生合理的輸出。

4) 容錯(cuò)性。

5) 從接受到的信息進(jìn)行學(xué)習(xí)的能力。

2.4 人工神經(jīng)網(wǎng)絡(luò)和可視化方法的不同點(diǎn)

1) 人工神經(jīng)網(wǎng)絡(luò)是好比因特網(wǎng)，而可視化方法的計(jì)算網(wǎng)絡(luò)好比計(jì)算機(jī)網(wǎng)絡(luò)?？梢暬W(wǎng)絡(luò)的計(jì)算能力只是人工神經(jīng)網(wǎng)絡(luò)很小的一部分。

2) 可視化方法雖然也是并行分布式處理的結(jié)構(gòu)，但是它也只是人工神經(jīng)網(wǎng)絡(luò)分布式處理的很小部分。其速度要遠(yuǎn)遠(yuǎn)低于人工神經(jīng)網(wǎng)絡(luò)

3) 人的視覺和人工神經(jīng)網(wǎng)絡(luò)對信息的篩選的方式各有不同。

3 算法比較

3.1 人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)元是一個(gè)抽象的自然神經(jīng)元模型，將其數(shù)據(jù)模型符號化為：

netk=x1wk1+x2wk2+ … … +xm wkm +bk

在ANN中輸入和相應(yīng)權(quán)重乘機(jī)的累加為xiwki（其中，i=1, ……m），一些輸入xi，i=1, ……m，其中k是ANN中給定的神經(jīng)元的索引，權(quán)重模擬了自然神經(jīng)元中的生物突出強(qiáng)度[2]。

一個(gè)神經(jīng)元就是一個(gè)微型計(jì)算機(jī)，它是一個(gè)ANN運(yùn)轉(zhuǎn)的最小單位，就像是整個(gè)因特網(wǎng)中的一臺計(jì)算機(jī)。下例圖1是人工神經(jīng)元的模型。

從這個(gè)模型可以看出人工神經(jīng)元是有三個(gè)基本元素組成：

第一、一組連接線。X1 、X2 、…、Xm，每個(gè)連接線上的Wki為權(quán)重。權(quán)重在一定范圍類可能是正值，也可能是負(fù)值。

第二、累加器。將Xi與對應(yīng)的權(quán)重值相乘的積累加。

第三、篩選函數(shù)。通過每個(gè)神經(jīng)元經(jīng)過函數(shù)篩選后輸出數(shù)值。

同樣，還可以用矢量符號來將其表示成兩個(gè)m維向量的無向乘積：

netk= X?W

其中

X={x0, x1, x3,… , xm}

W={w0, w1, w3,… , wkm}

3.2 可視化方法

可視化技術(shù)在字典中的意思為“心理圖像”，在計(jì)算機(jī)圖形學(xué)領(lǐng)域。可視化將自身行為聯(lián)系起來，特別是和人眼可以理解的復(fù)雜行為聯(lián)系起來。計(jì)算機(jī)可視化就是用計(jì)算機(jī)圖形和其他技術(shù)來考慮更多的樣本、變量和關(guān)系。

可視化技術(shù)其目的是清晰地、恰當(dāng)?shù)?、有見解地思考，以及有著?jiān)定信念的行動(dòng)。

基于計(jì)算機(jī)的可視化技術(shù)不僅僅把計(jì)算機(jī)作為一種工具，也是一種交流媒介，可視化對開發(fā)人類認(rèn)知方面提出了挑戰(zhàn)，也創(chuàng)造了機(jī)遇。挑戰(zhàn)是要避免觀察不出不正確的模式，以免錯(cuò)誤地做出決策和行動(dòng)。機(jī)遇是在設(shè)計(jì)可視化時(shí)運(yùn)用關(guān)于人類認(rèn)知的知識。

安得魯曲線技術(shù)把每個(gè)n維樣本繪制成一條直線。

f(t)=x1/1.41+x2sin(t)+x3cos(t)+ x4sin(2t) +x3cos(2t)+ …

其中t為時(shí)間域，函數(shù)f(t)把n維點(diǎn)X=(x1, x2, x3, x4, …,xn)

將f(t)進(jìn)行部分變換：

f(t)= X?W

其中

X={x0, x1, x3,… , xm}

W={w0, w1, w3,… , wkm} （w0= sin(t)，w1= cos (t)）

這種可視化的一個(gè)好處是它可以表示很多維，缺點(diǎn)是要花很多的時(shí)間計(jì)算，才可以展示每個(gè)維點(diǎn)。這種幾何投影技術(shù)也包括探測性統(tǒng)計(jì)學(xué)，如主成分分析、因子分析和緯度縮放。平行坐標(biāo)可視化技術(shù)和放射可視化技術(shù)也屬于這類可視化[3]。

3.3 人工神經(jīng)元模型與可視化化方法中的安得魯曲線技術(shù)分析與比較

人工神經(jīng)元是一個(gè)抽象的自然神經(jīng)元模型，將其數(shù)據(jù)模型符號化為：

netk=x1wk1+x2wk2+ … … +xmwkm+bk

netk= X?W

安得魯曲線技術(shù)把每個(gè)n維樣本繪制成一條曲線。這種方法與數(shù)據(jù)點(diǎn)的傅立葉轉(zhuǎn)換相似。它用時(shí)間域T的函數(shù)f(t)來把n維點(diǎn)X=(x1,x2,x3,x4, …,xn)轉(zhuǎn)換為一個(gè)連續(xù)的點(diǎn)。這個(gè)函數(shù)常被劃分在－∏≤t≤∏區(qū)間。

f(t)=x1/1.41+x2sin(t)+x3cos(t)+ x4sin(2t) +x3cos(2t)+ …

f(t)= X?W

人工神經(jīng)網(wǎng)絡(luò)和可視化方法部分算法比較可以近似的計(jì)算認(rèn)為：

netk= f(t) =X?W

通過對人工神經(jīng)網(wǎng)絡(luò)和可視化方法公式的整理可以得出它們有著很多的共同性和相似性[4]，在容錯(cuò)允許的情況下其算法為：

F(t)= X?W

其中F(t)可表示為人工神經(jīng)網(wǎng)絡(luò)

F(t)= netk

或可視化方法

F(t)= f(t)

4 kohonen神經(jīng)網(wǎng)絡(luò)

Kohonen神經(jīng)網(wǎng)絡(luò)也是基于n維可視化的聚類技術(shù)，聚類是一個(gè)非常難的問題，由于在n維的樣本空間數(shù)據(jù)可以以不同的形狀和大小來表示類，n維空間上的n個(gè)樣本。

Mk=（1/n）

其中k=1，2，…，k。每個(gè)樣本就是一個(gè)類，因此∑nk=N。[5]

Kohonen神經(jīng)網(wǎng)絡(luò)可以看作是一種非線性的數(shù)據(jù)投影這種技術(shù)和聚類中的k-平均算法有些相似。

可見，Kohonen神經(jīng)網(wǎng)絡(luò)屬于可視化方法也屬于神經(jīng)網(wǎng)絡(luò)算法。

5 結(jié)束語

現(xiàn)代世界是一個(gè)知識大爆炸的世界。我們被大量的數(shù)據(jù)所包圍著，這些數(shù)據(jù)或是整型的、或是數(shù)值型或其他類型，它們都必須經(jīng)過各種方法的分析和處理，把它轉(zhuǎn)換成對我們有用的或可以輔助我們決策和理解的信息。數(shù)據(jù)挖掘是計(jì)算機(jī)行業(yè)中發(fā)展最快的領(lǐng)域之一，原始數(shù)據(jù)在爆炸式的增長，從原始數(shù)據(jù)中發(fā)現(xiàn)新知識的方法也在爆炸性地增長。人工神經(jīng)網(wǎng)絡(luò)和可視化方法是兩種對海量數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘整理的不同算法，通過以上縱向和橫向的對比，我們可以發(fā)現(xiàn)它們的相似性和共同點(diǎn)：對接受到的信息進(jìn)行歸納處理、轉(zhuǎn)化、篩選、容錯(cuò)性、并對接受到的信息產(chǎn)生合理的輸出。在應(yīng)用中可以根據(jù)它們不同的屬性和能力選擇不同的算法。

參考文獻(xiàn)：

[1] Tang，Z H.數(shù)據(jù)挖掘原理與應(yīng)用[M].北京.清華大學(xué)出版社,2007:74.

[2] Kantardzic M.數(shù)據(jù)挖掘[M].北京.清華大學(xué)出版社,2002:89.

[3] 李守巨,王吉.基于概率神經(jīng)網(wǎng)絡(luò)的巖土邊坡穩(wěn)定性預(yù)測方法[J].巖土力學(xué),2000(2).

[4] Tam C M, Tong T K L.Diagnosis of Prestressed Concrete Pile Defects Using probabilistic Neural Networks[J].Engineering Structures,2004,26(8):1155.

第5篇：對神經(jīng)網(wǎng)絡(luò)的理解范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；氣水識別；預(yù)測效果

中圖分類號：TP21 文獻(xiàn)標(biāo)識碼：A

人工神經(jīng)網(wǎng)絡(luò)是人類通過模擬腦神經(jīng)系統(tǒng)的記憶存儲(chǔ)與再現(xiàn)、聯(lián)想思維、目的行為以及更為不易捉摸的情感和靈感等信息活動(dòng),揭示腦物理平面與認(rèn)知平面的相互聯(lián)系的作用機(jī)理，通過計(jì)算機(jī)實(shí)現(xiàn)學(xué)習(xí) 、訓(xùn)練、修正、確認(rèn)和計(jì)算的一種計(jì)算機(jī)信息處理系統(tǒng)。自50年代以來，神經(jīng)網(wǎng)絡(luò)技術(shù)經(jīng)歷了萌芽、探索、學(xué)科的誕生和茁壯成長，成為當(dāng)今全世界關(guān)注的高科技熱點(diǎn)，顯示出了廣闊的應(yīng)用前景。

BP人工神經(jīng)網(wǎng)絡(luò)（Back Propagation Network）是由大量的神經(jīng)元相互連接而成的自適應(yīng)非線性動(dòng)態(tài)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)作為生物控制論的一個(gè)成果，其觸角已延伸到各個(gè)工程領(lǐng)域，吸引著不同專業(yè)領(lǐng)域放入專家從事這方面的研究和開發(fā)工作，并且在這些領(lǐng)域中形成了新的生長點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)從理論探索進(jìn)入大規(guī)模工程實(shí)用階段，到現(xiàn)在也只有短短十幾年的時(shí)間。它的工作原理和功能特點(diǎn)接近于人腦，不是按給定的程序一步一步地機(jī)械執(zhí)行，而是能夠自身適應(yīng)環(huán)境，總結(jié)規(guī)律，完成運(yùn)算、識別和控制工作。一般人工神經(jīng)網(wǎng)絡(luò)的主要特征為：大規(guī)模的并行處理和分布式的信息儲(chǔ)存；極強(qiáng)的自學(xué)、聯(lián)想和容錯(cuò)能力；良好的自適應(yīng)性和自組織性；多輸入、多輸出的非線性系統(tǒng)。這些特征使它基本符合工程的要求。

1.BP神經(jīng)網(wǎng)絡(luò)的基本原理

神經(jīng)網(wǎng)絡(luò)系統(tǒng)由大量的神經(jīng)元廣泛連接形成。每一個(gè)神經(jīng)元都是一個(gè)基本處理單元， 將從其它眾多神經(jīng)元中接收到的信息， 經(jīng)過非線性計(jì)算，輸出給另一些神經(jīng)元。簡單的人工神經(jīng)元如圖4-1所示：X1，X2，...，Xi，...，Xn是第j個(gè)神經(jīng)元接收到的信息ω1j，ω2j，...，ωij，...，ωnj為該神經(jīng)元與提供信息神經(jīng)元之間的連接權(quán)；θj為單元激活值，為該神經(jīng)元計(jì)算處理后輸出的信息，神經(jīng)元的計(jì)算處理函數(shù)可選階躍函數(shù)、分段線性函數(shù)、函數(shù)、 S函數(shù)，通常人們選S函數(shù)。

對于算法BP網(wǎng)絡(luò)對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，實(shí)質(zhì)上是通過計(jì)算輸出值與期望值的誤差(E)，求解輸出層單元的一般化誤差（dj），再將dj逆?zhèn)鞑?，求出隱層單元的一般化誤差(ei)。通過調(diào)整輸出層和隱含層及輸入層間連接權(quán)與隱層、輸出層的閥值，直到系統(tǒng)誤差降到可接受為止。這時(shí)，網(wǎng)絡(luò)間的連接權(quán)和閥值不再改動(dòng)，以此預(yù)測出與訓(xùn)練信息相類似條件的未知信息。

圖1給出一個(gè)基本的BP神經(jīng)元模型，它有R個(gè)輸入，每一個(gè)輸入都通過一個(gè)適當(dāng)?shù)臋?quán)值W和下一層相連，網(wǎng)絡(luò)輸出可表示為：

圖1 BP神經(jīng)元模型

2.子洲氣藏山西組產(chǎn)層分類

本文以子洲氣田山2段儲(chǔ)層為研究對象，根據(jù)儲(chǔ)層產(chǎn)流體性質(zhì)及其典型井的測井響應(yīng)綜合特征，考慮到生產(chǎn)井的動(dòng)態(tài)生產(chǎn)特征和出水特點(diǎn)，將子洲氣藏生產(chǎn)井劃分為氣井、水井、氣水同產(chǎn)井和干井四類，相應(yīng)的儲(chǔ)集層為氣層、水層、氣水同層和干層。將試氣產(chǎn)量大于1×104m3/d，含水率小于10%的儲(chǔ)集層歸為1類氣層；將產(chǎn)氣量0.2×104m3/d-1×104m3/d，產(chǎn)水量小于4m3/d的儲(chǔ)集層歸為2類氣層；若儲(chǔ)集層僅含殘余氣和少量可動(dòng)水，砂層分類中作為干層對待，產(chǎn)氣量小于0.2×104m3/d，產(chǎn)水量小于4m3/d；試氣產(chǎn)量大于0.2×104m3/d而小于1×104m3/d，產(chǎn)水量大于4m3/d；試氣產(chǎn)量大于1×104m3/d，含水率大于10%的儲(chǔ)集層歸為氣水層；試氣產(chǎn)量產(chǎn)氣小于0.2×104m3/d，產(chǎn)水大于4m3/d，或含水率高于90%的儲(chǔ)集層為水層。

依據(jù)上述原則選擇具有代表性的各類產(chǎn)層：

氣層：榆10、榆11、榆12、榆13、洲06、洲07、洲08、洲09、洲10、洲11、洲12、洲13、洲14、洲15、洲16、洲17、洲18、洲19、洲20、洲22、洲23、洲24；

干層：榆14、榆15；

氣水層：榆09、榆07、榆08、洲05、洲02、洲03、洲04；

水層：榆01，榆02、榆03；榆04、榆05、洲01。

3.BP神經(jīng)網(wǎng)絡(luò)模型的建立和預(yù)測

3.1 BP神經(jīng)網(wǎng)絡(luò)流程圖

在進(jìn)行BP神經(jīng)網(wǎng)絡(luò)的建立和運(yùn)用時(shí)，實(shí)際流程如圖2。

3.2 BP神經(jīng)網(wǎng)絡(luò)的建立

（1）根據(jù)試氣結(jié)果，從24口井，挑選出氣層，氣水層，水層，干層共24組樣本，以補(bǔ)償中子（CNL），密度（DEN），聲波時(shí)差（AC），自然伽馬（GR），深淺側(cè)向電阻率差(Rt-Rs)，5條測井曲線作為樣本輸入?yún)?shù)。

（2）BP神經(jīng)網(wǎng)絡(luò)輸入層設(shè)為5個(gè)節(jié)點(diǎn)，分別代表補(bǔ)償中子（CNL），密度（DEN），聲波時(shí)差（AC），自然伽馬（GR），深淺側(cè)向電阻率差(Rt-Rs)，5條測井曲線。含一個(gè)隱層，隱層為8個(gè)節(jié)點(diǎn)，隱層采用S型神經(jīng)元函數(shù)logsig()。輸出層為4個(gè)節(jié)點(diǎn)，分別代表氣層，氣水層，水層，干層。建立程序，輸入樣本參數(shù)，對樣本學(xué)習(xí)，訓(xùn)練，修正權(quán)值和閥值。在對樣本進(jìn)行訓(xùn)練和學(xué)習(xí)過程中的網(wǎng)絡(luò)結(jié)構(gòu)如圖3。

（3）在訓(xùn)練過程中，取網(wǎng)絡(luò)動(dòng)量因子α=0.7，學(xué)習(xí)因子η=0.9，誤差精度ξ=0.0001。開始訓(xùn)練，經(jīng)過260次訓(xùn)練，誤差達(dá)到萬分之一以下，停止學(xué)習(xí)，氣水識別模型已經(jīng)建立，此時(shí)得到儲(chǔ)層類型識別模型。其中輸入層到隱層的連接權(quán)值和閥值為：

隱層到輸出層的連接權(quán)值和閥值為：

[-24.562，-2.116，-3.379，22.653，-23.136，-4.673，6.582，-8.383，7.582]；

[-1.680，-2.879，-2.743，13.058，-3.695，-2.538，1.274，1.487，8.891]；

[13.618，-5.297，7.349，0.597，21.638，-3.294，6.842，4.348，-11.230]；

[-10.310，8.314，-2.610，6.840，5.369，-13.568，21.330，5.613，3.637]

3.3 BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測效果

根據(jù)試氣結(jié)果，我們從30口井選取43個(gè)樣本，以補(bǔ)償中子（CNL），密度（DEN），聲波時(shí)差（AC），自然伽馬（GR），深淺側(cè)向電阻率差(Rt-Rs)，5條測井曲線數(shù)據(jù)作為輸入數(shù)據(jù)，利用已經(jīng)建立的BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測,預(yù)測效果如下表：

從上表可以看出，利用該BP神經(jīng)網(wǎng)絡(luò)模型在對43個(gè)樣本進(jìn)行預(yù)測中，其中40個(gè)正確，3個(gè)錯(cuò)誤（與試氣結(jié)果不符合），符合率達(dá)到93.02%，所以該識別模型的預(yù)測效果較比較理想，可以彌補(bǔ)交會(huì)圖只能定性識別儲(chǔ)層的缺陷，因此該BP神經(jīng)網(wǎng)絡(luò)氣水識別模型可以較為精確劃分該區(qū)域的氣水層，可以達(dá)到定量識別氣層、水層、氣水層、干層的目的。

結(jié)論

利用該BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測氣水層，符合率達(dá)到93.02%，彌補(bǔ)了傳統(tǒng)測井解釋氣水層的弊端，通過網(wǎng)絡(luò)學(xué)習(xí)建立模型，避免了大量雜亂信息對分析的影響，預(yù)測效果真實(shí)可靠。

參考文獻(xiàn)

[1]Baldwin.J.L.Bateman，R.M.Weatley，C.L.Application of a neural network to the problem of mineral identification from well logs，3rd Mgls.Borehole Geophys，for Mineral， Geotech&Groundwater Appl.Int.Symp.2002.10.The Log Anslyst，30，2002：121-235.

[2]Kukal G C. A Systematic Approach for the Log Analysis of Tight Gas Sands. SPE 11857：21-30.

第6篇：對神經(jīng)網(wǎng)絡(luò)的理解范文

關(guān)鍵詞： 專家系統(tǒng)；推理機(jī)制；故障樹；神經(jīng)網(wǎng)絡(luò)

中圖分類號：U461.3 文獻(xiàn)標(biāo)識碼：A 文章編號：1671－7597（2012）0220085－01

推理機(jī)制是專家系統(tǒng)的“CPU”，是構(gòu)成專家系統(tǒng)的核心部分，其作用是模擬領(lǐng)域?qū)＜业乃季S過程，完成對領(lǐng)域問題的求解。推理機(jī)制影響是專家系統(tǒng)的性能的一個(gè)重要因素，推理機(jī)制設(shè)計(jì)不合理容易使專家系統(tǒng)在運(yùn)行中出現(xiàn)“組合爆炸”、“無窮遞歸”和“匹配沖突”等問題，從而影響系統(tǒng)性能。在Intranet中IT技術(shù)支持專家系統(tǒng)中由于知識庫內(nèi)容豐富、結(jié)構(gòu)復(fù)雜，推理機(jī)制的設(shè)計(jì)顯得尤為重要。本文分析了幾種常用的推理機(jī)制，并根據(jù)Intranet中IT技術(shù)支持專家系統(tǒng)的領(lǐng)域特點(diǎn)，完成了該專家系統(tǒng)推理機(jī)制的設(shè)計(jì)。

1 基于故障樹的推理

根據(jù)IT技術(shù)支持專家系統(tǒng)的領(lǐng)域特點(diǎn)，基于故障樹的推理機(jī)制能從用戶描述的故障現(xiàn)象和知識庫中構(gòu)造的故障樹進(jìn)行推理得出故障原因，進(jìn)而進(jìn)行故障處理。其推理過程如下：

1）構(gòu)造故障樹林，構(gòu)造合理的故障樹林能有效縮小知識空間的搜索范圍，提高系統(tǒng)工作效率；2）將用戶描述的故障現(xiàn)象與數(shù)據(jù)庫中由規(guī)則集所構(gòu)造的若干故障樹進(jìn)行匹配，其中非葉子節(jié)點(diǎn)對應(yīng)某一故障結(jié)論，葉子節(jié)點(diǎn)對應(yīng)某一故障現(xiàn)象或者是某一項(xiàng)輔助信息；3）從故障樹深度最大的非葉子節(jié)點(diǎn)開始分析規(guī)則表達(dá)式，看每個(gè)需要的事實(shí)（子節(jié)點(diǎn)）是否存在，如果某個(gè)節(jié)點(diǎn)的所有子節(jié)點(diǎn)都存在，則作為新的事實(shí)記錄到工作寄存器，依次重復(fù)在樹的每一層次進(jìn)行運(yùn)算直到不能再運(yùn)算為止；4）對于不同規(guī)則集故障樹的運(yùn)算結(jié)果，按照可信度和匹配度等參數(shù)進(jìn)行排序，選取最滿足條件的結(jié)論得到診斷的結(jié)論信息，從而完成推理過程。

從推理過程可以看出，基于故障樹的推理依賴于故障樹的構(gòu)造，對結(jié)構(gòu)化領(lǐng)域知識的處理能力強(qiáng)，但對非結(jié)構(gòu)和半結(jié)構(gòu)化的領(lǐng)域知識缺乏有效的推理方式，另外當(dāng)故障樹過大時(shí)，推理速度受故障樹深度限制，難以實(shí)現(xiàn)并行計(jì)算，而且故障匹配時(shí)容易出現(xiàn)沖突現(xiàn)象，會(huì)降低求解速度與準(zhǔn)確性。

2 基于神經(jīng)網(wǎng)絡(luò)的推理機(jī)制

基于神經(jīng)網(wǎng)絡(luò)的推理機(jī)制一般通過采集征兆向量然后使用正向推理的方式計(jì)算出故障向量，從而得出診斷結(jié)果。整個(gè)推理過程模擬領(lǐng)域?qū)＜覒{直覺來解決問題的方式，可以解決局部情況的不確定性，具有一定的聯(lián)想功能和創(chuàng)造性思維。一般分為輸入層神經(jīng)元、隱含層神經(jīng)元和輸出層神經(jīng)元，其推理過程如下：1）調(diào)入故障診斷知識庫和各項(xiàng)故障征兆向量{x1,x2,x3…xn}，根據(jù)輸入數(shù)據(jù)計(jì)算輸入層各神經(jīng)元的輸出，把它們作為隱含層單元的輸入；2）計(jì)算隱含層神經(jīng)元的輸出，并把它們作為輸出層單元的輸入；3）計(jì)算輸出層神經(jīng)元的輸出，并由給定的法則判定輸出神經(jīng)元的輸出，對輸出進(jìn)行確認(rèn)，確認(rèn)完后修正故障征兆向量。

從以上推理過程可以看出：它能很好的處理非結(jié)構(gòu)和半結(jié)構(gòu)化的領(lǐng)域知識，并能夠通過征兆向量記憶診斷結(jié)果，從而歸納出新的診斷規(guī)則充實(shí)知識庫的內(nèi)容。與傳統(tǒng)專家系統(tǒng)的推理機(jī)制相比，神經(jīng)網(wǎng)絡(luò)具有很多的優(yōu)勢：神經(jīng)網(wǎng)絡(luò)在同一層神經(jīng)元上是并行處理的，層間的處理是串行的，可以實(shí)現(xiàn)并行推理，提高推理效率。神經(jīng)網(wǎng)絡(luò)推理通過征兆向量與輸入數(shù)據(jù)的運(yùn)算來完成，由通常的符號運(yùn)算轉(zhuǎn)變?yōu)閿?shù)值運(yùn)算，從而可以大大提高推理速度。神經(jīng)網(wǎng)絡(luò)采用隱式的知識表示方式，通過神經(jīng)計(jì)算來進(jìn)行求解的推論策略可以完全避免了沖突。但單純使用神經(jīng)網(wǎng)絡(luò)推理機(jī)制在結(jié)構(gòu)性領(lǐng)域知識的推理上存在可理解性差，推理結(jié)果邏輯溢出等情況。

3 本專家系統(tǒng)推理機(jī)制的設(shè)計(jì)與應(yīng)用

通過上述兩種推理機(jī)制的分析，結(jié)合IT 技術(shù)支持專家系統(tǒng)領(lǐng)域知識的特點(diǎn)，本專家系統(tǒng)的推理機(jī)制采用了基于故障樹的推理和基于神經(jīng)網(wǎng)絡(luò)的推理機(jī)制進(jìn)行結(jié)合的方式。采用控制程序?qū)喂收?、單過程、確定型故障以及漸發(fā)性故障的診斷對象分配給基于故障樹的推理進(jìn)行診斷，將多故障、多過程、不確定型故障以及突發(fā)性故障的診斷對象分配給神經(jīng)網(wǎng)絡(luò)進(jìn)行診斷，充分發(fā)揮故障樹和神經(jīng)網(wǎng)絡(luò)各自的優(yōu)勢，又使二者相互協(xié)調(diào)工作，既使本專家系統(tǒng)的診斷范圍擴(kuò)大，又使其診斷推理快速。推理過程如下所示：

從以上推理流程可以看出，本系統(tǒng)將基于故障樹所具有的判別速度快、具有良好的可理解性、知識獲取能力強(qiáng)等特點(diǎn)和神經(jīng)網(wǎng)絡(luò)的可學(xué)習(xí)性、自適應(yīng)性、自組織性、能以權(quán)值的形式自動(dòng)地獲取知識等特點(diǎn)結(jié)合，有效的實(shí)現(xiàn)了專家系統(tǒng)的推理機(jī)制，提高了推理效率。

4 小結(jié)

本專家系統(tǒng)所設(shè)計(jì)的推理機(jī)制，把與專家系統(tǒng)知識庫中規(guī)則相匹配且確定性較大的故障送入基于故障樹推理機(jī)求解，而把不能與專家系統(tǒng)知識庫中規(guī)則相匹配的故障和不確定性較大的故障作為神經(jīng)網(wǎng)絡(luò)的輸入樣本，由神經(jīng)網(wǎng)絡(luò)進(jìn)行推理求解。完成了基于故障樹和神經(jīng)網(wǎng)絡(luò)系統(tǒng)的推理機(jī)制的有效結(jié)合。這樣，在專家系統(tǒng)部分可以采用它最擅長的人機(jī)交互式的混合雙向推理方法，充分利用知識庫中故障樹，準(zhǔn)確地得出推理結(jié)果；而在神經(jīng)網(wǎng)絡(luò)部分則采用系統(tǒng)運(yùn)行過程中生成的征兆向量正向推理方法根據(jù)輸入數(shù)據(jù)進(jìn)行直接計(jì)算得出診斷結(jié)果，發(fā)揮各自的優(yōu)勢，使整個(gè)專家系統(tǒng)高效運(yùn)行。

基金項(xiàng)目：湖南省教育廳2010年科學(xué)研究資助課題《Intranet中IT技術(shù)支持專家系統(tǒng)研究與開發(fā)》（2010C0286）階段性研究成果。

參考文獻(xiàn)：

[1]張維勇、程凡、魏臻，一種綜合智能故障診斷方法的研究，合肥工業(yè)大學(xué)學(xué)報(bào)，2006，28（9）：1104-1107.

[2]鞠萬群、韓秋實(shí)，基于神經(jīng)網(wǎng)絡(luò)與規(guī)則庫的故障診斷專家系統(tǒng)[J].北京機(jī)械工業(yè)學(xué)院學(xué)報(bào)，2001（03）：6-8.

第7篇：對神經(jīng)網(wǎng)絡(luò)的理解范文

【關(guān)鍵詞】 T-S型模糊神經(jīng)網(wǎng)絡(luò) 儲(chǔ)糧害蟲 分類識別 Visual C++6.0

糧食的安全儲(chǔ)藏問題是個(gè)世界性難題。據(jù)聯(lián)合國糧農(nóng)組織的調(diào)查統(tǒng)計(jì)，全世界每年糧食霉變及蟲害等損失為糧食產(chǎn)量的8%[1]。因此，搞好糧食儲(chǔ)藏是一項(xiàng)關(guān)系到國計(jì)民生的重大課題，進(jìn)行儲(chǔ)糧害蟲的治理任務(wù)重大而迫切。準(zhǔn)確地給出害蟲的種類信息可為害蟲的綜合防治提供科學(xué)的決策依據(jù)。

模糊神經(jīng)網(wǎng)絡(luò)是模糊理論同神經(jīng)網(wǎng)絡(luò)相結(jié)合的產(chǎn)物，它的特點(diǎn)是將神經(jīng)網(wǎng)絡(luò)較強(qiáng)的自學(xué)習(xí)和聯(lián)想能力與模糊邏輯的推理過程易理解、對樣本要求較低的特點(diǎn)融合在一起，模糊理論和模糊系統(tǒng)理論上比通常意義下的模糊邏輯和神經(jīng)網(wǎng)絡(luò)更有優(yōu)越性，但是很難實(shí)現(xiàn)自適應(yīng)學(xué)習(xí)的功能。如果把神經(jīng)網(wǎng)絡(luò)引入到模糊理論中，將兩者有機(jī)結(jié)合，模糊系統(tǒng)能夠成為一種具有較強(qiáng)自學(xué)習(xí)能力的自適應(yīng)模糊系統(tǒng)，采用已有神經(jīng)網(wǎng)絡(luò)的有效學(xué)習(xí)算法，并吸收模糊系統(tǒng)的優(yōu)點(diǎn)，起到互補(bǔ)的效果。

1 T-S型模糊神經(jīng)網(wǎng)絡(luò)

1985年，T-S型模糊邏輯系統(tǒng)由日本的高木（Takagi）和關(guān)野（Sugeno）提出，旨在開發(fā)從給定的輸入-輸出數(shù)據(jù)集產(chǎn)生模糊規(guī)則的系統(tǒng)化方法，這種基于語言規(guī)則描述的模型第i條規(guī)則可寫為：

（1-1）

式（1-1）中，A是前件中的模糊集合，z是后件中的精確函數(shù)。通常是輸入變量x和y的多項(xiàng)式。當(dāng)是一階多項(xiàng)式時(shí)，所產(chǎn)生的模糊推理系統(tǒng)被稱為一階Sugeno模糊模型，當(dāng)為常數(shù)時(shí)，即得到了零階Sugeno模糊模型[2，3]。

專家知識被Sugeno模糊模型通過語言和數(shù)據(jù)整合到if-then規(guī)則中，基于T-S型的模糊神經(jīng)網(wǎng)絡(luò)綜合了模糊系統(tǒng)和神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，不但能夠?qū)崿F(xiàn)一個(gè)Sugeno模糊推理系統(tǒng)的功能[4，5]，實(shí)現(xiàn)圖像的模糊輸入和模糊推理，而且它能根據(jù)系統(tǒng)輸出的期望值和實(shí)際值的差別自動(dòng)生成和調(diào)整隸屬度函數(shù)和模糊規(guī)則。這種模糊神經(jīng)網(wǎng)絡(luò)應(yīng)用于儲(chǔ)糧害蟲分類，將更貼近于害蟲特征的形成過程，能取得較好的分類結(jié)果。

本實(shí)驗(yàn)采用的是一階Sugeno模糊模型，后件是一階線性方程。其隸屬函數(shù)生成層、模糊推理層為：

（1-2）

（1-3）

其中，表示生成的隸屬度函數(shù)，采用的是高斯函數(shù)。為參數(shù)對，它們稱為前件參數(shù)，取值情況決定了的形狀。表示模糊推理層，模糊推理采用的是積運(yùn)算，即各節(jié)點(diǎn)的輸出是輸入值的乘積。

反模糊化層采用一階Sugeno模糊模型的輸出。此時(shí)，令后件函數(shù)為，其模糊推理輸出：

（1-4）

學(xué)習(xí)算法采用誤差函數(shù)的負(fù)梯度下降方法，不斷更新網(wǎng)絡(luò)參數(shù)。第n個(gè)訓(xùn)練模式的誤差參數(shù)，可定義為

（1-5）

其中p為輸出單元的個(gè)數(shù)。

按照模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，可定義網(wǎng)絡(luò)參數(shù)向量：

（1-6）

參數(shù)更新修正規(guī)則：

（1-7）

其中為學(xué)習(xí)速率。

網(wǎng)絡(luò)分為4層：第1層為輸入層，代表儲(chǔ)糧害蟲的特征向量輸入網(wǎng)絡(luò)；第2層為模糊化層，完成輸入特征向量的模糊化，將輸入的特征向量分為3個(gè)等級{小（small），中（medium），大（large）}，隸屬函數(shù)為高斯函數(shù)；第3層為模糊推理層，以使對模糊化后的特征向量進(jìn)行綜合處理，采用積運(yùn)算，第4層是輸出層，它的輸出值即表示屬于此類的隸屬度。

2 試驗(yàn)過程

試驗(yàn)過程分為學(xué)習(xí)過程和回調(diào)過程。

學(xué)習(xí)過程：（1）確定分類數(shù)為9。確定訓(xùn)練的矢量數(shù)據(jù)，用各分量分別代表害蟲特征向量作為輸入。取每類害蟲的5個(gè)特征分量值作為訓(xùn)練數(shù)據(jù)的輸入矢量，從而完備訓(xùn)練數(shù)據(jù)，同時(shí)確定各個(gè)輸入矢量對應(yīng)的各類隸屬度輸出，構(gòu)成9個(gè)5輸入單輸出的模糊神經(jīng)網(wǎng)絡(luò)，每一個(gè)對應(yīng)一類的隸屬度輸出。（2）將數(shù)據(jù)送入各自單個(gè)的網(wǎng)絡(luò)訓(xùn)練，直至能模擬所有輸出。

回調(diào)過程：將待分類儲(chǔ)糧害蟲的特征向量送入網(wǎng)絡(luò)，得到各自的單個(gè)網(wǎng)絡(luò)的輸出，然后將輸出歸一化，得到最終的隸屬度輸出。

3 試驗(yàn)結(jié)果

利用Sugeno型模糊神經(jīng)網(wǎng)絡(luò)對6類儲(chǔ)糧害蟲進(jìn)行了分類研究。試驗(yàn)結(jié)果如（表1）所示。

4 Visual C++6.0平臺上實(shí)現(xiàn)識別

（圖1）是在儲(chǔ)糧害蟲圖像分類識別系統(tǒng)中對赤擬谷盜其中一個(gè)樣本的識別。

5 結(jié)語

運(yùn)用T-S型神經(jīng)網(wǎng)絡(luò)對儲(chǔ)糧害蟲進(jìn)行分類的識別率達(dá)到95.6%，并且利用Visual C++6.0平臺實(shí)現(xiàn)，操作簡單，可讀性好，具有較大的實(shí)際應(yīng)用價(jià)值。

參考文獻(xiàn)：

[1]黑龍江省大豆協(xié)會(huì).我國糧食儲(chǔ)藏的現(xiàn)況及發(fā)展趨勢.http：//.cn/news/index.php？id=1163

[2]Sugeno M.，Kang G.T.Structure identification of fuzzy model [J].Fuzzy Sets and Systems，1998，28：15-33.

[3]Takagi，M.Sugeno.Fuzzy identification of systems and its applications to modeling and control[J].IEEE Transaction on System，1985，15：116-132.

第8篇：對神經(jīng)網(wǎng)絡(luò)的理解范文

關(guān)鍵詞：人工智能；TensorFlow；BP神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）16-0199-03

Abstract：Based on Google's second generation of artificial intelligence learning system―TensorFlow， build a BP neural network model. Use handwritten characters as training set of inputs of neural network， constantly revise weight value and threshold value in the process of training， and get a higher identification precision of the model. It Embodies the TensorFlow’s effect in improving the efficiency of modeling， programming and analysis. Through introducing the development process， It provides reference which use TensorFlow building complex neural networks.

Key words：artificial intelligence； TensorFlow； BP neural networks

1 概述

目前，手寫字符的識別方法已經(jīng)有多種，如支持向量機(jī)、BP神經(jīng)網(wǎng)絡(luò)、KNN、樸素貝葉斯方法等。其中BP神經(jīng)網(wǎng)絡(luò)作為一種經(jīng)典的模式識別工具，應(yīng)用廣泛。將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于手寫字符識別，具有識別速度快、分類能力強(qiáng)、有較好的容錯(cuò)性能和學(xué)習(xí)能力的優(yōu)點(diǎn)。

TensorFlow是一個(gè)采用數(shù)據(jù)流圖，用于數(shù)值計(jì)算的開源軟件庫。它通過構(gòu)建有向圖來描述所要執(zhí)行的操作，可以靈活的使用設(shè)備中的CPU或者GPU展開計(jì)算。TensorFlow提供了構(gòu)建神經(jīng)網(wǎng)絡(luò)的接口，因此便于構(gòu)建BP神經(jīng)網(wǎng)絡(luò)，簡化編程任務(wù)。與傳統(tǒng)平臺構(gòu)建的識別模型相比，提高了效率。

2 TensorFlow深度學(xué)習(xí)平臺

2.1 TensorFlow平臺特性

TensorFlow使用靈活，無論是個(gè)人PC還是大規(guī)模GPU計(jì)算集群，TensorFlow都能夠靈活的在這些平臺運(yùn)行，使用 TensorFlow 表示的計(jì)算也可以在這些平臺上方便地移植。目前，TensorFlow已經(jīng)被應(yīng)用于機(jī)器學(xué)習(xí)系統(tǒng)，以及和計(jì)算機(jī)科學(xué)相關(guān)的領(lǐng)域，例如計(jì)算機(jī)視覺、語言識別、信息檢索、機(jī)器人、地理信息抽取、自然語言理解和計(jì)算藥物發(fā)現(xiàn)等。TensorFlow靈活的特性也可以用來表示很多的算法，比如推斷算法和深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練等。

TensorFlow采用數(shù)據(jù)流計(jì)算，其表達(dá)的數(shù)據(jù)流計(jì)算由一個(gè)有向圖表示，這個(gè)圖由一個(gè)節(jié)點(diǎn)集合組成。在一幅 TensorFlow 圖中，每個(gè)節(jié)點(diǎn)有一個(gè)或者多個(gè)輸入和零個(gè)或者多個(gè)輸出，表示一種操作的實(shí)例化。圖中的葉子節(jié)點(diǎn)通常為常量或者變量，非葉子結(jié)點(diǎn)為一種操作，箭頭代表的是張量（常量、變量以及節(jié)點(diǎn)計(jì)算出的結(jié)果均可視為張量）的流動(dòng)方向。

通過在Ubuntu系統(tǒng)上安裝TensorFlow庫、啟用GPU支持即可使用Python語言構(gòu)建計(jì)算圖，實(shí)現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的手寫字符識別。

2.2 TensorFlow平臺搭建

TensorFlow目前支持Ubuntu系統(tǒng)和MAC OS系統(tǒng)中安裝，支持C++和Python兩種編程語言?？紤]到Python語言的簡潔性，本實(shí)驗(yàn)采用Python進(jìn)行程序設(shè)計(jì)。

1）使用 Virtualenv 創(chuàng)建隔離容器安裝 TensorFlow，不會(huì)改變不同Python項(xiàng)目的依賴關(guān)系，便于進(jìn)行項(xiàng)目的管理，能使排查安裝問題變得更容易。

$ sudo apt-get install python-pip python-dev python-virtualenv

2）在Virtualenv環(huán)境下安裝TensorFlow的GPU版本：

創(chuàng)建圖：TensorFlow使用圖來表示計(jì)算任務(wù)，在執(zhí)行計(jì)算操作之前需要將圖構(gòu)建完成。每一個(gè)非葉子節(jié)點(diǎn)都視為一種操作，葉子節(jié)點(diǎn)則表示特殊的操作類型，比如返回常量值或者變量值。創(chuàng)建圖的最后階段需要向圖中添加一個(gè)初始化操作的節(jié)點(diǎn)，其作用是將所有的變量進(jìn)行初始化。

啟動(dòng)圖：圖創(chuàng)建完成后，才能啟動(dòng)圖。啟動(dòng)圖的第一步是創(chuàng)建一個(gè) Session 對象，如果無任何創(chuàng)建參數(shù)，會(huì)話構(gòu)造器將啟動(dòng)默認(rèn)圖。然后進(jìn)行變量的初始化操作、運(yùn)行操作節(jié)點(diǎn)、更新變量值。

3 BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。學(xué)習(xí)規(guī)則使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。由輸入層、隱含層和輸出層組成，層與層之間采用全連接方式，同層之間不存在相互連接。

3.1 BP神經(jīng)網(wǎng)絡(luò)

3.2 TensorFlow平臺實(shí)現(xiàn)

本實(shí)驗(yàn)采用MNIST手寫字符數(shù)據(jù)集，手寫字符為28×28像素的手寫數(shù)字灰度圖像。存儲(chǔ)在train-images-idx3-ubyte.gz和train-labels-idx1-ubyte.gz 文件中的60000幅手寫字符數(shù)據(jù)，55000幅作為訓(xùn)練集，5000幅作為驗(yàn)證集。測試集10000幅圖像的字符和標(biāo)簽存儲(chǔ)在t10k-images-idx3-ubyte.gz和t10k-labels-idx1-ubyte.gz中。

輸入層設(shè)計(jì)：手寫字符每一張圖片的大小為32×32，一維化后，每一張圖片作為輸入時(shí)需要784個(gè)輸入層神經(jīng)元節(jié)點(diǎn)，其中None表示輸入圖片的數(shù)目：

4 總結(jié)

目前，神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于學(xué)術(shù)界和工業(yè)界，但在構(gòu)建神經(jīng)網(wǎng)絡(luò)、優(yōu)化參數(shù)、模型分析方面總是存在著一定的困難。TensorFlow的出現(xiàn)使這種狀況得以改善。TensorFlow有著編程簡單、優(yōu)化算法集成度高、使用靈活的特性，利用TensorFlow將會(huì)使建模、編程、分析效率大大提高。實(shí)驗(yàn)以BP神經(jīng)網(wǎng)絡(luò)為例，介紹了TensorFlow平臺下神經(jīng)網(wǎng)絡(luò)模型構(gòu)建的一般方法和流程，并且得到了有較高識別精度的模型。對構(gòu)建更復(fù)雜的神經(jīng)網(wǎng)絡(luò)具有一定的參考意義。

參考文獻(xiàn)：

[1] Abadi M， Agarwal A， Barham P， et al. TensorFlow： Large-scale machine learning on heterogeneous systems， 2015[J]. Software available from tensorflow. org.

[2] 任翠池，楊淑瑩，洪俊.基于BP神經(jīng)網(wǎng)絡(luò)的手寫字符識別[J].天津理工大學(xué)學(xué)報(bào)，2006，22（4）：80-82.

[3] 張斌，趙瑋燁，李積憲.基于BP神經(jīng)網(wǎng)絡(luò)的手寫字符識別系統(tǒng)[J].蘭州交通大學(xué)學(xué)報(bào)：自然科學(xué)版， 2007，26（1）.

[4] 許宜申，顧濟(jì)華，陶智，等.基于改進(jìn) BP 神經(jīng)網(wǎng)絡(luò)的手寫字符識別[J].通信技術(shù)，2011， 44（5）： 106-109.

[5] 楊勇，謝剛生.基于BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別[J].華東地質(zhì)學(xué)院學(xué)報(bào)，2003，26（4）： 383-386.

[6] 金連文，徐秉錚.基于多級神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的手寫體漢字識別[J].通信學(xué)報(bào)，1997，18（5）.

第9篇：對神經(jīng)網(wǎng)絡(luò)的理解范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) ；BP網(wǎng)絡(luò)； 優(yōu)缺點(diǎn)； 改進(jìn)算法

【中圖分類號】 TP183 【文獻(xiàn)標(biāo)識碼】 B【文章編號】 1671-1297（2012）09-0196-02

思維學(xué)普遍認(rèn)為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，NN）就是模擬人思維的第二種方式。這是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，其特色在于信息的分布式存儲(chǔ)和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)從20世紀(jì)40年代末誕生至今僅短短半個(gè)多世紀(jì)，但由于它具有信息的分布存儲(chǔ)、并行處理以及自學(xué)習(xí)能力等優(yōu)點(diǎn)，已經(jīng)在信息處理、模式識別、智能控制及系統(tǒng)建模等領(lǐng)域得到越來越廣泛的應(yīng)用。

神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的單隱層前饋網(wǎng)絡(luò)，一般稱為三層前饋網(wǎng)或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。它的特點(diǎn)是：各層神經(jīng)元僅與相鄰層神經(jīng)元之間相互全連接，同層內(nèi)神經(jīng)元之間無連接，各層神經(jīng)元之間無反饋連接，夠成具有層次結(jié)構(gòu)的前饋型神經(jīng)網(wǎng)絡(luò)系統(tǒng)。單計(jì)算層前饋神經(jīng)網(wǎng)絡(luò)只能求解線性可分問題，能夠求解非線性問題的網(wǎng)絡(luò)必須是具有隱層的多層神經(jīng)網(wǎng)絡(luò)。

一 BP網(wǎng)絡(luò)

1986年，Rumelhart和Hinton提出了誤差反向傳播神經(jīng)網(wǎng)絡(luò)（Error Back Propagation Neural Network），簡稱BP網(wǎng)絡(luò)。它是一種能向著滿足給定的輸入輸出關(guān)心方向進(jìn)行自組織的神經(jīng)網(wǎng)絡(luò)。

1. BP網(wǎng)絡(luò)的原理

輸入層各神經(jīng)元負(fù)責(zé)接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個(gè)隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出信息處理結(jié)果。當(dāng)實(shí)際輸出與期望輸出不符時(shí)，進(jìn)入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。

2. BP網(wǎng)絡(luò)的特點(diǎn)

（1）輸入和輸出是并行的模擬量。

（2）網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法。

（3）權(quán)因子是通過學(xué)習(xí)信號調(diào)節(jié)的，這樣學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明。

（4）隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個(gè)別權(quán)因子的損壞不會(huì)對網(wǎng)絡(luò)輸出產(chǎn)生大的影響。

3. BP網(wǎng)絡(luò)的優(yōu)點(diǎn)

（1）網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。這使得它特別適合于求解內(nèi)部機(jī)制復(fù)雜的問題。

（2）網(wǎng)絡(luò)能通過學(xué)習(xí)帶正確答案的實(shí)例集自動(dòng)提取"合理的"求解規(guī)則，即具有自學(xué)習(xí)能力。

（3）網(wǎng)絡(luò)具有一定的推廣、概括能力。

4. BP網(wǎng)絡(luò)的缺點(diǎn)

BP算法的學(xué)習(xí)速度很慢，其原因主要有：

（1）由于BP算法本質(zhì)上為梯度下降法，而它所要優(yōu)化的目標(biāo)函數(shù)又非常復(fù)雜，因此，必然會(huì)出現(xiàn)"鋸齒形現(xiàn)象"，這使得BP算法低效；

（2）存在麻痹現(xiàn)象，由于優(yōu)化的目標(biāo)函數(shù)很復(fù)雜，它必然會(huì)在神經(jīng)元輸出接近0或1的情況下，出現(xiàn)一些平坦區(qū)，在這些區(qū)域內(nèi)，權(quán)值誤差改變很小，使訓(xùn)練過程幾乎停頓；

（3）為了使網(wǎng)絡(luò)執(zhí)行BP算法，不能用傳統(tǒng)的一維搜索法求每次迭代的步長，而必須把步長的更新規(guī)則預(yù)先賦予網(wǎng)絡(luò)，這種方法將引起算法低效。

網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大，其原因有：

（1）從數(shù)學(xué)角度看，BP算法為一種局部搜索的優(yōu)化方法，但它要解決的問題為求解復(fù)雜非線性函數(shù)的全局極值，因此，算法很有可能陷入局部極值，使訓(xùn)練失?。?/p>

（2）網(wǎng)絡(luò)的逼近、推廣能力同學(xué)習(xí)樣本的典型性密切相關(guān)，而從問題中選取典型樣本實(shí)例組成訓(xùn)練集是一個(gè)很困難的問題。

難以解決應(yīng)用問題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾。這涉及到網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問題，即學(xué)習(xí)復(fù)雜性問題。

網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定。為此，有人稱神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)選擇為一種藝術(shù)。而網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì)。因此，應(yīng)用中如何選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)重要的問題。

新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻畫每個(gè)輸入樣本的特征的數(shù)目也必須相同。

二 BP網(wǎng)絡(luò)的改進(jìn)算法

BP算法最優(yōu)化的方向主要有權(quán)值調(diào)整、自適應(yīng)學(xué)習(xí)速率調(diào)整、網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整等。常用的改進(jìn)方法有以下幾種：

1.加入動(dòng)量項(xiàng)

利用附加動(dòng)量的作用則有可能滑過局部極小值。該方法所加入的動(dòng)量實(shí)質(zhì)上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過程的振蕩趨勢，改善了收斂性，這是目前應(yīng)用比較廣泛的一種改進(jìn)算法。

2.自適應(yīng)學(xué)習(xí)速率調(diào)整

對于一個(gè)特定的問題，要選擇適當(dāng)?shù)膶W(xué)習(xí)速率并不是一件容易的事情。對訓(xùn)練開始初期功效很好的學(xué)習(xí)速率，不一定對后來的訓(xùn)練合適。為了解決這一問題，人們自然會(huì)想到在訓(xùn)練過程中自動(dòng)調(diào)整學(xué)習(xí)速率。

3.共軛梯度算法

在各種改進(jìn)算法中，共軛梯度法（Conjugate Gradient）是非常重要的一種。其優(yōu)點(diǎn)是所需存儲(chǔ)量小，具有N步收斂性，穩(wěn)定性高，而且不需要任何外來參數(shù)。

4.Levenberg-Marquart算法（最小二乘擬合算法）

除了改進(jìn)算法以外，通過改變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（隱層結(jié)點(diǎn)數(shù)和網(wǎng)絡(luò)層數(shù)）、調(diào)整誤差等方法，也能加快BP算法的收斂速度。

參考文獻(xiàn)