第五章第一節思想和原理
第二節模型和步驟
第三節應用和案例
第一節思想和原理
在當今社會，面臨許許多多的選擇或決策問題。人們通過分析各種影響因素，建立相應的數學模型，通過求解最優解來得到最佳方案。由於數學模型有較強的條件限制，導致得出的最佳方案與現實有較大誤差。
只有重新對各種因素進行分析，重新建立模型，這樣存在許多重複的工作，而且以前的一些經驗性的知識不能得到充分利用。為了解決這些問題，人們提出模擬人腦的神經網路工作原理，建立能夠「學習」的模型，並能將經驗性知識積累和充分利用，從而使求出的最佳解與實際值之間的誤差最小化。通常把這種解決問題的方法稱之為人工神經網路（artificial neural network）。
人工神經網路主要是由大量與自然神經細胞類似的人工神經元互聯而成的網路。各種實驗與研究表明：人類的大腦中存在著由巨量神經元細胞結合而成的神經網路，而且神經元之間以某種形式相互聯絡。
人工神經網路的工作原理大致模擬人腦的工作原理，它主要根據所提供的資料，通過學習和訓練，找出輸入與輸出之間的內在聯絡，從而求取問題的解。人工神經網路反映了人腦功能的基本特性，但並不是生物神經系統的逼真描述，只是一定層次和程度上的模仿和簡化。強調大量神經元之間的協同作用和通過學習的方法解決問題是人工神經網路的重要特徵。
人工神經網路是模仿生物神經網路功能的一種經驗模型，首先根據輸入的資訊建立神經元，通過學習規則或自組織等過程建立相應的非線性數學模型，並不斷進行修正，使輸出結果與實際值之間差距不斷縮小。人工神經網路通過樣本的「學習和培訓」，可記憶客觀事物在空間、時間方面比較複雜的關係，它能夠把問題的特徵反映在神經元之間相互聯絡的權值中，所以，把實際問題特徵引數輸入後，神經網路輸出端就能給出解決問題的結果。
神經網路的特點是，神經網路將資訊或知識分布儲存在大量的神經元或整個系統中。它具有全息聯想的特徵，具有高速運算的能力，具有很強的適應能力，具有自學習、自組織的潛力。另外，它有較強的容錯能力，能夠處理那些有雜訊或不完全的資料。
基於人工神經網路的多指標綜合評價方法通過神經網路的自學習、自適應能力和強容錯性，建立更加接近人類思維模式的定性和定量相結合的綜合評價模型。訓練好的神經網路把專家的評價思想以連線權的方式賦予於網路上，這樣該網路不僅可以模擬專家進行定量評價，而且避免了評價過程中的人為失誤。由於模型的權值是通過例項學習得到的，這就避免了人為計取權重和相關係數的主觀影響和不確定性。
反向傳播（back propagation, bp）神經網路是由rumelhart等人於2023年提出，它是一種多層次反饋型網路。基於bp人工神經網路的綜合評價方法具有運算速度快、問題求解效率高、自學習能力強、適應面寬等優點，較好地模擬了評價專家進行綜合評價的過程，因而具有廣闊的應用前景。
第二節模型和步驟
一、模型介紹
人工神經網路是對生物神經機制研究基礎上產生的智慧型仿生模型。處理單元，或稱之為神經元，是神經網路的最基本的組成部分。乙個神經網路系統中有許多處理單元，每個處理單元的具體操作都是從其相鄰的其他單元中接受輸入，然後產生輸出送到與其相鄰的單元中去。
神經網路的處理單元可以分為三種型別：輸入單元、輸出單元和隱含單元。輸入單元是從外界環境接受資訊，輸出單元則給出神經網路系統對外界環境的作用。
隱含單元則處於神經網路之中，它從網路內部接受輸入資訊，所產生的輸出則只作用於神經網路系統中的其它處理單元。隱含單元在神經網路中起著極為重要的作用。
最初的神經網路結構只由輸入層和輸出層。這種雙層神經網路能力極為有限。後來在這種雙層神經網路的基礎上，引入了中間隱含層形成了三層神經網路模型，這種三層神經網路模型大大提高了神經網路的能力。
神經網路的卓越能力來自於神經網路中各神經元之間的連線權。連線權一般地不能預先準確地確定，故神經網路應具有學習功能，也即能根據樣本模式逐漸調整權值，使神經網路具有卓越的處理資訊的功能。
神經網路的工作過程具有迴圈特徵。而在每個迴圈中又分為兩個階段，即工作期與學習期。在工作期期間，各神經元之間的連線權值不變，但計算單元的狀態發生變化。
此期間的特點是：進行速度快，故又稱為快過程，並稱此期間中的神經元處於短期記憶。在學習期期間，各計算單元的狀態不變，但對連線權值作修改。
此階段速度要慢得多，故又稱為慢過程，並稱此期間中的神經元處於長期記憶。
對事物的判斷分析必須經過乙個學習和訓練過程。2023年，hebb率先提出了改變神經元連線強度的學習規則。其過程是；將樣本（訓練）資料賦予輸入端，並將網路實際輸出與期望輸出相比較，得到誤差訊號，以此為依據來調整連線權值。
重複此過程，直到收斂於穩態。
2023年，rumelhart等人提出了誤差反向傳遞學習演算法（即bp演算法），bp網路是一種具有三層或三層以上的層次結構網路，相鄰上、下層之間各神經元實現權連線，即下層的每個神經元與上層的每個神經元都實現權連線，而每層各神經元之間無連線。換個角度看，bp演算法不僅有輸入層節點、輸出層節點，還可有1個或多個隱含層節點。對於輸入訊號，要先向前傳播到隱含層節點，經作用函式後，再把隱節點的輸出訊號傳播到輸出節點，最後給出輸出結果。
在bp演算法中，節點的作用的激勵函式通常選取s（sigmoid函式）型函式。
對於bp模型的輸入層神經元，其輸出與輸入相同。隱含層和輸出層的神經元的操作規則如下：
bp網路的輸入與輸出的關係是乙個「多輸入——多輸出」、且為高度非線性的影射關係。由於一般情況下難以寫出其表示式，故這是乙個「黑箱」。
增加層數主要可以進一步降低誤差，提高精度，但同時使網路複雜化，從而增加了網路權值的訓練時間。
誤差精度的提高實際上也可以通過增加隱層中的神經元數目來獲得，其訓練效果也比增加層數更容易觀察和調整，所以一般情況下，應先考慮增加隱層的神經元數目。
隱層單元數的選擇是乙個複雜的問題。隱層單元數過少不能識別以前沒有看見過的樣本，容錯性差；但隱層單元數過多，又會使學習時間過長，誤差也不一定最佳。通常做法是通過對不同神經元數進行訓練對比，然後適當地加上一點餘量。
bp演算法的學習過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入資訊從輸入層經隱含層逐層處理，並傳向輸出層。如果輸出層得不到期望的輸出，則轉入反向傳播，將誤差訊號沿原來的連線通道返回，通過修改各層神經元的權值，使得誤差訊號最小。
對多層網路進行訓練時，首先要提供一組訓練樣本，其中的每個樣本由輸入樣本和理想輸出對組成。樣本的實驗輸出作為期望輸出（理想輸出），計算得到的網路輸出為模型輸出（實際輸出）。當網路的所有實際輸出與理想輸出一致時，表明訓練結束。
否則，通過修正權值，使網路的理想輸出與實際輸出一致。
假設bp網路每層有n個處理單元，訓練集包含m個樣本對。
對第p個學習樣本(p＝1，2，…，m)，節點j的輸入總和記為netpj，輸出記為opj，則：
對於每個輸入樣本p，網路輸出與期望輸出(dpj)間的誤差為：
式中dpj 表示對第p個輸入樣本輸出單元j的期望輸出。
在bp網路學習過程中，輸出層單元與隱單元的誤差的計算是不同的。
bp網路的權值修正公式為：
wji = wji(t) + ηδpjopj
對於輸出節點：δpj = f′(netpj)(dpj – opj)
對於輸入節點：δpj = f′(netpj) σδpk wkj
上式中，引入學習速率η，是為了加快網路的收斂速度，但有時可能產生振盪。
通常權值修正公式中還需加乙個慣性引數α，從而有：
上式中，α為常數項，稱為勢態因子，它決定上一次的權值對本次權值更新的影響程度。
權值修正是在誤差反向傳播過程中逐層完成的。由輸出層誤差修正各輸出層單元的連線權值，再計算相連隱含層單元的誤差量，並修正隱含層單元連線權值。如此繼續，整個網路權值更新一次後，我們說網路經過乙個學習週期。
重複此過程，當各個訓練模式都滿足要求時，我們說bp網路已學習好了。
在網路的學習過程中，權重值是隨著迭代的進行而更新的，並且一般是收斂的。
二、bp網路的學習演算法步驟
1、初始化網路及學習引數，如設定網路初始權矩陣，學習因子η，勢態因子α等；
2、提供訓練模式，訓練網路，直到滿足學習要求；
3、前向傳播過程：對給定訓練模式輸入，計算網路的輸出模式，並與期望模式比較，若有誤差，則執行（4）；否則，返回（2）；
4、反向傳播過程：計算同一層單元的誤差，修正權值和閾值，返回（2）。
網路的學習是通過用給定的訓練集訓練而實現的。通常用網路的均方根誤差來定量地反映學習的效能。一般地，當網路的均方根誤差值低於0.1時，則表明對給定訓練集學習已滿足要求了。
bp神經網路的實質就是依據所提供的樣本資料，通過學習和訓練，抽取樣本所隱含的特徵關係，以神經元間連線權值的形式儲存專家的知識。具體地說，bp演算法的基本思想是將每次迭代的誤差訊號由輸出層經隱蔽層至輸入層反向傳播，調整各個神經元之間的連線權值，如此反覆迭代，直到誤差達到容許水平，這種調節過程具有自組織、自學習的特點。
基於bp網路的多指標綜合評價神經網路模型的設計如下：
bp網路的結構包括網路層數、輸入、輸出節點和隱節點的個數、連線方式，其中輸入層節點數m，即評價指標的個數；輸出層節點數n為1，即評價結果；隱含層節點數l=（m*n）1/2。隱含層的輸出函式為sigmoid變換函式，輸入和輸出層函式為線性函式。
具體地說，將用於多指標綜合評價的評價指標屬性值進行歸一化處理後作為bp網路模型的輸入，將評價結果作為bp網路模型的輸出，用足夠多的樣本訓練這個網路，使其獲取評價專家的經驗、知識、主觀判斷及對指標重要性的傾向。訓練好的bp網路模型根據待評價物件各指標的屬性值，就可得到對評價物件的評價結果，再現評價專家的經驗、知識、主觀判斷及對指標重要性的傾向，實現定性與定量的有效結合，保證評價的客觀性和一致性。
三、例項分析
現在用人工神經網路對電子行業企業的經濟效益進行綜合評價為例，講解人工神經網路的bp模型。
首先要將描述電子行業企業經濟效益綜合的基礎指標的屬性值作為人工神經網路的輸入向量，然後用足夠多的企業樣本向量訓練這個網路，使不同的輸入向量得到不同的輸出值，經過學習後確定相應的內部組權係數，最後根據輸入的企業經濟效益指標向量，可以得出該企業的經濟效益的綜合評價結果。
對各指標量化後，並得到綜合評價總指標的期望值。其中權重是由專家評判組反覆斟酌而定，如表5-2所示
應用上述的基於人工神經網路多指標綜合評價方法。本例的輸入層共有7個結點，輸出結點1個，隱層結點數選取10。將表5-2中的資料分為兩部分，前15組資料用作學習樣本，作為訓練神經元連線權值用，學習精度ε=10-4，後10組資料作為檢驗用。
經過5200次的學習，其學習結果見表5-3。
訓練結束後，給訓練好的bp網路分別輸入校驗資料，得到綜合評價經濟效益排序結果，見表5-4。
四、步驟總結
（1）確定評價指標集，指標個數為bp網路中輸入節點的個數。
（2）確定bp網路的層數，一般採用具有乙個輸入層、乙個隱含層和乙個輸出層的三層網路模型結構。
（3）明確評價結果，輸出層的節點數為1。
（4）對指標值進行標準化處理。
（5）用隨機數（一般為0-1之間的數）初試化網路節點的權值與網路閾值。
（6）將標準化以後的指標樣本值輸入網路，並給出相應的期望輸出。
（7）正向傳播，計算各層節點的輸出。
（8）計算各層節點的誤差。
（9）反向傳播，修正權重。
（10）計算誤差。當誤差小於給定的擬合誤差，網路訓練結束，否則轉到（7），繼續訓練。
（11）訓練還的網路權重就可以用於正式的評價。
需要注意的是，在綜合評價(決策)中，被評物件各個特徵指標之間一般沒有統一的度量標準，並且在很多場合下得到的特徵指標是定性描述而不是量值，在進行綜合評價前，應先對評價指標特徵值進行量化處理，按某種隸屬度函式將其歸一化到某一無量綱區間。
具體的計算過程，可以採用神經網路的軟體包，也可使用matlab等工具。
第三節應用案例選粹
一、bp神經網路在城市投資環境評價中的應用
城市投資環境評價對於城市發揮其投資環境優勢和制定投資環境改善對策措施是一項極為重要的工作。關於城市投資環境評價，不同專家學者給出了不同的評價方法，這些方法存在一些缺陷：或者缺乏自我學習能力，或者難以擺脫決策過程中的隨機性、主觀不確定性和認識的模糊性，或者未能充分利用評價指標體系包含的豐富資訊等。
針對此，這裡引入基於bp神經網路的城市投資環境評價方法，通過對已有樣本模式的學習，獲取評價專家的知識、經驗。
1、方法模型（1）bp神經網路模型
（2）評價指標標準化轉換器
多目標決策的乙個顯著特點是目標間的不可公度性，在評價前，應對評價指標通過標準化轉換器統一到[0，1]範圍內。
城市投資環境評價指標根據其屬性一般有以下幾種型別：成本型、效益型、適度型和區間型。
bp神經網路
實驗四計算智慧型 1 1 實驗目的 理解反向傳播網路的結構和原理，掌握反向傳播演算法對神經元的訓練過程，了解反向傳播公式。通過構建bp網路例項，熟悉前饋網路的原理及結構。2 實驗內容 編寫乙個bp神經網路程式，實現簡單的分類。3 實驗報告要求 1 簡述實驗原理及方法，並請給出程式設計流程圖。bp演算...
BP神經網路
目標函式 y sin 2x sin x x 5,5 其影象為 程式 clc clear all x 5 0.01 5 y sin pi x sin 2 x net newff minmax x 10,1 traingd net train net,x,y y1 sim net,x plot x,y ...
神經網路學習報告
1 什麼是神經網路？神經網路是一種應用類似於大腦神經突觸聯接的結構進行資訊處理的數學模型。它是由大量功能單一的神經元構成，具有很好的學習能力和泛化能力。神經元作為神經網路的基本構成單元，其主要由突觸 加法器以及啟用函式組成。突觸用於訊號的輸入，加法器用於將輸入訊號進行相應的計算，啟用函式用來限制神經...