本學期我們繼續討論學習了有關extreme learning machine (elm) 的一些基礎的及其擴充套件的**，對elm有了更深入的了解。由於elm中隱藏層和輸出層的權重分別是隨機和分析得到的，唯一不能確定的（需要人為指定的）是隱節點的個數，也就是網路結構的大小。結合討論的幾篇文章，本文對當前已有的有關elm的結構選擇方法進行了簡單的介紹和比較。
一． 結構選擇的必要性和重要性
在神經網路的研究中，如何確定網路結構一直是乙個公開問題。在模式識別中，我們都知道如果我們設計的網路太小，則它不能夠很好的擬合訓練資料，這樣的網路，我們肯定也不希望它能夠很好的擬合未見資料。另一方面，如果網路太大，它又可能會過擬合訓練資料，導致不能擬合未見資料。
另外，網路太大會造成計算更複雜，對執行環境提出了更高的要求。
elm是基於單隱藏層前饋型神經網路設計的，它的主要優勢在於計算複雜度低，是一種簡單和易於實現的方法。但是，在原始的elm中沒有提供乙個關於網路結構設計的有效的解，在大多數情況下，我們是通過多次試驗，以訓練誤差為標準來選出的適當的隱節點個數。這樣做，在很多應用中就變得很乏味而且很難找到乙個最優的解。
所以，很多研究人員改進了原始的elm，通過乙個學習演算法來計算所需隱節點的個數。
一般來說，對於slfns的構造有兩種啟發式的方法：一是構造的方法，也就是加節點的方法；另乙個就是剪枝的方法。目前已有的方法主要有以下幾種：
i-elm, em-elm, cs-elm, p-elm,和op-elm，前三種是構造的方法，後面兩個是剪枝的方法。接下來，對這幾種方法進行簡單的介紹和比較。
二． 構造方法
構造方法的主要思想就是先初始化乙個簡單（隱節點個數比所需要的少）的網路結構，然後乙個個或一組組的加隱節點。通過控制最大的隱節點個數和期望的誤差，來停止學習過程，進而得到所需的網路結構。主要有i-elm和em-elm，下面簡單的介紹這兩種方法。
i-elm 演算法：
給定乙個訓練集，啟用函式，最大的隱節點個數，期望的學習誤差：
step 1) 初始化過程：設定，殘差，其中。
step 2) 學習過程：當並且
a) 乙個個的增加隱節點；
b) 隨機設定新加入的隱藏層節點的權值和偏置；
c) 對於每乙個新加的隱節點，計算輸出權值：
；d) 計算新加入隱節點後的殘差。
在step 2 即學習過程開始前，網路中節點個數為0，殘差e初始化為訓練資料集的期望目標向量t. 當隱節點的個數大於預先設定的最大數或者殘差e小於等於期望誤差時，學習過程停止。
em-elm演算法：
與i-elm給出的前提條件一樣。
step 1 初始化階段
a) 初始化乙個具有個隱節點的slfn，其中是乙個人為給定的小的正整數；
b) 計算隱藏層輸出矩陣；
c) 計算相應的殘差；
step 2 學習過程，設定k=0；
當並且時
a) k=k+1;
b) 隨機的增加個隱節點，則總的隱節點數目變成，相應的隱藏層輸出矩陣；
c) 計算此時的殘差.
i-elm 演算法與em-elm演算法的比較：
它們的主要區別是：i-elm增加新的隱節點時，原有已存在的隱節點的輸出權值保持不變；但是當em-elm增加新的隱節點時，相應的輸出權值是一直重複更新的。
三． 剪枝方法
剪枝方法的主要思想是：先生成乙個具有比所必需的隱節點個數多的slfn，然後根據各種方法乙個個的剪掉不必要的隱節點，從而得出最優的網路結構。主要有p-elm和op-elm，下面介紹這兩種方法的主要內容。
p-elm演算法：
給定乙個訓練集d，啟用函式g，初始化的隱節點個數，乙個相關度閾值。
1） 把訓練集分成互不相交的學習集和驗證集；
2） 隨機設定隱節點引數，並計算隱藏層輸出矩陣h；
3） 用統計的方法或ig計算每個隱節點與類標的相關度，然後按降序排列；
4） 對於每乙個相關度閾值；
a) 找出滿足的的隱節點子集，並計算相應的驗證精度；
b) 計算；
5） 選擇對應的隱節點子集；
6） 重新訓練網路用整個訓練集和隱節點子集；
7） 用測試資料評價新的網路的效能。
op-elm演算法：
1） 構造slfn用原始的elm演算法；
2） 用多響應稀疏回歸演算法對隱節點進行排序；
3） 用留一交叉驗證選擇最優的隱節點個數。
p-elm演算法與op-elm演算法的比較：
這兩種方法的思路都是先根據某種方法對隱節點進行排序，然後再用一種結構選擇方法選擇所需要的隱節點個數。唯一的區別就是所用的方法不同。
四． 構造方法與剪枝方法的比較：
構造方法的主要思想就是，先構造乙個較小的網路，然後乙個個或一組組的加隱節點；剪枝方法是，先構造乙個比所需的隱節點個數大的網路，然後再乙個個的把不必要的剪掉。
對於剪枝演算法來說，我們很難確定開始構造的網路的大小，為了能找到最優的，往往我們構造了乙個比需要的大的多的網路，這樣就增加了計算複雜性，需要更多的訓練時間。
對於構造演算法來說，它們不能自動的獲得最優的網路結構，因為一般來說，構造演算法都是當隱節點個數達到乙個最大值或是小於乙個期望誤差時才停止；而隱節點個數的最大值和期望誤差都是人為確定的。
五． 總結
elm演算法採用不用迭代而是隨機產生隱藏層權值，然後分析決定輸出層權值的方法，大大的減少了學習時間，給很多應用帶來了方便。對elm唯一需要確定的隱節點個數，很多學者也有了這方面的研究，取得了不少的成果，比如以上講的構造方法和剪枝方法。但是，在這些結構選擇的方法中，一般都需要設定一些引數，比如構造方法中的最大隱節點個數和期望誤差，剪枝方法中的開始構造的網路大小，而這些引數一般都是很難確定的，不同的資料集這些引數有時差別還很大。
若是在構造網路結構時，不需要人為的設定一些引數，或者對不同的資料集引數設定都是一樣的，這樣的方法值得期待。
幾種常用數值積分方法的比較
學科分類號 110.3420 本科畢業 題目幾種常用數值積分方法的比較 姓名潘曉祥學號 1006020540200院 系 數學與電腦科學學院專業數學與應用數學年級2010 級 指導教師雍進軍職稱講師 二 一四年五月 貴州師範學院本科畢業 設計 誠信宣告 本人鄭重宣告 所呈交的本科畢業 設計 是本人在...
鋼結構方案的選擇與比較
機場二期擴建航站樓鋼結構屋蓋 與目前國內剛建成的幾個機場相比 如 機場二期工程 機場及上海浦東機場等 具有以下特點和難點 工程特點第 1 頁共 1 頁 一 工程特點 1 設計新穎 結構形式獨特 本工程航站樓鋼結構屋蓋呈 傘形 它由xx 榀跨度分別為xx m和xx m的空間曲線桁架組成，重量分別為xx...
選擇液壓扳手,比較實用的方法
woden沃頓驅動式和中空式液壓扳手怎樣選擇？客戶問的最多的問題之一就是，是選驅動扳手還是中空液壓扳手，哪種比較好用？下面woden沃頓給有興趣的朋友們解答一下吧。液壓扳手有驅動液壓扳手和中空式液壓扳手兩大系列。驅動式液壓扭矩扳手配合標準套筒使用，為通用型液壓扳手，適用範圍廣，woden沃頓每把驅動...