前言：中文期刊網精心挑選了神經網絡的魯棒性范文供你參考和學習，希望我們的參考范文能激發你的文章創作靈感，歡迎閱讀。

神經網絡的魯棒性范文1

【關鍵詞】上證指數 人工神經網絡 擬合度 實證分析

一、引言

隨著西方發達國家股票市場的興起，隨著時代的不斷進步和變遷，股票市場逐漸拓展至發展中國家和一些相對落后的國家。對于股票價格進行時間序列預測無論對于投資者，政策分析者等等都有非常重要的作用，然而股票價格是一個復雜多變，難以描述的序列，影響因素繁雜且有些難以量化，因此至今學者們仍在探索能更好的描述它的方法[1]。

近幾年計算智能技術在時間序列領域逐漸流行，作為一種新興的信息處理技術，計算智能技術現在已經成為重要的分析與預測工具。計算智能技術有普通統計方法所不能比擬的優點，它的預測更加精準，并且具有自學習、自組織、自適應的特征和簡單、通用、魯棒性強、適于并行處理的優點[2]。

在上面提到的計算智能技術中，最有名的當屬人工神經網絡，此模型在過去的二十年間有著很快的發展，因為其在認知的輸入和輸出的映射的表現公認的非常有效，甚至在面對一些難以判斷的不確切輸入輸出關系時，仍表現出很好的擬合行，因此現在成為了時間序列非線性方法中最常被使用的到模型，當然也成為了股票價格時間序列預測模型中較為有效的并常被使用的模型之一[3]。

不論是基于哪一種數學模型，現有的擬合方法往往過于追求樣本內的擬合精度，而忽略了擬合的模型在樣本外的表現。在實際應用中，往往需要更加精確的樣本外擬合度。因此本文基于樣本外擬合的精度，分別從長期和短期兩個時間維度考慮了神經網絡模型預測的表現及其魯棒性，得到了一些關于神經網絡模型的結論。

二、研究模型介紹

本文將要對智能計算方法中的人工神經網絡模型進行分析研究，下面就該模型的算法進行簡單介紹。

神經網絡是由大量的神經元按一定的拓撲結構和學習調整方法所構成的。神經元一般表現為一個多輸入、單輸出的非線性器件。

神經網絡代表了一種新的方法體系，所以它能在實際的應用中表現一些獨特的功能[6、8]。一般來說，神經網絡具有如下的四個基本的特點：強大的學習能力；分布式存儲信息；并行性，即并行的計算能力，可以處理快速實時的信息；非線性，即可以很好地模擬非線性系統。

神經網絡可以通過自身強大的學習能力，來獲取知識，神經網絡性能的改善是隨著時間一步步通過某種事先定義的量度來調整自身的參數的（比如權值）。一般來說，神經網絡主要有監督學習、無監督學習、強化學習三種。

三、數據選取

在眾多關于中國股票市場有效性的研究結果表明，中國的股票市場是一種漸進有效的市場或是一種半強有效市場，這樣股票價格基本上反映過去信息和公開信息。正是在如此的假設下，我們運用統計學的方法，從股票指數（股票價格加權和）入手來分析和預測股票市場。選擇從1998年12月23號開始的上證綜指收盤運用神經網絡模型進行了固定樣本內模型和滾動樣本內模型下的短期和長期的擬合預測。

四、實證結果

（一）固定模型下的神經網絡模型擬合分析

對從1998年12月23號開始的上證指數收盤價運用MATLAB進行神經網絡模型短期擬合預測。首先我們選取前1000個點進行樣本內的擬合，對后20個點進行短期預測，并依此以步長20向前滾動，共二十期。

應用MATLAB進行求解，對樣本內1000個點進行擬合，并按照擬合得到的模型對后20期以20為步長，向后滾動預測。

同樣，我們選取前1000個點進行樣本內的擬合，對后100個點（相當于5個月左右的數據）進行長期預測，并依此以步長100向前滾動，共二十期。

神經網絡的擬合度在短期內十分精準，可以到了80%以上，有的甚至達到了95%以上，并且未出現50%以下的擬合度，然而長期來看，擬合度的差別非常大，對于趨勢的判斷有時很準有時完全顛倒，預測擬合度的跨度從90%到-90%。波動性非常大，可見神經網絡對于達到一定長度的長期數據（五年以上）擬合的魯棒性很差，長期來看無法適應不斷變化的股市大盤。

（二）滾動模型下的神經網絡模型擬合分析

短期內，神經網絡模型擬合度仍然十分精準，可以到了80%以上，然而長期來看，由于樣本內數據的不斷更新，因此樣本外的擬合精度十分穩定，表現優異，平均擬合值達到了93%除了一項為60%多，其他均達到了80%以上。說明在半年的長度范圍內，人工神經網絡的擬合度很好，擬合可靠性較高。

五、結論

本文通過對上證指數1998年后的數據使用人工神經網絡進行了短期長期的滾動預測。發現在短期內，神經網絡模型的擬合效果一直很好。而在長期來看，人工神經網絡，對5年內的數據擬合度很高，然而更長的時間段內魯棒性不高，擬合度下降很快。

參考文獻

[1]顧嵐.時間序列分析預測與控制[M].北京：中國統計出版社.1997.

[2]KuanC.M and White，H.Artifieial Neural Networks：AN econometric Perspective （with discussion）[J].Econometrics Reviews，1994，（13）：l-143.

神經網絡的魯棒性范文2

關鍵詞：神經網絡；滯環；變流器

1引言

如何提高工業用電的效率和減小諧波污染已倍受關注。在工業用電中，大部分電能是要經過變換才能用于生產的。由于快速功率開關性能的進一步提高，基于脈寬調制功率變換電路已經日益成為人們提高供電系統功率因數，降低諧波污染的有力工具，因而成為人們研究的熱點。其中三相全控型電壓源功率變換裝置，主電路如圖1所示。經過十余年的研究，已經開始實用化[1,2]。三相變流器的最流行的控制方式是采用雙環控制。外環用于調整輸出電壓，快速的電流內環調節器常用來調節交流輸入電流使其跟蹤期望的電流軌跡，得到單位功率因數和低諧波的電流。

為提高系統的性能，采用神經網絡滯環調節器[4~6]。神經網絡控制作為一種極有潛力的控制手段吸引了眾多的學者，因神經網絡具有并行處理能力、自學習能力、容錯能力，很適合于處理非線性系統的控制問題。在相對變化較慢的速度、溫度、位置等物理量控制中取得成功的應用。但在速度較快的物理量的控制中，應用較少。

在電力電子學領域，神經網絡多用于系統模型辨識，故障診斷等。隨著DSP的運算速度的不斷增加，使神經網絡在快速量控制中應用成為可能。在各種變流器直接電流控制方式中，滯環控制是一種有效、簡單的控制方式，兩者的結合可以發揮各自的優勢。滯環電流控制方式不需要系統更多的參數，運行容易，具有快速的電流響應和限幅能力[7]。但系統開關頻率不固定，在嚴重的非平衡條件下，系統穩定性變差，產生大量的電流諧波，同時影響開關頻率的變化。本文所用調節器，可以提高系統的魯棒性。為了減少PWM技術在變換器中的損耗并獲得優化的輸出電流，減小EMI，采用矢量控制的基本思想[9]，給出基于滯環空間矢量控制方式的電流控制器。若使系統數字化，開關頻率可由采樣時間控制。

2基于神經網絡的電流滯環控制器

電流滯環控制器運行時無需系統的儲能器件的具體參數信息。用BP神經網絡來替代傳統電流滯環調節器，在滯環控制的基本控制思路上訓練一個神經網絡控制器來實現滯環控制控制的功能，導師信號如表1所示。基于神經網絡滯環控制的系統控制結構框圖如圖2。三相電流的誤差信號送入神經網絡中，參與計算，輸出開關信號S1，S3，S5，經過邏輯合成后加到主電路的驅動電路上。

圖2所示神經網絡調節器，該網絡有3層（3-5-3結構）。節點的作用函數采用Sigmoid函數

式中是第r步迭代時第k層第i個神經元節點對于第h個樣本輸入時輸出；為第r步時第k層第i個神經元節點對于第h個樣本輸入時所接收到的上1層（第k-1層）的輸入總和

點的閾值。

各點的權值Wij和閾值θij通過MATLAB軟件求出，通過DSP編程數字實現。Wij

圖3為系統在神經網絡滯環控制器作用下系統仿真與實驗波形。

圖3a為給出階越給定時三相電流的響應過程，表明該調節器具有較快的響應速度。

圖3b，c，d給出了正常工況時的開關波形，電流波形，系統的單位功率因數波形顯示。

圖3e繪出了三相電壓不平衡時的三相電流。電源參數為Ea=Eb=Ec/0.85。變流器基本保持了每相電壓電流的同相位。

通過波形可以看出神經網絡滯環控制器較好地實現了滯環控制器所有的基本功能。電流控制魯棒性好，電流響應快的優點，同時可以限制器件的最高開關頻率，提高了滯環系統抗不平衡能力。滿足系統單位功率因數和低諧波的要求，同時它還具有一個新的優點：當某個電流誤差信號丟失情況下仍然能正常工作。

3反饋丟失時的控制研究

反饋信號不正常是一種較為常見系統故障。常規數字滯環控制方案下，如果檢測環節有故障，某一相電流反饋信號丟失，那么系統不能正常工作，系統線電流響應仿真曲線如圖4a。但在神經網絡控制電路中，由于神經網絡的參與，調節器對單路反饋信號丟失具有一定的抑制作用。控制器檢測電流反饋信號，如果連續3個周期檢測到電流反饋信號為0，那么可確認反饋信號丟失，此時將該通道電流誤差設為0，參與神經網絡滯環調節器的運算，輸出控制信號。系統實驗波形如圖4(b)~(d)，系統仍可以得到較好的輸入電流與輸出電壓波形，這主要歸功于神經網絡的數據并行處理能力。從圖4(b)~(d)中可以看出系統的電壓電流響應還是較好的，對于單輸入信號丟失的穩態電流波形顯示出了很強的魯棒性。而在同樣參數的常規滯環電流控制下，當Dia丟失時，系統不能穩定工作。

4電流誤差增益在線修正

從控制的效果來講，如果滯環控制的容差帶越小，那么系統輸入電流的諧波成分就越小，THD值越接近于零。然而控制中由于系統參數的約束，如果容差帶設計過小，系統難以實現，反而使得諧波成分增加。可以就額定負載下可以實現的容差帶進行分析，然后留取一定的裕量，作為額定容差帶，保證系統的條件能力。在控制中選擇1.2倍的額定負載時允許的容差帶作為導師信號中的δ值。

假設主電路3相參數對稱，輸入為理想三相正弦電壓源，任意時刻總有三個開關處于開狀態，另三個處于關狀態。上下橋臂不能同時導通。這樣，變流器的開關狀態便形成8個開關函數。開關函數定義為如下：

di=(i=1,3,5)=1,當Si(i=1,3,5)導通，Sj(j=2,4,6)關斷。di=0，當Si關斷，Sj導通。

在1個開關周期內，假設占空比為Di。di=1時，輸入端向負載端輸出能量，電感電流減小；di=0時，輸入電感存儲能量，電感電流增加，電流波形如圖5。

階段1：

具有固定滯環帶的電流控制方式有一些缺點。在滯環帶范圍內，由峰-峰電流的波動而產生的PWM頻率的變化受基波波動的控制，同時，電流誤差沒有嚴格的控制。滯環控制系統中，滯環容差帶是根據系統交流電流的額定工作點定的。這樣，系統在低電流工作時，電流噪聲成分相對增加，系統頻譜變差。因此，根據靜態工作點的改變，相應改變系統的滯環容差帶，可以保證系統電流頻譜不隨功率變化而變，這種思想較為適合負載變動頻繁的工作場合。系統的靜態工作點的分析可以通過檢測直流輸出來得到，但不是最佳的方案，因為時間工作過程中系統負載特性可能較為復雜，阻性、感性、容性是不可預測的，暫態過程中輸出電流與電壓的相位難以維持相同。對于高頻實時控制來講，可以通過FFT算法來分析系統的功率輸出獲負載特性，但應用該方案負載程度增加。本文提出一種較為簡單的控制方案。

將可逆變流器的三相靜態電壓量變換到兩相旋轉dq坐標系中，有

由于滯環控制可以控制系統功率因數為1，因此經過3/2變換后，輸入有功功率是與d軸電流id成正比的，iq應該為0。設為id的標幺值，取額定負載時id的標幺值為1，所以在圖2所示的基本控制器中，令，其中k在實現時要加下限幅。

則輸入到神經網絡中的電流為

nin=ki(6)

5空間矢量調制神經網絡控制器

這里Vk是變流器的電壓矢量。

任意時刻變流器期望端電壓Vr的相角對應于了復平面上6個區域中的1個。Vr可由給定區域內的鄰近矢量來構成，從而降低電磁噪聲和開關次數[8]。

通過后面的仿真和實驗我們可以看到滯環神經網絡控制器結構簡單，由于系統屬于數字化實現，最高開關頻率是固定的，在這一點上使得系統參數易于設計。但滯環控制開關的狀態是難以確定的。因此變流器期望電壓矢量一般不是由相鄰的矢量構成Vr的，任意時刻開關的狀態不可預知。

在滯環控制過程中，結合空間矢量調制原理，根據系統滯環條件的需要及系統此時期望矢量的位置來修正開關波形，形成如表2所示導師信號。導師信號中z區確定如圖8a所示，經過這種修正后系統穩態時電流控制器所產生的開關隨時間而呈現空間矢量調制的特點，圖8b所示為空間矢量滯環調節穩態工作時開關波形，可以看出穩態時開關按照規律由同一區域的開關矢量來合成。

式中Vs是電壓源矢量；i*s參考電流矢量。

6仿真與實驗說明

系統中的參考電流可由下面的方程得到

I*=P*/E

這里E可由整流濾波取平均值的方式得到。

參考電壓Uref同輸出電壓Uo的差值經PI調節后，取其為電流峰值參考，再分別與三相的同步信號相乘，得到內環電流的參考信號I*，得到瞬時參考電流給定ijcom(j=a,b,c)，再與實際相電流ij相比較得到電流誤差信號ij，與K相乘然后輸入神經網絡控制器，神經網絡的輸出即為開關信號算法由DSP（TiTMS320c240[9]）來實現。主要參數及檢測設備如下：

7結論

本文研究了三相變流器的神經網絡控制方案。①將神經網絡控制技術與電力電子電路滯環控制結合起來，實現了神經網絡在快速變化量控制中的應用，可以提高系統魯棒性與控制的容錯能力，在三相輸入電源不平衡和某一相負載電流反饋丟失時，系統依然保持較好的控制性能；②評估系統負載特性，并根據負載的變化而改變電流誤差增益，有助于提高系統電流控制性能，全程優化諧波，算法較為簡單；③容差帶與負載特性、開關頻率有機結合，才能保證系統的調節能力；④為了減小開關頻率和開關損失，采用了將空間矢量調制運用到滯環控制中的技術，由于采用數字神經網絡進行調節，易于實現。

參考文獻

[1]鄔偉揚，鄭穎楠，劉彥民（WuWeiyang，ZhengYingnang，LiuYanmin）．AC/DC功率變流技術的發展與現狀（AreviewofAC/DCpowerconversiontechnique）[R]．西安：中國電力電子技術學會五屆一次理事會學術報告（xi’an：DissertationofChinapowerelectroniccouncilconference），1999．

[2]WeiyangWu，YingnanZheng，etal．Anovelindireetcurrentcontrolledrealizationforthethreephasevoltagesoureereversibleconverter[C]．IPEMC’2000August2000，TsinghuaUniversityBeijing，China.

[3]KiTaePark，JunKooKang，SeungKiSul．AnalysisanddesignofthreephaseboostPWMconverteragainstpowerdisturbances[C]．1997，774-776．

[4]FumioHarashima，etal．Applicationofneuralnetworkstopowerconvertercontrol[C]．Conf.Rec.IEEE-IASAnnu.Meeting,Conf.Rxc,1989，1087-1091．

[5]KamranF．Animproveddead-beatrectifierregulatorusinganeuralnetpredictor[C]．IEEE，PESC，1994，1431-1436．

[6]MalesaniL．AnovelhysteresiscontrolmethodforcurrentcontrolledvoltagesourcePWMinverterwithconstantmodulationfrequency[J]．IEEETransationsonIA，1990，26(1)：88-92．

神經網絡的魯棒性范文3

本文研究Hopfield神經網絡的特點，并結合進化算法或啟發式算法，設計出一個基于Hopfield神經網絡的混合分類算法，并在實際數據集進行驗證，以期提出的算法既具有一定魯棒性，又要具有較高的分類精度，并且能夠充分發揮Hopfield神經網絡的自聯想特性，具有較好的容錯性和普適性。

【關鍵詞】

Hopfield神經網絡；粒子群優化算法；自聯想特性

隨著信息產業的普及，數據存儲的增大，數據挖掘技術作為一種前沿技術，越來越受到人們的重視。分類算法作為一種重要的數據挖掘算法，在各個領域中都有著重要的應用。

本文采用BV算法，一定程度上克服了離散型Hopfield神經網絡本身所具有的局限性，并且保留了其在自聯想等方面的優點，設計出帶有粒子群優化過程的Hopfield分類算法（下文簡稱PSO-HOP算法）。

1 數據預處理

使用離散型Hopfield神經網絡進行分類首先就要解決如何在神經網絡中反映各個屬性值及類標號的問題。

2 Hopfield訓練過程

為了克服傳統Hopfield的不足，本文采用了BV算法。該算法能夠克服傳統訓練算法容量低的問題，并且保留原有算法的優點。該方法是基于局部的，而且對模式的要求較少，但是該方法要求對訓練樣本進行一定數量的呈現，以保證訓練模式的穩定性。通過有限次數的展示后，該算法確保對于每個模式找到一個合適的權重矩陣（如果該矩陣存在）。

3 Hopfield評價方法

這里描述的Hopfield評價方法即為類標號確定方法，在前面提到的Hopfield訓練過程中、后面PSO優化過程中的適應值計算以及最后對該分類算法進行測試的過程中都要采用該方法。其中主要體現了離散型Hopfield神經網絡的自聯想特性，使之能夠從噪聲數據中聯想出有意義的模式。

4 PSO優化過程

雖然前文介紹的分類算法和測試算法已經能夠初步地實現了分類，但是由于神經網絡容易出現陷入局部最優值的情況，從而影響分類算法的精度。為此本文引入了離散型粒子群優化算法用來優化Hopfield神經網絡的拓撲結構，提高分類精度。

使用離散型粒子群優化算法優化神經元分配的具體流程為：首先，初始化粒子，每個粒子包括使用個體最佳值，個體當前值，個體最佳值的位置，一個使用浮點數表示的當前位置，以及一個使用0-1變量表示的當前狀態，1表示被分配神經元而0表示未被分配神經元。然后隨機化用浮點數表示的當前位置。隨后開始循環，每個粒子根據式（3-3）更新浮點數位置，再使用式（3-4）生成0-1當前狀態，并對其進行一定的約減和增補，使之不超過最大可分配的神經元數目。再跟據屬性狀態，生成Hopfield神經網絡，并進行訓練和測試，根據測試的結果更新個體當前適應值，并比較個體當前適應值和個體最優值以及群體最優值。若個體當前適應值優于個體最優值則，更新個體最優值及其位置，若個體當前適應值優于群體最優值，則更新群體最優值及其位置，并將重新隨機生成該粒子的當前位置以防止陷入局部最優值。通過這樣循環下去，即可找出在當前可分配神經元數目下的最優神經網絡拓撲結構。

5 算法整體流程

PSO-HOP算法的整體流程如圖1所示，其中，讀取分類信息是指程序讀取樣本的屬性信息，包括屬性的個數、每個屬性的所有可能值以及訓練樣本數等。而在讀取訓練集和讀取測試集的過程中，程序會根據分類信息以及當前神經元的分配方案將讀取的數據集轉換成和神經網絡一樣的結構并進行數據預處理以方便后面的訓練和測試。

本文通過對Hopfield神經網絡的改進，實現了使用Hopfield神經網絡作為分類算法，設計出了PSO-HOP算法。該算法具有較高的分類精度和魯棒性，并可以通過建模結果了解數據集的不同屬性的重要程度，有助于們對于數據集的理解和研究。

【參考文獻】

[1] Han J W，Micheline K.Data Mining[M].北京：機械工業出版社，2007.285-382.

[2]張青貴.人工神經網絡導論[M].北京：中國水利水電出版社，2004.11-124.

神經網絡的魯棒性范文4

（江蘇科技大學電子信息學院，江蘇鎮江212003）

摘要：在實際交通環境中，由于運動模糊、背景干擾、天氣條件以及拍攝視角等因素，所采集的交通標志的圖像質量往往不高，這就對交通標志自動識別的準確性、魯棒性和實時性提出了很高的要求。針對這一情況，提出一種基于深層卷積神經網絡的交通標志識別方法。該方法采用深層卷積神經網絡的有監督學習模型，直接將采集的交通標志圖像經二值化后作為輸入，通過卷積和池采樣的多層處理，來模擬人腦感知視覺信號的層次結構，自動地提取交通標志圖像的特征，最后再利用一個全連接的網絡實現交通標志的識別。實驗結果表明，該方法利用卷積神經網絡的深度學習能力，自動地提取交通標志的特征，避免了傳統的人工特征提取，有效地提高了交通標志識別的效率，具有良好的泛化能力和適應范圍。

關鍵詞 ：交通標志；識別；卷積神經網絡；深度學習

中圖分類號：TN911.73?34；TP391.41 文獻標識碼：A 文章編號：1004?373X（2015）13?0101?06

收稿日期：2015?01?09

基金項目：國家自然科學基金面上項目（61371114）

0 引言

隨著智能汽車的發展，道路交通標志的自動識別[1?3]作為智能汽車的基本技術之一，受到人們的高度關注。道路交通標志識別主要包括兩個基本環節：首先是交通標志的檢測，包括交通標志的定位、提取及必要的預處理；其次是交通標志的識別，包括交通標志的特征提取和分類。

如今，交通標志的識別方法大多數都采用人工智能技術，主要有下述兩類形式[4]。一種是采用“人工特征+機器學習”的識別方法，如基于淺層神經網絡、支持向量機的特征識別等。在這種方法中，主要依靠先驗知識，人工設計特征，機器學習模型僅負責特征的分類或識別，因此特征設計的好壞直接影響到整個系統性能的性能，而要發現一個好的特征，則依賴于研究人員對待解決的問題的深入理解。另一種形式是近幾年發展起來的深度學習模型[5]，如基于限制波爾茲曼機和基于自編碼器的深度學習模型以及卷積神經網絡等。在這種方法中，無需構造任何的人工特征，而是直接將圖像的像素作為輸入，通過構建含有多個隱層的機器學習模型，模擬人腦認知的多層結構，逐層地進行信息特征抽取，最終形成更具推廣性和表達力的特征，從而提升識別的準確性。

卷積神經網絡作為深度學習模型之一，是一種多層的監督學習神經網絡，它利用一系列的卷積層、池化層以及一個全連接輸出層構建一個多層的網絡，來模仿人腦感知視覺信號的逐層處理機制，以實現視覺特征信號的自動提取與識別。本文將深層卷積神經網絡應用于道路交通標志的識別，通過構建一個由二維卷積和池化處理交替組成的6層網絡來逐層地提取交通標志圖像的特征，所形成的特征矢量由一個全連接輸出層來實現特征的分類和識別。實驗中將加入高斯噪聲、經過位移、縮放和旋轉處理的交通標志圖像以及實際道路采集交通標志圖像分別構成訓練集和測試集，實驗結果表明，本文所采用的方法具有良好的識別率和魯棒性。

1 卷積神經網絡的基本結構及原理

1.1 深度學習

神經科學研究表明，哺乳動物大腦皮層對信號的處理沒有一個顯示的過程[5]，而是通過信號在大腦皮層復雜的層次結構中的遞進傳播，逐層地對信號進行提取和表述，最終達到感知世界的目的。這些研究成果促進了深度學習這一新興研究領域的迅速發展。

深度學習[4，6?7]的目的就是試圖模仿人腦感知視覺信號的機制，通過構建含有多個隱層的多層網絡來逐層地對信號特征進行新的提取和空間變換，以自動學習到更加有效的特征表述，最終實現視覺功能。目前深度學習已成功地應用到語音識別、圖像識別和語言處理等領域。在不同學習框架下構建的深度學習結構是不同的，如卷積神經網絡就是一種深度的監督學習下的機器學習模型。

1.2 卷積神經網絡的基本結構及原理

卷積神經網絡受視覺系統的結構啟發而產生，第一個卷積神經網絡計算模型是在Fukushima 的神經認知機中提出的[8]，基于神經元之間的局部連接和分層組織圖像轉換，將有相同參數的神經元應用于前一層神經網絡的不同位置，得到一種平移不變神經網絡結構形式。后來，LeCun 等人在該思想的基礎上，用誤差梯度設計并訓練卷積神經網絡[9?10]，在一些模式識別任務上得到優越的性能。

卷積神經網絡本質上是一種有監督的深度學習算法，無需事先知道輸入與輸出之間精確的數學表達式，只要用已知的模式對卷積神經網絡加以訓練，就可以學習到輸入與輸出之間的一種多層的非線性關系，這是非深度學習算法不能做到的。卷積神經網絡的基本結構是由一系列的卷積和池化層以及一個全連接的輸出層組成，可以采用梯度下降法極小化誤差函數對網絡中的權值和閾值參數逐層反向調節，以得到網絡權值和閾值的最優解，并可以通過增加迭代次數來提高網絡訓練的精度。

1.2.1 前向傳播

在卷積神經網絡的前向傳播中，輸入的原始圖像經過逐層的卷積和池化處理后，提取出若干特征子圖并轉換成一維特征矢量，最后由全連接的輸出層進行分類識別。

在卷積層中，每個卷積層都可以表示為對前一層輸入圖像的二維卷積和非線性激勵函數，其表達式可用式（1）表示：

式中：Yj 表示輸出層中第j 個輸出；Y l + 1i 是前一層（l + 1層）

的輸出特征（全連接的特征向量）；n 是輸出特征向量的長度；Wij 表示輸出層的權值，連接輸入i 和輸出j ；bj表示輸出層第j 個輸出的閾值；f (?) 是輸出層的非線性

1.2.2 反向傳播

在反向傳播過程中，卷積神經網絡的訓練方法采用類似于BP神經網絡的梯度最速下降法，即按極小化誤差的方法反向傳播調整權值和閾值。網絡反向傳播回來的誤差是每個神經元的基的靈敏度[12]，也就是誤差對基的變化率，即導數。下面將分別求出輸出層、池采樣層和卷積層的神經元的靈敏度。

（1）輸出層的靈敏度

對于誤差函數式（6）來說，輸出層神經元的靈敏度可表示為：

在前向傳播過程中，得到網絡的實際輸出，進而求出實際輸出與目標輸出之間的誤差；在反向傳播過程中，利用誤差反向傳播，采用式（17）~式（20）來調整網絡的權值和閾值，極小化誤差；這樣，前向傳播和反向傳播兩個過程反復交替，直到達到收斂的要求為止。

2 深層卷積神經網絡的交通標志識別方法

2.1 應用原理

交通標志是一種人為設計的具有特殊顏色（如紅、黃、白、藍、黑等）和特殊形狀或圖形的公共標志。我國的交通標志主要有警告、禁令、指示和指路等類型，一般采用顏色來區分不同的類型，用形狀或圖形來標示具體的信息。從交通標志設計的角度來看，屬于不同類型（不同顏色）的交通標志在形狀或圖形上有較大的差異；屬于相同類型（相同顏色）的標志中同類的指示信息標志在形狀或圖形上比較接近，如警告標志中的平面交叉路口標志等。因此，從機器視覺的角度來分析，同類型中同類指示信息的標志之間會比不同類型的標志之間更易引起識別錯誤。換句話說，相比于顏色，形狀或圖形是正確識別交通標志的關鍵因素。

因此，在應用卷積神經網絡識別交通標志時，從提高算法效率和降低錯誤率綜合考慮，將交通標志轉換為灰度圖像并作二值化處理后作為卷積神經網絡的輸入圖像信息。圖2給出了應用卷積神經網絡識別交通標志的原理圖。該網絡采用了6層交替的卷積層和池采樣層來逐層提取交通標志的特征，形成的特征矢量由一個全連接的輸出層進行識別。圖中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分別表示卷積層L1,L3,…,Ln - 1 的卷積核；Input表示輸入的交通標志圖像；

Pool表示每個池采樣層的采樣池；map表示逐層提取的特征子圖；Y 是最終的全連接輸出。

交通標志識別的判別準則為：對于輸入交通標志圖像Input，網絡的輸出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，則Input ∈ j，即判定輸入的交通標志圖像Input為第j 類交通標志。

2.2 交通標志識別的基本步驟

深層神經網絡識別交通標志主要包括交通標志的訓練與識別，所以將交通標志識別歸納為以下4個步驟：（1） 圖像預處理：利用公式Gray= 0.299R +0.587G + 0.114B 將彩色交通標志圖像轉換為灰度圖像，再利用鄰近插值法將交通標志圖像規格化，最后利用最大類間方差將交通標志圖像二值化。

（2）網絡權值和閾值的初始化：利用隨機分布函數將權值W 初始化為-1~1之間的隨機數；而將閾值b 初始化為0。

（3）網絡的訓練：利用經過預處理的交通標志圖像構成訓練集，對卷積神經網絡進行訓練，通過網絡前向傳播和反向傳播的反復交替處理，直到滿足識別收斂條件或達到要求的訓練次數為止。

（4）交通標志的識別：將實際采集的交通標志圖像經過預處理后，送入訓練好的卷積神經網絡中進行交通標志特征的提取，然后通過一個全連接的網絡進行特征分類與識別，得到識別結果。

3 實驗結果與分析

實驗主要選取了我國道路交通標志的警告標志、指示標志和禁令標志三類中較常見的50幅圖像。考慮到在實際道路中采集到的交通標志圖像會含有噪聲和出現幾何失真以及背景干擾等現象，因此在構造網絡訓練集時，除了理想的交通標志以外，還增加了加入高斯噪聲、經過位移、旋轉和縮放處理和實際采集到的交通標志圖像，因此最終的訓練樣本為72個。其中，加入的高斯噪聲為均值為0，方差分別為0.1，0.2，0.3，圖像的位移、旋轉、縮放的參數分別隨機的分布在±10，±5°，0.9~1.1的范圍內。圖3給出了訓練集中的交通標志圖像的示例。圖4是在實際道路中采集的交通標志圖像構成的測試集的示例。

在實驗中構造了一個輸入為48×48個神經元、輸出為50 個神經元的9 層網絡。網絡的輸入是像素為48 × 48 的規格化的交通標志圖像，輸出對應于上述的50種交通標志的判別結果。網絡的激活函數采用S型函數，如式（2）所示，其輸出范圍限制在0~1之間。

圖6是交通標志的訓練總誤差EN 曲線。在訓練開始的1 500次，誤差能迅速地下降，在迭代2 000次以后是一個平穩的收斂過程，當迭代到10萬次時，總誤差EN可以達到0.188 2。

在交通標志的測試實驗中，為了全面檢驗卷積神經網絡的識別性能，分別針對理想的交通標志，加入高斯噪聲、經過位移、旋轉和比例縮放以及采集的交通標志圖像進行實驗，將以上測試樣本分別送入到網絡中識別，表2給出了測試實驗結果。

綜合分析上述實驗結果，可以得到以下結論：（1）在卷積神經網絡的訓練學習過程中，整個網絡的誤差曲線快速平穩的下降，體現出卷積神經網絡的訓練學習具有良好的收斂性。

（2）經逐層卷積和池采樣所提取的特征具有比例縮放和旋轉不變性，因此對于旋轉和比例縮放后的交通標志能達到100%的識別率。

（3）與傳統的BP網絡識別方法[11]相比較，卷積神經網絡能夠達到更深的學習深度，即在交通標志識別時能夠得到更高的所屬類別概率（更接近于1），識別效果更好。

（4）卷積神經網絡對實際采集的交通標志圖像的識別率尚不能達到令人滿意的結果，主要原因是實際道路中采集的交通標志圖像中存在著較嚴重的背景干擾，解決的辦法是增加實際采集的交通標志訓練樣本數，通過網絡的深度學習，提高網絡的識別率和魯棒性。

4 結論

本文將深層卷積神經網絡應用于道路交通標志的識別，利用卷積神經網絡的深層結構來模仿人腦感知視覺信號的機制，自動地提取交通標志圖像的視覺特征并進行分類識別。實驗表明，應用深層卷積神經網絡識別交通標志取得了良好的識別效果。

在具體實現中，從我國交通標志的設計特點考慮，本文將經過預處理二值化的圖像作為網絡的輸入，主要是利用了交通標志的形狀信息，而基本略去了顏色信息，其優點是在保證識別率的基礎上，可以簡化網絡的結構，降低網絡的計算量。在實際道路交通標志識別中，將形狀信息和顏色信息相結合，以進一步提高識別率和對道路環境的魯棒性，是值得進一步研究的內容。

此外，本文的研究沒有涉及到道路交通標志的動態檢測，這也是今后可以進一步研究的內容。

參考文獻

[1] 劉平華，李建民，胡曉林，等.動態場景下的交通標識檢測與識別研究進展[J].中國圖象圖形學報，2013，18（5）：493?503.

[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.

[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.

[4] 中國計算機學會.深度學習：推進人工智能夢想[EB/OL].[2013?06?10].http：//ccg.org.cn.

[5] 鄭胤，陳權崎，章毓晉.深度學習及其在目標和行為識別中的新進展[J].中國圖象圖形學報，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.

[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.

[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.

[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.

[11] 楊斐，王坤明，馬欣，等.應用BP神經網絡分類器識別交通標志[J].計算機工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.

[13] 周開利，康耀紅.神經網絡模型及其Matlab 仿真設計[M].北京：清華大學出版社，2005.

[14] 孫志軍，薛磊，許陽明，等.深度學習研究綜述[J].計算機應用研究，2012，29（8）：2806?2810.

[15] 劉建偉，劉媛，羅雄麟.深度學習研究進展[J].計算機應用研究，2014（7）：1921?1930.

神經網絡的魯棒性范文5

關鍵詞：神經網絡，內燃機性能，模型，自適應性

一、概述

內燃機是一個復雜、非線性、多變量、不易建模的龐大系統，同時又具有時滯和干擾等特點。因此，單純依靠實驗來研究，耗時多、費用大、更改實驗條件不靈活。神經網絡通過學習后，能從大量的性能測驗數據中找出內燃機的性能參數與內燃機狀態變量之間的隱含非線性映射關系，然后對這種關系進行展開分析研究，就能尋找改善內燃機性能的有效途徑。

二、神經網絡

人工神經網絡是指利用工程技術手段模擬人腦神經網絡的結構和功能的一種技術系統，是一種大規模并行的非線性動力學系統。導入一定的輸入、輸出信號值后，網絡就會根據輸入和輸出，并結合設定的理想誤差不斷地調節自己的各節點之間的連接權值來滿足輸入和輸出。

1、神經網絡的基本要素（見圖一）

1）一組連接，連接強度由各連接上的權值表示，權值為正表示激活，為負表示抑制。

2）一個求和單元，用于求取各輸入信號的加權和。

3）一個非線性激活函數，起非線性映射作用并將神經元輸出幅度限制在一定范圍內（一般限制在（0，1）或（？1，1）之間），此外還有一個閾值。

圖一

2、神經網絡作用過程的數學式表達

式中，，…，為輸入信號，，，…，為神經元k之權值，為線性組合結果，為閾值，為激活函數，為神經元k的輸出。

3、神經網絡的特點

1）可以充分逼近任意復雜的非線性關系。

2）具有并行結構和并行處理能力。

3）因為網絡內的所有信息對各個神經元都是等勢的，因此部分信息丟失或者一定的節點不參與運算，對結果均不會產生重大影響。這表現為其強大的魯棒性和容錯性。

4）神經元之間連接的多樣性和連接強度的可塑性，使得其具有很強的自適應性，表現為：學習性、自組織能力、綜合推理能力和可訓練性的等4個方面。

三、神經網絡在內燃機性能研究中的應用

1、內燃機性能研究

通過選擇正確的樣本數據和合理的神經網絡模型，對網絡進行訓練后就能夠很好的逼近內燃機的工作過程，從而對相關的性能進行研究和預測。

2、基于神經網絡的內燃機故障診斷系統

在內燃機的一些重要部位安裝傳感器，通過傳感器收集數據隨故障持續發展的變化情況，并將數據同時加載到兩組BP網絡中，一組用于對故障的分類，另一組用于對故障嚴重程度的估計。網絡訓練后就能很好地定位故障并作出相應的預測。

3、內燃機可靠性與優化設計中的神經網絡方法

先對零件進行可靠性分析，然后根據設計要求建立可靠性概率約束條件模型，最后用神經網絡方法進行優化求解。

神經網絡的魯棒性范文6

關鍵詞：BP神經網絡、圖像分割、特征提取

Abstract: the image recognition process including the image preprocessing, feature extraction, image understanding and analysis. Which BP artificial neural network in the image segmentation using better; In the feature extraction phase BP neural network is also very good find application, and obtain the better feature extraction results; In the image understanding and the analysis phase using neural network classifier design, can get accurate classification results.

Keywords: BP neural network, image segmentation, feature extraction

中圖分類號：TP183 文獻標識碼：A文章編號：

引言

BP人工神經網絡算法是現今應用較為廣泛的多層前向反饋式神經網絡算法，BP人工神經網絡有較好的容錯能力、魯棒性、并行協同處理能力和自適應能力，受到了國內外眾多領域學者的關注。由于神經網絡高效率的集體計算能力和較強的魯棒性，它在圖像分割方面的應用已經很廣泛，Jain和Karu采用了多通道濾波與前向神經網絡相結合的方法實現圖像紋理分割算法。神經網絡算法在特征提取階段，壓縮特征數量，以提高分類速度和精度。在圖像識別領域中神經網絡作為分類器的研究也得到了很大的進展，尤其是其學習能力和容錯性對于模式識別是非常有利的，在一定程度上提高了訓練速度和識別率。Le Cun等人提出了多層特征選擇(Multilayer Selection Procedure)方法用于字符識別，每一層神經網絡處理較低層次的特征，獲取該層特征信息并傳給上一層。

BP神經網絡的基本原理

人工神經網絡的研究起源于對生物神經系統的研究，它將若干處理單元（即神經元）通過一定的互連模型連結成一個網絡，這個網絡通過一定的機制可以模仿人的神經系統的動作過程，以達到識別分類的目的。人工神經網絡區別于其他識別方法的最大特點是它對待識別的對象不要求有太多的分析與了解，具有一定的智能化處理的特點。神經網絡的學習過程實際上就是不斷地調整權值和閾值的過程。根據有無訓練樣本的指導可以將神經網絡的學習方式分為兩種：監督學習方式和非監督學習方式，也稱為有導師指導學習方式和無導師指導學習方式。監督學習方式，是在給定固定的輸入輸出樣本集的情況下，由網絡根據一定的學習規則進行訓練學習，每一次學習完成后，通過對比實際的輸出和期望的輸出，以此決定網絡是否需要再學習，如果還沒有達到期望的誤差，則將實際誤差反饋到網絡，進行權值和閾值的調整，使實際的誤差隨著學習的反復進行而逐步減小，直至達到所要求的性能指標為止。非監督學習方式，是在沒有外界的指導下進行的學習方式，在學習過程中，調整網絡的權重不受外來教師的影響，但在網絡內部會對其性能進行自適應調節。

BP神經網絡分類器的設計

BP神經網絡是基于誤差反向傳播算法(Back Propagation Algorithm，BPA)的多層前向神經網絡，由輸入層、輸出層、一個或多個隱含層所組成。BP神經網絡結構確定之后，通過對輸出和輸入樣本集進行訓練，反復修正網絡的權值和閾值，達到學習訓練的期望誤差，以使網絡能夠實現給定的輸入輸出映射關系。BP人工神經網絡的學習過程分為兩個階段，第一階段是輸入己知的學習樣本數據，給定網絡的結構和初始連接權值和閾值，從輸入層逐層向后計算各神經元的輸出；第二階段是對權值和閾值進行修改，即根據網絡誤差從最后一層向前反饋計算各層權值和閾值的增減量，來逐層修正各層權值和閾值。以上正反兩個階段反復交替，直到網絡收斂。具體實現步驟如下：

(1) 網絡的初始化：首先對輸入的學習訓練樣本進行歸一化處理，對權值矩陣W和閾值向量賦初值，將網絡計數器和訓練次數計數器置為1，網絡誤差置為0。

(2) 輸入訓練樣本，計算輸入層，隱含層以及輸出層的實際輸出。

(3) 計算網絡輸出誤差。將實際的輸出和期望的輸出值進行對比，采用均方根誤差指標作為網絡的誤差性能函數。

(4) 若誤差還沒達到期望標準，則根據誤差信號，逐層調整權值矩陣和閾值向量。

(5) 若最終調整之后的網絡輸出達到了誤差范圍之內，則進行下一組訓練樣本繼續訓練網絡。

(6) 若全部的訓練樣本訓練完畢，并且達到了期望的誤差，則訓練結束，輸出最終的網絡聯接權值和閾值。

BP神經網絡可以逼近任意連續函數，具有很強的非線性映射能力，而且BP神經網絡中間層數、各層神經元數及網絡學習速率等參數均可以根據具體情況設定，靈活性較強，所以BP神經網絡在許多領域中廣泛應用。一般來說，神經網絡方法應同傳統的人工智能方法相聯系的。神經網絡本身結構及性能上的特點使其對問題的處理更富有彈性，更加穩健。神經網絡的基本特點是采用自下而上的設計思路，使其容易確定具體的目標分割或識別算法，在增加了不確定因素的同時也產生了網絡最優化的問題，這就是所謂的偽狀態(pseudo-trap)。盡管在實踐中并非所有的偽狀態對應完全失敗的結果，但是畢竟這不符合對之完美的或者說合理的期望。人工智能則一般采用自上而下的方法，偏重于邏輯推理建立系統模型。因此將神經網絡同人工智能結合起來，相當于賦予神經網絡高層指導的知識及邏輯推理的能力，具有潛在的優勢。

輸入層中間層 輸出層

圖1 BP人工神經網絡結構

BP神經網絡的訓練

4.1 BP神經網絡的設計

BP神經網絡的設計主要包括兩方面內容：一是神經網絡結構的確定，特別是隱含層層數及隱含層單元數目的確定；二是高精度收斂問題，隱含層和隱含層單元數過多，將導致訓練時間過長并出現過度擬和的問題，隱含層單元數過少又導致網絡收斂速度慢甚至不收斂，達不到誤差精度要求。在確定隱含層層數以及隱含層單元數目時，沒有一個嚴格的理論依據指導，需要根據特定的問題，結合經驗公式確定大致范圍來進行逐步試算比較得到。

4.2 數據預處理

為了加快網絡的訓練速度，通常在網絡訓練前進行神經網絡輸入和輸出數據預處理，即將每組數據都歸一化變為[-1,1]之間的數值的處理過程。

4.3 神經網絡的訓練

%當前輸入層權值和閾值

inputWeights=net.IW{1,1}

inputbias=net.b{1}

%當前網絡層權值和閾值

layerWeights=net.LW{2,1}

layerbias=net.b{2}

%設置訓練參數

net.trainParam.show = 1000;%限時訓練迭代過程

net.trainParam.lr = 0.1; %學習率，缺省為0.01

net.trainParam.epochs = 100000; %最大訓練次數，缺省為100

net.trainParam.goal = 0.001; %訓練要求精度，缺省為0

[net,tr]=train(net,P,T);%調用 TRAINGDM 算法訓練 BP 網絡

A = sim(net,P) %對 BP 網絡進行仿真

E = T - A;%計算仿真誤差

MSE=mse(E)

結束語

BP網絡因為具有較強的學習性、自適應型和容錯性，在很多領域均已經大量運用。本文將BP人工神經網絡運用于圖像的識別，探索人工神經網絡在圖像識別領域中的重要的現實意義。研究表明，BP人工神經網絡應用于圖像識別在一定程度上提高了識別的效率和準確率。但是，BP神經網絡算法還存在以下幾點不足之處：（1）權的調整方法存在局限性，容易陷入局部最優；（2）網絡的結構需要提前指定或者在訓練過程中不斷的修正；（3）過分依賴學習樣本，由于學習樣本是有限的或者學習樣本質量不高，那么會導致訓練達不到效果；（4）對于規模較大的模式映射問題，存在收斂速度慢、容易陷入局部極小點、判斷不準確等缺陷。總之，如何解決以上問題，如何進一步提高識別精度，擴大識別范圍，使之更具有更好的工程實用性，是有待進一步研究的內容。

參考文獻：

[1] WE Blanz，S L Gish．A Connectionist Classifier Architecture Applied to Image Segmentation．Proc．10th ICPR，1990，272-277．

[2] Y Le Cun，L D Jackel，B Boser，J S Denker，H P Graf，I Guyon，D Henderson，R E Howard，and W Hubbard，Handwriten Digit Recognition：Applications of Neural Network Chips and Automatic Learning，IEEE Comm．Magazine．Nov．1989．

[3] A K Jain and K Karu，Automatic Filter Design for Texture Discrimination，Proc．12th Int’l Conf．NeuralNetworks，Orlando，Oct．1994，454-458．

[4] 邊肇其，張學工．模式識別（第二版）[M]．清華大學出版社，北京．1999，12．

[5] 陳書海，傅錄祥．實用數字圖像處理[M]．科學出版社，北京．2005．

[6] 萬來毅，陳建勛．基于BP神經網絡的圖像識別研究[J]．武漢科技大學學報（自然科學版）．2006，6．

[7] 叢爽．面向MATLAB工具箱的神經網絡理論與應用（第2版）[M]．北京：中國科學技術出版社，2003．

[8] 王娟，慈林林等．特征方法綜述[J]．計算機工程與科學．2005．27（12）．68-71．

[9] 賈花萍．基于神經網絡的特征選擇與提取方法研究[J]．網絡安全．2008，7．33-35．

[10] 龔聲榮，劉純平等編著．數字圖像處理與分析[M]．清華大學出版社，北京．2006．7．