前言：中文期刊網(wǎng)精心挑選了神經(jīng)網(wǎng)絡(luò)過(guò)擬合的表現(xiàn)范文供你參考和學(xué)習(xí)，希望我們的參考范文能激發(fā)你的文章創(chuàng)作靈感，歡迎閱讀。

神經(jīng)網(wǎng)絡(luò)過(guò)擬合的表現(xiàn)范文1

關(guān)鍵詞經(jīng)濟(jì)活動(dòng)預(yù)測(cè)模型人工神經(jīng)網(wǎng)絡(luò)

經(jīng)濟(jì)活動(dòng)諸如商品價(jià)格走勢(shì)、生產(chǎn)活動(dòng)的產(chǎn)量預(yù)測(cè)、加工的投入產(chǎn)出分析、工廠的成本控制等方面都是重要的技術(shù)經(jīng)濟(jì)層面。定量化的經(jīng)濟(jì)活動(dòng)分析是經(jīng)濟(jì)學(xué)研究的必由之路，而建模是量化分析的基礎(chǔ)，這是因?yàn)槟Ｐ蜑榭茖W(xué)分析和質(zhì)量、成本等控制提供了理論依據(jù)。本文針對(duì)經(jīng)濟(jì)活動(dòng)中大多數(shù)研究對(duì)象都具有的非線性特點(diǎn)，給出了用人工神經(jīng)網(wǎng)絡(luò)（ArtificialNerveNetwork）模型建立經(jīng)濟(jì)活動(dòng)的預(yù)測(cè)模型的原理和方法，并描述了神經(jīng)網(wǎng)絡(luò)與各種先進(jìn)的建模方法相結(jié)合的模型化方法，為經(jīng)濟(jì)活動(dòng)的分析、預(yù)測(cè)與控制提供了理論基礎(chǔ)。

1神經(jīng)網(wǎng)絡(luò)模型方法

現(xiàn)實(shí)的經(jīng)濟(jì)系統(tǒng)是一個(gè)極其復(fù)雜的非線性系統(tǒng)，客觀上要求建立非線性模型。傳統(tǒng)上使用回歸與自回歸模型刻畫(huà)的都是線性關(guān)系，難于精確反映因變量的變化規(guī)律，也終將影響模型的擬合及預(yù)報(bào)效果。為揭示隱含于歷史記錄中的復(fù)雜非線性關(guān)系必須借助更先進(jìn)的方法———人工神經(jīng)網(wǎng)絡(luò)(ANN)方法。

人工神經(jīng)網(wǎng)絡(luò)具有并行處理、自適應(yīng)、自組織、聯(lián)想記憶及源于神經(jīng)元激活函數(shù)的壓扁特性的容錯(cuò)和魯棒性等特點(diǎn)。數(shù)學(xué)上已經(jīng)證明，神經(jīng)網(wǎng)絡(luò)可以逼近所有函數(shù)，這意味著神經(jīng)網(wǎng)絡(luò)能逼近那些刻畫(huà)了樣本數(shù)據(jù)規(guī)律的函數(shù)，且所考慮的系統(tǒng)表現(xiàn)的函數(shù)形式越復(fù)雜，神經(jīng)網(wǎng)絡(luò)這種特性的作用就越明顯。

在各類(lèi)神經(jīng)網(wǎng)絡(luò)模型中，BP（Back－Propagation誤差后向傳播）神經(jīng)網(wǎng)絡(luò)模型是最常用的也是最成熟的模型之一。本質(zhì)上，BP模型是對(duì)樣本集進(jìn)行建模，即建立對(duì)應(yīng)關(guān)系RmRn,xk∈Rm,ykRn。數(shù)學(xué)上，就是一個(gè)通過(guò)函數(shù)逼近擬合曲線/曲面的方法，并將之轉(zhuǎn)化為一個(gè)非線性?xún)?yōu)化問(wèn)題來(lái)求解。

對(duì)BP神經(jīng)網(wǎng)絡(luò)模型，一般選用三層非循環(huán)網(wǎng)絡(luò)。假設(shè)每層有N個(gè)處理單元，通常選取連續(xù)可微的非線性作用函數(shù)如Sigmoid函數(shù)f(x)=1/(1+e-x)，訓(xùn)練集包括M個(gè)樣本模式{(xk,yk)}。對(duì)第P個(gè)訓(xùn)練樣本（P＝1，2，…，M），單元j的輸入總和記為apj，輸出記為Opj，則:

apj=WQ

Opj=f(apj)=1/(1+e-apj)（1）

對(duì)每個(gè)輸入模式P，網(wǎng)絡(luò)輸出與期望輸出（dpj）間誤差為：

E=Ep=((dpj-Opj)2)（2）

取BP網(wǎng)絡(luò)的權(quán)值修正式：

Wji(t+1)=Wji(t)+?濁?啄pj+?琢(Wji(t)-Wji(t-1))（3）

其中，對(duì)應(yīng)輸出單元?啄pj=f’,(apj)(dpj-Opj)；對(duì)應(yīng)輸入單元?啄pj=f’,(apj)?啄pkWkj；

?濁是為加快網(wǎng)絡(luò)收斂速度而取值足夠大又不致產(chǎn)生振蕩的常數(shù)；?琢為一常數(shù)項(xiàng)，稱(chēng)為趨勢(shì)因子，它決定上一次學(xué)習(xí)權(quán)值對(duì)本次權(quán)值的影響。

BP學(xué)習(xí)算法的步驟：初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)；提供訓(xùn)練模式并訓(xùn)練網(wǎng)絡(luò)直到滿足學(xué)習(xí)要求；前向傳播過(guò)程,對(duì)給定訓(xùn)練模式輸入，計(jì)算網(wǎng)絡(luò)的輸出模式，并與期望比較，如有誤差，則執(zhí)行下一步，否則返回第二步；后向傳播過(guò)程,計(jì)算同一層單元的誤差?啄pj,按權(quán)值公式（3）修正權(quán)值;返回權(quán)值計(jì)算公式（3）。BP網(wǎng)絡(luò)的學(xué)習(xí)一般均需多周期迭代，直至網(wǎng)絡(luò)輸出與期望輸出間總體的均方根誤差ERMS達(dá)到一定要求方結(jié)束。

實(shí)踐中，BP網(wǎng)絡(luò)可能遇到如下問(wèn)題：局部極小點(diǎn)問(wèn)題；迭代收斂性及收斂速度引起低效率問(wèn)題。此外還有，模型的逼近性質(zhì)差；模型的學(xué)習(xí)誤差大，記憶能力不強(qiáng)；與線性時(shí)序模型一樣，模型網(wǎng)絡(luò)結(jié)構(gòu)及節(jié)點(diǎn)作用函數(shù)不易確定；難以解決應(yīng)用問(wèn)題的實(shí)例規(guī)模與網(wǎng)絡(luò)規(guī)模之間的矛盾等。為克服這樣的一些問(wèn)題，同時(shí)為了更好地面向?qū)嶋H問(wèn)題的特殊性，出現(xiàn)了各種基于神經(jīng)網(wǎng)絡(luò)模型或與之結(jié)合的模型創(chuàng)新方法。

2灰色神經(jīng)網(wǎng)絡(luò)模型

灰色預(yù)測(cè)和神經(jīng)網(wǎng)絡(luò)一樣是近年來(lái)用于非線性時(shí)間序列預(yù)測(cè)的引人注目的方法，兩種方法在建模時(shí)都不需計(jì)算統(tǒng)計(jì)特征，且理論上可以適用于任何非線性時(shí)間序列的建模。灰色預(yù)測(cè)由于其模型特點(diǎn)，更合用于經(jīng)濟(jì)活動(dòng)中具有指數(shù)增長(zhǎng)趨勢(shì)的問(wèn)題，而對(duì)于其他變化趨勢(shì)，則可能擬合灰度較大，導(dǎo)致精度難于提高。

對(duì)于既有隨時(shí)間推移的增長(zhǎng)趨勢(shì)，又有同一季節(jié)的相似波動(dòng)性趨勢(shì)，且增長(zhǎng)趨勢(shì)和波動(dòng)性趨勢(shì)都呈現(xiàn)為一種復(fù)雜的非線性函數(shù)特性的一類(lèi)現(xiàn)實(shí)問(wèn)題，根據(jù)人工神經(jīng)網(wǎng)絡(luò)具有較好的描述復(fù)雜非線性函數(shù)能力特點(diǎn)，用其對(duì)季節(jié)性建模；最后根據(jù)最優(yōu)組合預(yù)測(cè)理論，建立了兼有GM（1，1）和ANN優(yōu)點(diǎn)的最優(yōu)組合預(yù)測(cè)模型。該模型能夠同時(shí)反映季節(jié)性時(shí)間序列的增長(zhǎng)趨勢(shì)性和同季波動(dòng)性的雙重特性，適用于一般具有季節(jié)性特點(diǎn)的經(jīng)濟(jì)預(yù)測(cè)。

首先，建立GM（1，1）模型，設(shè)時(shí)間序列x(0)=(x(0)(1),x(0)(2),?撰,x(0)(n))，作一階累加生成：

x(1)=(x(1)(1),x(1)(2),?撰,x(1)(n))（4）

其中x(1)(k)=(x(0)(i),k=1,2,?撰,n

構(gòu)造一階線性灰色微分方程并得到該方程的白化微分方程：

+ax=u

用最小二乘法求解參數(shù)a，u，得到x(1)的灰色預(yù)測(cè)模型：

(1)(k+1)=(X(0)(1)-u/a)e-ak+u/a,(k=0,1,2,?撰)（5）

其次，根據(jù)上節(jié)方法建立BP人工神經(jīng)網(wǎng)絡(luò)模型。

第三，將兩模型優(yōu)化組合。設(shè)f1是灰色預(yù)測(cè)值，f2是神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)值，fc是最優(yōu)組合預(yù)測(cè)值，預(yù)測(cè)誤差分別為:e1,e2,ec，取w1和w2是相應(yīng)的權(quán)系數(shù)，且w1+w2=1,有fc=w1f1+w2f2，則誤差及方差分別為ec=w1e1+w2e2,Var(ec)=w21Var(e1)+w22Var(e2)+2w1w2cov(e1,e2)

對(duì)方差公式求關(guān)于w1的極小值，并取cov(e1,e2)=0，即可得到組合預(yù)測(cè)權(quán)系數(shù)的值。

2基于粗糙集理論的神經(jīng)網(wǎng)絡(luò)模型

粗糙集理論與模糊集理論一樣是研究系統(tǒng)中知識(shí)不完全和不確定問(wèn)題的方法。模糊集理論在利用隸屬函數(shù)表達(dá)不確定性時(shí)，為定義一個(gè)合適的隸屬函數(shù)，需要人工干預(yù)，因而有主觀性。而粗糙集理論由粗糙度表示知識(shí)的不完全程度，是通過(guò)表達(dá)知識(shí)不精確性的概念計(jì)算得到的，是客觀的，并不需要先驗(yàn)知識(shí)。粗糙集通過(guò)定義信息熵并進(jìn)而規(guī)定重要性判據(jù)以判斷某屬性的必要性、重要性或冗余性。

一般來(lái)說(shuō)，BP神經(jīng)網(wǎng)絡(luò)模型對(duì)模型輸入變量的選擇和網(wǎng)絡(luò)結(jié)構(gòu)確定等都基本憑經(jīng)驗(yàn)或通過(guò)反復(fù)試驗(yàn)確定，這種方法的盲目性會(huì)導(dǎo)致模型質(zhì)量變差。用粗糙集理論指導(dǎo)，先對(duì)各種影響預(yù)測(cè)的因素變量進(jìn)行識(shí)別，以此確定預(yù)測(cè)模型的輸入變量；再通過(guò)屬性約簡(jiǎn)和屬性值約簡(jiǎn)獲得推理規(guī)則集；然后以這些推理規(guī)則構(gòu)造神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，并采用加動(dòng)量項(xiàng)的BP的學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化。有效改善了模型特性，提高了模型質(zhì)量。其建模步驟為：由歷史數(shù)據(jù)及其相關(guān)信息歷史數(shù)據(jù)構(gòu)造決策表；初始化；對(duì)決策表的決策屬性變量按劃分值域?yàn)閚個(gè)區(qū)域的方式離散化；采用基于斷點(diǎn)重要性的粗糙集離散化算法選擇條件屬性變量和斷點(diǎn)（分點(diǎn)），同時(shí)計(jì)算決策表相容度，當(dāng)決策表相容度為1或不再增加時(shí)，則選擇條件屬性變量和分點(diǎn)過(guò)程結(jié)束；由選擇的條件屬性變量及其樣本離散化值構(gòu)造新的決策表，并對(duì)其約簡(jiǎn)，得到推理規(guī)則集；由推理規(guī)則集建立神經(jīng)網(wǎng)絡(luò)模型；對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；若神經(jīng)網(wǎng)絡(luò)擬合誤差滿足要求，則結(jié)束，否則，增加n。必須指出，區(qū)間分劃n太小，會(huì)使得擬合不夠，n太大，即輸出空間分得太細(xì)，會(huì)導(dǎo)致過(guò)多的區(qū)域?qū)?yīng)，使網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于復(fù)雜，影響泛化（預(yù)測(cè)）能力。

3小波神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)模型存在的網(wǎng)絡(luò)結(jié)構(gòu)及節(jié)點(diǎn)函數(shù)不易確定問(wèn)題，結(jié)合小波分析優(yōu)良的數(shù)據(jù)擬合能力和神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、自適應(yīng)特性建模，即用非線性小波基取代通常的非線性S型函數(shù)。

設(shè)非線性時(shí)間序列變化函數(shù)f(t)∈L2(R)，定義其小波變換為：

Wf(a,b)==f(t)?漬()dt（6）

式中，?漬ab(t)稱(chēng)為由母小波?漬t（定義為滿足一定條件的平方可積函數(shù)?漬(t)∈L2(R)如Haar小波、Morlet小波、樣條小波等）生成的依賴(lài)于參數(shù)a、b的連續(xù)小波，也稱(chēng)小波基。參數(shù)a的變化不僅改變小波基的頻譜結(jié)構(gòu)，還改變其窗口的大小和形狀。對(duì)于函數(shù)f(t)，其局部結(jié)構(gòu)的分辯可以通過(guò)調(diào)節(jié)參數(shù)a、b，即調(diào)節(jié)小波基窗口的大小和位置來(lái)實(shí)現(xiàn)。

用小波級(jí)數(shù)的有限項(xiàng)來(lái)逼近時(shí)序函數(shù)，即：

(t)=wk?漬()（7）

式中(t)，為時(shí)間序列y(t)的預(yù)測(cè)值序列；wk,bk,ak分別為權(quán)重系數(shù)，小波基的平移因子和伸縮因子；L為小波基的個(gè)數(shù)。參數(shù)wk,bk,ak采用最小均方誤差能量函數(shù)優(yōu)化得到，L通過(guò)試算得到。

4模糊神經(jīng)網(wǎng)絡(luò)模型

模糊集合和模糊邏輯以人腦處理不精確信息的方法為基礎(chǔ)，而人工神經(jīng)網(wǎng)絡(luò)是以大量簡(jiǎn)單神經(jīng)元的排列模擬人腦的生理結(jié)構(gòu)。二者的融合既具有神經(jīng)網(wǎng)絡(luò)強(qiáng)大的計(jì)算能力、容錯(cuò)性和學(xué)習(xí)能力，又有對(duì)于不確定、不精確信息的處理能力，即同時(shí)具有底層的數(shù)據(jù)處理、學(xué)習(xí)能力和高層的推理、思考能力。

一種應(yīng)用模糊理論的方法是把模糊聚類(lèi)用來(lái)確定模糊系統(tǒng)的最優(yōu)規(guī)則數(shù)，從而確定模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。這樣確定的網(wǎng)絡(luò)結(jié)構(gòu)成為四層：第一層為直接輸入層；第二層為模糊化層，對(duì)輸入做模糊化處理；第三層為模糊推理層，對(duì)前層模糊結(jié)果做模糊推理；第四層為非模糊化層，可以采用重心非模糊化法，產(chǎn)生網(wǎng)絡(luò)輸出。該網(wǎng)絡(luò)采用動(dòng)態(tài)處理法，增強(qiáng)了其處理能力，且適用性強(qiáng)、精度高。

5結(jié)語(yǔ)

除上述幾種結(jié)合式神經(jīng)網(wǎng)絡(luò)方法之外，人工神經(jīng)網(wǎng)絡(luò)模型在算法設(shè)計(jì)方面一直在取得巨大的進(jìn)步。神經(jīng)網(wǎng)絡(luò)模型方法是一種先進(jìn)的具有智能的非線性建模方法，其在自然科學(xué)、經(jīng)濟(jì)現(xiàn)象、社會(huì)活動(dòng)等方面的應(yīng)用正在不斷深化，把神經(jīng)網(wǎng)絡(luò)方法引入經(jīng)濟(jì)活動(dòng)的分析和預(yù)測(cè)中，并緊密聯(lián)系諸多先進(jìn)的建模方法，是使工業(yè)經(jīng)濟(jì)、商業(yè)經(jīng)濟(jì)及其對(duì)經(jīng)濟(jì)本質(zhì)規(guī)律的研究等各項(xiàng)工作推向前進(jìn)的重要理論武器。

參考文獻(xiàn)

神經(jīng)網(wǎng)絡(luò)過(guò)擬合的表現(xiàn)范文2

關(guān)鍵詞：差分進(jìn)化；粒子群；高斯變異；OIF-Elman；系統(tǒng)辨識(shí)

DOI：10.16640/ki.37-1222/t.2017.05.119

1 概述

神經(jīng)網(wǎng)絡(luò)因具有強(qiáng)大的并行處理能力、自組織和自學(xué)習(xí)能力、非線性映射能力，在系統(tǒng)辨識(shí)領(lǐng)域受到了廣泛的重視[1]。采用神經(jīng)網(wǎng)絡(luò)對(duì)系統(tǒng)進(jìn)行辨識(shí)時(shí)，無(wú)需知道系統(tǒng)的具體結(jié)構(gòu)，通過(guò)對(duì)相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練可以得到辨識(shí)模型的網(wǎng)絡(luò)結(jié)構(gòu)，使得辨識(shí)更加簡(jiǎn)便易行，且可用于閉環(huán)辨識(shí)。在工程實(shí)際中，辨識(shí)對(duì)象大多為動(dòng)態(tài)系統(tǒng)，且具有較強(qiáng)的非線性，一般的靜態(tài)前饋神經(jīng)網(wǎng)絡(luò)雖然可以采用增加外部遲延的方法辨識(shí)動(dòng)態(tài)系統(tǒng)，但會(huì)使網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜化，導(dǎo)致收斂速度變慢。具有內(nèi)部反饋結(jié)構(gòu)的遞歸神經(jīng)網(wǎng)絡(luò)，因自身具有反饋結(jié)構(gòu)，網(wǎng)絡(luò)本身便是一個(gè)非線性動(dòng)態(tài)系統(tǒng)，成為辨識(shí)動(dòng)態(tài)系統(tǒng)的有效方法之一[2]。本文在OIF-Elman[3]遞歸網(wǎng)絡(luò)模型的基礎(chǔ)上，結(jié)合改進(jìn)的粒子群算法對(duì)其進(jìn)行優(yōu)化，并用于加熱爐換熱器對(duì)象的辨識(shí)，辨識(shí)的結(jié)果證實(shí)了該方法的可行性和優(yōu)越性。

2 OIF-ELman神經(jīng)網(wǎng)絡(luò)

2.1 OIF-Elman網(wǎng)絡(luò)結(jié)構(gòu)

基本的Elman神經(jīng)網(wǎng)絡(luò)在BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上加入了局部反饋鏈接和局部遞歸單元，具有了動(dòng)態(tài)系統(tǒng)的結(jié)構(gòu)。OIF-Elman網(wǎng)絡(luò)在Elman網(wǎng)絡(luò)的基礎(chǔ)上增加了輸出層節(jié)點(diǎn)的反饋，強(qiáng)化了對(duì)動(dòng)態(tài)系統(tǒng)的擬合能力，被稱(chēng)為具有輸出-輸入反饋機(jī)制的改進(jìn)Elman網(wǎng)絡(luò)[4]。其結(jié)構(gòu)圖如圖1所示，網(wǎng)絡(luò)的兩個(gè)關(guān)聯(lián)層的表達(dá)式分別為[5]：

，

2.2 OIF-Elman網(wǎng)絡(luò)動(dòng)態(tài)系統(tǒng)仿真

分別采用Elman網(wǎng)絡(luò)及OIF-Elman網(wǎng)絡(luò)對(duì)二階動(dòng)態(tài)系統(tǒng)：，輸入信號(hào)為，取樣本個(gè)數(shù)為50。學(xué)習(xí)算法均采用誤差反向傳播（BP）學(xué)習(xí)算法并比較兩種網(wǎng)絡(luò)的擬合精度，如圖2所示。圖2（a）榱街滯絡(luò)的訓(xùn)練誤差曲線，圖2（b）為兩種網(wǎng)絡(luò)輸出對(duì)應(yīng)每一個(gè)樣本的誤差，可見(jiàn)OIF-Elman網(wǎng)絡(luò)相比于Elman網(wǎng)絡(luò)誤差更小，精度更高，在動(dòng)態(tài)系統(tǒng)辨識(shí)上更加有效。

3 混合粒子群優(yōu)化算法

由于傳統(tǒng)的BP學(xué)習(xí)算法收斂速度慢易陷入局部最優(yōu)等缺陷，本文提出一種改進(jìn)的混合粒子群優(yōu)化算法作為OIF-Elman神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。改進(jìn)的算法在標(biāo)準(zhǔn)粒子群算法模型的基礎(chǔ)上，融入了高斯變異以及差分進(jìn)化算法的交叉變異機(jī)制，并將本文算法與典型的三種差分進(jìn)化粒子群算法（DEPSO）在不同目標(biāo)函數(shù)上進(jìn)行仿真對(duì)比。

3.1 算法思想

算法保留了粒子群模型的速度向量，采用常用的一種差分變異策略，增加粒子的多樣性，保證全局搜索能力，但由于目標(biāo)向量是速度向量，故在此基礎(chǔ)上將基向量改為，并加入基于群體最優(yōu)的差分向量，加速種群收斂速度，加強(qiáng)了對(duì)群體最優(yōu)附近區(qū)域的挖掘能力[6]。文獻(xiàn)[11]中采用了對(duì)于最優(yōu)向量中某一維分量變異的策略得到了很好的效果，在本文算法的高斯變異操作中，只對(duì)速度向量的某一維分量進(jìn)行變異。另外為了進(jìn)一步加強(qiáng)算法在群體最優(yōu)附近的挖掘能力，引入高斯變異在最優(yōu)位置附近進(jìn)行搜索。有研究指出，全局最優(yōu)解易出現(xiàn)在粒子群的群體最優(yōu)位置與個(gè)體最優(yōu)之間[7]，受此啟發(fā)，本文算法中取群體歷史最優(yōu)位置和歷史次優(yōu)位置之間的區(qū)域進(jìn)行高斯變異。這么選擇首先使高斯變異的范圍根據(jù)搜索進(jìn)程進(jìn)行變化，搜索前期范圍較大，搜索后期范圍會(huì)縮小。其次是因?yàn)樵谒惴ㄊ諗亢笃趩?wèn)題的解多在群體最優(yōu)位置附近，當(dāng)粒子位置（由于算法的選擇操作，粒子個(gè)體最優(yōu)即是粒子當(dāng)前位置）未越過(guò)最優(yōu)解時(shí)，算法會(huì)使粒子向最優(yōu)解移動(dòng)并記錄上次最優(yōu)位置，當(dāng)粒子由于速度慣性越過(guò)最優(yōu)解時(shí)，問(wèn)題的解便在歷史最優(yōu)位置和歷史次優(yōu)位置之間，所以說(shuō)這個(gè)范圍是最具價(jià)值的搜索空間。實(shí)驗(yàn)證明這種方式對(duì)于單峰及多峰函數(shù)起到了局部挖掘，促進(jìn)收斂的作用。

根據(jù)上述原理，本文算法步驟如下：

（1）初始化。初始化種群個(gè)數(shù)，迭代次數(shù)，以及所有粒子的位置和速度。

（2）計(jì)算每個(gè)粒子的適應(yīng)度值，初始化種群個(gè)體歷史最優(yōu)和群體最優(yōu)。

（3）判斷是否達(dá)到結(jié)束條件，如是則輸出當(dāng)前全局最優(yōu)值，否則執(zhí)行下面步驟。

（4）對(duì)粒子速度向量中隨機(jī)選擇的一維，按照下面公式進(jìn)行變異。更新粒子位置后采用差分進(jìn)化算法的選擇機(jī)制，與之前粒子位置的適應(yīng)度值進(jìn)行比較，若當(dāng)前粒子比之前粒子的適應(yīng)度值更優(yōu)，則用當(dāng)前粒子進(jìn)行替換，否則保留前一代粒子到下一代。

（5）記錄粒子群的歷史最優(yōu)及歷史次優(yōu)，采用下式進(jìn)行高斯變異，在歷史最優(yōu)與歷史次優(yōu)之間進(jìn)行挖掘，尋找更優(yōu)的粒子對(duì)當(dāng)前最優(yōu)粒子進(jìn)行替換，并更新次優(yōu)粒子位置。

（6）返回步驟（3）。

3.2 數(shù)值仿真

將本文提出的算法與標(biāo)準(zhǔn)粒子群算法（PSO）、差分進(jìn)化算法（DE）以及三種典型的差分進(jìn)化與粒子群的結(jié)合算法[8]（本文將其稱(chēng)為：I輔助式[9]、II集成式[10]和III協(xié)作式[11]）進(jìn)行對(duì)比，選用Ackley多峰函數(shù)、Griewank函數(shù)、Rastrigin函數(shù)、Rosenbrock函數(shù)四種測(cè)試函數(shù)作為算法的目標(biāo)函數(shù)，仿真結(jié)果如圖3及表1所示。

由圖3可知，本文改進(jìn)算法在Rastrigin多峰函數(shù)優(yōu)化上的優(yōu)勢(shì)顯著，PSO算法和DE算法以及類(lèi)型II均陷入了局部最優(yōu)，類(lèi)型I和類(lèi)型III的改進(jìn)算法依然繼續(xù)搜索趨勢(shì)，但與本文所提算法相比速度極慢。在其他函數(shù)如Rosenbrock函數(shù)仿真結(jié)果上，相比于其他算法，本文改進(jìn)算法達(dá)到更高精度，表現(xiàn)出在此單峰問(wèn)題求解中的優(yōu)勢(shì)。

4 對(duì)加熱爐-對(duì)流換熱系統(tǒng)辨識(shí)

4.1 加熱爐換熱器控制系統(tǒng)的組成

將本文的辨識(shí)方法應(yīng)用到加熱爐換熱器雙入雙出耦合對(duì)象，控制系統(tǒng)的方框圖如圖4所示。其輸出為內(nèi)膽溫度T1和換熱器冷卻水出口溫度T2，入為控制器1和控制器2的輸出信號(hào)即加熱器與變頻器的開(kāi)度信號(hào)U1和U2。故設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)辨識(shí)模型的輸出為T(mén)1和T2，輸入為U1和U2。

訓(xùn)練樣本以5秒的采樣間隔取控制回路閉合時(shí)加入換熱器冷卻水出口溫度設(shè)定值后500秒內(nèi)的100組控制器的輸出以及溫度數(shù)據(jù)，所有試驗(yàn)數(shù)據(jù)做歸一化處理，訓(xùn)練次數(shù)為300次。

4.2 仿真對(duì)比及結(jié)果分析

將本文方法與采用BP學(xué)習(xí)的OIF-Elman網(wǎng)絡(luò)及采用上述類(lèi)型III優(yōu)化算法的OIF-Elman網(wǎng)絡(luò)進(jìn)行對(duì)比，如圖5所示。經(jīng)過(guò)訓(xùn)練，三種網(wǎng)絡(luò)模型均收斂到了一定的精度，本文提出的網(wǎng)絡(luò)模型相比于BP算法OIF-Elman網(wǎng)絡(luò)及類(lèi)型III-OIFElman網(wǎng)絡(luò)以較少的訓(xùn)練次數(shù)收斂到了較高精度。表2為三種模型的辨識(shí)誤差，同時(shí)也加入了標(biāo)準(zhǔn)Elman神經(jīng)網(wǎng)絡(luò)的辨識(shí)誤差作為對(duì)比，可以看出采用本文算法的OIF-Elman網(wǎng)絡(luò)的辨識(shí)精度更高。

圖6為三種網(wǎng)絡(luò)模型對(duì)訓(xùn)練樣本輸出信號(hào)的擬合曲線，更加直觀地展現(xiàn)出網(wǎng)絡(luò)模型的辨識(shí)效果，由圖可見(jiàn)，同樣是采用本文算法的OIF-Elman網(wǎng)絡(luò)模型相比其他兩種模型對(duì)于樣本的擬合效果更好。

5 結(jié)束語(yǔ)

加熱爐換熱器對(duì)象是一個(gè)多入多出的動(dòng)態(tài)過(guò)程，采用OIFElman這種遞歸型神經(jīng)網(wǎng)絡(luò)對(duì)加熱爐換熱器對(duì)象閉環(huán)調(diào)節(jié)過(guò)程的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了辨識(shí)，得到具有一定精度的神經(jīng)網(wǎng)絡(luò)模型。采用BP算法，網(wǎng)絡(luò)的隱層節(jié)點(diǎn)較多，收斂速度慢，且精度不高。采用粒子群等智能算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值、閾值、關(guān)聯(lián)系數(shù)、關(guān)聯(lián)層初始值，較之BP算法，智能優(yōu)化算法表現(xiàn)出了較快的收斂速度與精度，省卻了人為給定關(guān)聯(lián)系數(shù)及關(guān)聯(lián)層初值這一步驟，同時(shí)表現(xiàn)出了較強(qiáng)的搜索能力，簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，得出了在同樣規(guī)模的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下BP算法無(wú)法搜索到的解。本文提出的混合算法較之多種改進(jìn)的差分進(jìn)化粒子群算法在仿真結(jié)果上表現(xiàn)出較好的搜索能力，并應(yīng)用到神經(jīng)網(wǎng)絡(luò)對(duì)象辨識(shí)中，針對(duì)加熱爐換熱器對(duì)象得到了一種結(jié)構(gòu)簡(jiǎn)單，精度更高的神經(jīng)網(wǎng)絡(luò)模型。

參考文獻(xiàn)：

[1]茹菲，李鐵鷹.人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)綜述[J].軟件導(dǎo)刊， 2011，10（03）：134-135.

[2]章國(guó)升.基于遞歸神經(jīng)網(wǎng)絡(luò)的非線性系統(tǒng)辨識(shí)研究[D].蘭州： 蘭州大學(xué)，2010.

[3]時(shí)小虎，梁艷春，徐旭.改進(jìn)的Elman模型與遞歸反傳控制神經(jīng)網(wǎng)絡(luò)[J].軟件學(xué)報(bào)，2003，14（06）：82-91.

[4]王琛.超超臨界機(jī)組非線性動(dòng)態(tài)模型的研究[D].北京：華北電力大學(xué)（北京），2010.

[5]姚柳.超超臨界機(jī)組的建模與仿真[D].北京：華北電力大學(xué)（北京），2011.

[6]宋錦，師玉嬌，高浩等.基于新型變異策略的差分進(jìn)化算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2016，37（05）：1285-1290.

[7]Gao H，Xu W. Particle Swarm Algorithm with Hybrid Mutation Strategy[J]. Applied Soft Computing， 2011， 11（8）： 5129-5142.

[8]辛斌，陳杰.粒子群優(yōu)化與差分進(jìn)化混合算法的綜述與分類(lèi)[J]. 系統(tǒng)科學(xué)與數(shù)學(xué)，2011，31（9）：1130-1150.

[9]Zhang W，Xie X.Depso：Hybrid Particle Swarm with Differential Evolution Operator[C]//Proceedings of the Ieee International Conference on Systems，man，and Cybernetics， [S.l.]：[s.n.]，2004：3816-3821.

[10]Jun S，Jian L.A Hybrid of Differential Evolution and Particle Swarm Optimization for Global Optimization[C]//Proceedings of the 3rd International Symposium on Intelligent Information Technology Application，[S.l.]：[s.n.]， 2009：138-141.

[11]Niu B，Li L.A Novel Pso-de-based Hybrid Algorithm for Global Optimization[C]//Proceedings of the 4th International Conference on Intelligent Computing，[S.l.]：Springer Berlin Heidelberg，2008：156-163.

神經(jīng)網(wǎng)絡(luò)過(guò)擬合的表現(xiàn)范文3

關(guān)鍵詞：匯率彈性化；匯率波動(dòng)；神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：F830.7 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-2265（2013）04-0008-06

一、文獻(xiàn)綜述

隨著經(jīng)濟(jì)全球化的不斷推進(jìn)和國(guó)際資本流動(dòng)的日益加劇，匯率對(duì)于投資者選擇正確的投資策略、企業(yè)規(guī)避和防范外匯風(fēng)險(xiǎn)以及中央銀行有效干預(yù)外匯市場(chǎng)和制定正確的貨幣政策，都有著非常重要的影響。因此，關(guān)于匯率的行為描述和預(yù)測(cè)問(wèn)題研究一直是國(guó)內(nèi)外理論界關(guān)注的焦點(diǎn)。

關(guān)于匯率波動(dòng)的預(yù)測(cè)，一般從“匯率波動(dòng)緣于經(jīng)濟(jì)系統(tǒng)基本因素所致”（易綱、范敏，1997）出發(fā)，進(jìn)而基于對(duì)匯率的理性預(yù)期等假設(shè)前提對(duì)匯率決定進(jìn)行探討。相關(guān)的理論有購(gòu)買(mǎi)力平價(jià)理論、利率平價(jià)理論、國(guó)際收支說(shuō)等，并基于此，在匯率與影響匯率的經(jīng)濟(jì)因素之間建立線性模型，再利用計(jì)量等工具對(duì)模型進(jìn)行檢驗(yàn)、矯正。常用的方法有最小二乘法、協(xié)整方法等。易綱、范敏（1997）對(duì)人民幣匯率決定的諸多理論作了詳盡分析，他們認(rèn)為，均衡的市場(chǎng)利率和貨幣的完全可兌換這兩個(gè)前提條件在中國(guó)不成立，從而利率平價(jià)在中國(guó)解釋能力不強(qiáng)，這與王愛(ài)儉等（2003）的結(jié)論一致。但他們同時(shí)指出，隨著中國(guó)向人民幣完全可兌換和資本自由流動(dòng)的方向不斷邁進(jìn)，利率平價(jià)的解釋和預(yù)測(cè)能力會(huì)越來(lái)越強(qiáng)。魏巍賢（1998）在其1997年研究成果中的人民幣匯率決定模型的基礎(chǔ)上，采用月度數(shù)據(jù)構(gòu)建了人民幣短期匯率預(yù)測(cè)模型，結(jié)果表明模型具有較好的模擬和預(yù)測(cè)性能以及結(jié)構(gòu)穩(wěn)定性。他進(jìn)一步的研究（2000）結(jié)果表明，1994年以來(lái)匯率穩(wěn)定主要?dú)w因于央行的干預(yù)、適度從緊的貨幣政策、高速的經(jīng)濟(jì)增長(zhǎng)以及對(duì)外債余額與通貨膨脹的有效控制。惠曉峰等（1999）對(duì)購(gòu)買(mǎi)力平價(jià)和貨幣理論進(jìn)行修正，采用線性組合預(yù)測(cè)匯率，結(jié)果顯示組合模型比單個(gè)模型更加穩(wěn)定。相關(guān)的文獻(xiàn)還可見(jiàn)于鄭蘭祥（2000）、張道政（2005）等。

另一種匯率預(yù)測(cè)的思路便是傳統(tǒng)的時(shí)間序列模型，常用的有ARMA模型（帕爾馬和陳，1997）、隨機(jī)游走模型（哈基奧，1986）和GARCH簇模型（波勒斯列夫等，1991；恩格爾等，1997）。惠曉峰等（2003）論證了GARCH模型預(yù)測(cè)人民幣匯率時(shí)序的可行性，發(fā)現(xiàn)人民幣匯率存在明顯的異方差性。韋斯特等（West等，1995）通過(guò)以上幾個(gè)模型對(duì)匯率預(yù)測(cè)效果的對(duì)比發(fā)現(xiàn)，GARCH模型預(yù)測(cè)效果最佳，尤其是短期預(yù)測(cè)；ARMA模型預(yù)測(cè)效果次之。霍伯（Hopper，1997）和布魯克斯（Brooks，1997）的研究結(jié)論也表明，GARCH等時(shí)序模型能有效預(yù)測(cè)匯率波動(dòng)。

然而大量的研究發(fā)現(xiàn)，市場(chǎng)的收益率并非呈現(xiàn)標(biāo)準(zhǔn)正態(tài)分布，反而呈明顯尖峰厚尾現(xiàn)象。同時(shí)，諸多文獻(xiàn)進(jìn)一步證實(shí)匯率波動(dòng)呈現(xiàn)簇聚現(xiàn)象、長(zhǎng)記憶性等顯著的非線性特征（波勒斯列夫等，1991；恩格爾等，1997；楊瑞成等，2010）。可見(jiàn)，非線性特征存在于匯率波動(dòng)已是不爭(zhēng)的事實(shí)（米斯等，1990），而神經(jīng)網(wǎng)絡(luò)是預(yù)測(cè)匯率非線性波動(dòng)的良好選擇（關(guān)等，1995）。

神經(jīng)網(wǎng)絡(luò)方法在匯率波動(dòng)預(yù)測(cè)的應(yīng)用研究已有諸多文獻(xiàn)可考。迪博爾德等（Diebold等，1990）研究認(rèn)為，非線性方法在匯率波動(dòng)預(yù)測(cè)中對(duì)于匯率值以及趨勢(shì)的預(yù)測(cè)都有更優(yōu)表現(xiàn)。魯芬斯等（Refense等，1993）也認(rèn)為神經(jīng)網(wǎng)絡(luò)方法對(duì)匯率預(yù)測(cè)要比傳統(tǒng)線性預(yù)測(cè)方法好很多。勞舍爾（Rauscher，l997）在驗(yàn)證了匯率與經(jīng)濟(jì)各變量間的長(zhǎng)期均衡關(guān)系后，采用各經(jīng)濟(jì)變量作為BP網(wǎng)絡(luò)的輸入，對(duì)匯率的波動(dòng)作了動(dòng)態(tài)預(yù)測(cè)，結(jié)果表明BP網(wǎng)絡(luò)在匯率的波動(dòng)尤其是其波動(dòng)趨勢(shì)上的預(yù)測(cè)要優(yōu)于ARMA、VEC等線性模型。惠曉峰等（2002）針對(duì)傳統(tǒng)BP網(wǎng)絡(luò)的缺陷，結(jié)合遺傳算法與遞歸預(yù)測(cè)方法提出基于實(shí)數(shù)編碼的GABP網(wǎng)絡(luò)預(yù)測(cè)模型，并在人民幣兌美元匯率時(shí)序的實(shí)證檢驗(yàn)中得出良好的結(jié)果。王熙等（2010）通過(guò)對(duì)人民幣名義匯率高頻時(shí)序波動(dòng)率的研究，驗(yàn)證了其非線性動(dòng)態(tài)行為表征，同時(shí)指出，非線性模型能比線性模型更好地描述匯率時(shí)序中大的波動(dòng)。

可見(jiàn)，國(guó)內(nèi)外文獻(xiàn)主要根據(jù)相關(guān)理論和模型對(duì)匯率自身或者匯率收益的波動(dòng)率進(jìn)行預(yù)測(cè)和比較分析，而較少?gòu)膮R率收益率的角度探討匯率波動(dòng)區(qū)間和波動(dòng)趨勢(shì)以及匯率彈性化下匯率波動(dòng)預(yù)測(cè)模型的選擇問(wèn)題，而這正是本文要重點(diǎn)解決的問(wèn)題。因此，本文選取2001年1月至2010年12月的月度數(shù)據(jù)，綜合采用線性MA模型和非線性神經(jīng)網(wǎng)絡(luò)模型對(duì)匯率波動(dòng)進(jìn)行預(yù)測(cè)比較，探討匯率彈性化下人民幣匯率的波動(dòng)預(yù)測(cè)問(wèn)題，借以捕捉匯率波動(dòng)趨勢(shì)，并基于此給出相應(yīng)的結(jié)論與建議。

二、變量說(shuō)明與模型選擇

根據(jù)黃志剛等（2010）的分析，本文選擇VOL（匯率波動(dòng)）、CF（短期跨境資本流動(dòng)）、ERI（匯率干預(yù)）、RIR（實(shí)際利率）4個(gè)經(jīng)濟(jì)變量來(lái)解釋匯率的波動(dòng)，同時(shí)加入股市收益及匯率波動(dòng)滯后項(xiàng)作為匯率波動(dòng)的預(yù)測(cè)解釋變量。各變量說(shuō)明如下。

（一）變量與數(shù)據(jù)說(shuō)明

1. VOL：匯率波動(dòng)。關(guān)于匯率波動(dòng)的預(yù)測(cè)，本文主要探討匯率的收益率，即波動(dòng)幅度。黃志剛等（2010）將其定義為：

[rt=mpt-mpt-1mpt-1×100]

其中，[mpt]表示直接標(biāo)價(jià)法下當(dāng)月每日即期匯率的平均值，[mpt-1]表示前一個(gè)月每日即期匯率的平均值。這是百分比法定義的收益率。然而因?qū)?shù)收益率有更好的統(tǒng)計(jì)特性，如具有簡(jiǎn)單的可加性，能在一定程度上消除或降低自相關(guān)等線性依賴(lài)性等（楊瑞成等，2010），因而對(duì)金融時(shí)序分析而言，對(duì)數(shù)收益率比百分比收益率更為適用（雷強(qiáng)等，2009）。故本文采用匯率價(jià)格的對(duì)數(shù)收益率來(lái)表示人民幣兌美元匯率波動(dòng)，定義如下：

[VOLt=Ln（Pt/Pt-1）×100]

其中[Pt]表示第t月人民幣兌美元匯率中間價(jià)的月度均值，乘以100是為了提高精度，數(shù)據(jù)來(lái)源于中國(guó)人民銀行網(wǎng)站。

2. CF：短期國(guó)際資本流動(dòng)。關(guān)于短期跨境資本流動(dòng)（Capital Flow，記為CF）的度量，本文沿用黃志剛（2010）的設(shè)定方式，即：

短期跨境資本流動(dòng)=外商直接投資增加額+外債增加額+經(jīng)常項(xiàng)目順差額-外匯儲(chǔ)備增加額

其中，各變量均采用月度數(shù)據(jù)。不同的是，本文中的外債增加額是將外債凈額季度數(shù)據(jù)通過(guò)一階差分得到的季度增加額，用Eviews7.2軟件轉(zhuǎn)換為月度數(shù)據(jù)得來(lái)，而不是直接把差分所得的季度增加額當(dāng)作每個(gè)月的值（這會(huì)高估外債增加額）。經(jīng)常項(xiàng)目順差仍采用進(jìn)出口順差的月度數(shù)據(jù)近似表示。數(shù)據(jù)來(lái)源于國(guó)家商務(wù)部網(wǎng)站和國(guó)家外管局網(wǎng)站。

3. ERI：匯率干預(yù)。為研究政府干預(yù)對(duì)匯率波動(dòng)的影響，本文根據(jù)干杏娣等（2007）和黃志剛等（2010）的研究結(jié)論，同樣選取外匯儲(chǔ)備月度變化量代表政府對(duì)匯率波動(dòng)的干預(yù)（Exchange Rate Interference，記為ERI）。數(shù)據(jù)來(lái)源于國(guó)家外管局網(wǎng)站。

4. RIR：實(shí)際利率。根據(jù)利率平價(jià)、購(gòu)買(mǎi)力平價(jià)等國(guó)際金融理論可知，利率的變化會(huì)通過(guò)不同途徑和不同方式引起國(guó)際收支的變化，進(jìn)而引起匯率變動(dòng)；同時(shí)也能通過(guò)資本流動(dòng)和商品市場(chǎng)對(duì)匯市波動(dòng)產(chǎn)生直接或間接的影響。國(guó)外大量研究表明，利率價(jià)格變化對(duì)匯率波動(dòng)有顯著影響，并且匯市與貨幣市場(chǎng)間存在雙向波動(dòng)溢出效應(yīng)，這些特征在成熟市場(chǎng)國(guó)家表現(xiàn)更為突出。隨著我國(guó)匯率彈性的逐漸增加，二者間的聯(lián)動(dòng)性進(jìn)一步增強(qiáng)，央行調(diào)控政策效果不僅取決于利率或匯率變動(dòng)，還取決于二者間的聯(lián)動(dòng)性。

因此，本文沿用實(shí)際利率（記為RIR）代表宏觀經(jīng)濟(jì)形勢(shì)的變化。數(shù)據(jù)采用全國(guó)銀行間同業(yè)拆借市場(chǎng)利率的月度加權(quán)均值，并通過(guò)月度通脹率進(jìn)行調(diào)整而得，數(shù)據(jù)來(lái)源于中國(guó)人民銀行網(wǎng)站、國(guó)家統(tǒng)計(jì)局網(wǎng)站和《中國(guó)金融統(tǒng)計(jì)年鑒》。

5. SHZ：上證指數(shù)收益。大量研究文獻(xiàn)認(rèn)為股市對(duì)匯率波動(dòng)也有很大影響。自20世紀(jì)90年代以來(lái)，國(guó)內(nèi)外學(xué)者就已對(duì)股市與匯市的關(guān)系作了豐富研究，許多學(xué)者分別從宏觀和微觀角度分析得出股市與匯市間存在較強(qiáng)聯(lián)系的結(jié)論，但不同國(guó)家間傳導(dǎo)關(guān)系有別。也有部分研究指出二者間并不存在長(zhǎng)期關(guān)聯(lián)性（菲力巴提斯等，2005；奧賽爾，2006；姚等，2006），但大部分學(xué)者傾向于認(rèn)為金融自由化會(huì)加強(qiáng)兩者間的聯(lián)系（王新軍等，2010）。因此，為研究股市與匯市間的關(guān)系，并比較分析不同匯制下二者間的關(guān)系，本文也把該變量考慮在內(nèi)，同時(shí)將滯后一期匯率波動(dòng)的影響VOL（-1）項(xiàng)也考慮到匯率波動(dòng)預(yù)測(cè)中。

鑒于兩次匯改（分別是2005年7月21日和2007年5月21日央行進(jìn)行的兩次匯率改革）以及金融危機(jī)（即2008年12月次貸危機(jī)引發(fā)的全球金融危機(jī)）的影響，本文將研究數(shù)據(jù)劃分為4個(gè)階段：2001年1月―2005年7月（2001M01―2005M07），2005年8月―2007年4月（2005M08―2007M04），2007年5月―2008年12月（2007M05―2008M12），2009年1月―2010年12月（2009M01―2010M12），對(duì)以上變量間的關(guān)系進(jìn)行分階段檢驗(yàn)。

（二）平穩(wěn)性檢驗(yàn)

由表1可知，各變量在不同時(shí)段呈現(xiàn)出不同性質(zhì)。其中第一、四階段結(jié)果較一致；第二、三階段結(jié)果較一致。以第二、三階段為例，原序列VOL、CF、ERI、RIR均不能拒絕存在單位根的原假設(shè)，而經(jīng)過(guò)一階差分后則都為平穩(wěn)序列。因此，VOL、CF、ERI、RIR在第二、三階段都為一階單整序列。而SHZ收益序列則是平穩(wěn)時(shí)序。顯然第一、四階段各變量間并不滿足協(xié)整檢驗(yàn)前提，故只針對(duì)第二、三階段作進(jìn)一步協(xié)整檢驗(yàn)。

（三）協(xié)整檢驗(yàn)

協(xié)整可用以描述變量間的長(zhǎng)期穩(wěn)定關(guān)系。鑒于數(shù)據(jù)量的緣故，本文綜合VAR模型檢驗(yàn)結(jié)果以及黃志剛等（2010）的研究，確定第二、三階段相應(yīng)變量檢驗(yàn)最佳滯后階數(shù)均為1，結(jié)果如表2所示。可知，兩階段各變量間均存在顯著的長(zhǎng)期均衡關(guān)系。

由式（1）―（4）可知，無(wú)論哪個(gè)階段，政府干預(yù)對(duì)匯率波動(dòng)始終呈顯著負(fù)效應(yīng)；而滯后一期匯率波動(dòng)則對(duì)當(dāng)期匯率波動(dòng)有顯著正向影響，這也說(shuō)明了匯率波動(dòng)的趨勢(shì)性特征。比較不同階段回歸方程的系數(shù)正負(fù)可以發(fā)現(xiàn)，2005年匯改后的第二、三階段回歸結(jié)果一致性較強(qiáng)，而2005年前的第一階段與2009年后第四階段的回歸結(jié)果相近度較高，既反映了不同階段變量間內(nèi)在聯(lián)系的變化，也從側(cè)面反映出不同階段金融市場(chǎng)、宏觀經(jīng)濟(jì)及調(diào)控政策等整體環(huán)境的不同。如第二、三階段短期資本流動(dòng)與匯率波動(dòng)呈顯著正相關(guān)，股市與匯市波動(dòng)有顯著正聯(lián)動(dòng)性，實(shí)際利率與匯率波動(dòng)顯著負(fù)相關(guān)，反映了該時(shí)期匯率制度彈性不斷增大，金融市場(chǎng)、宏觀經(jīng)濟(jì)及調(diào)控政策等整體環(huán)境變化不大。但在匯改之前與金融危機(jī)階段，上述自變量與匯率波動(dòng)變量的回歸系數(shù)方向恰好相反，這與吳（WU，2000）的研究結(jié)論一致，說(shuō)明該二階段匯率缺乏彈性或存在較多的政府干預(yù)和資本管制等。

由變量顯著性也可發(fā)現(xiàn)，匯率與利率關(guān)聯(lián)性在2005年匯改之后有顯著提升，這說(shuō)明隨著匯率彈性明顯增強(qiáng)，匯率對(duì)利率的反應(yīng)也逐步靈敏，匯率改革逐步回歸市場(chǎng)（陳鏡冰等，2010）。第一、四階段結(jié)果表明二者間存在正向關(guān)系，貨幣市場(chǎng)變動(dòng)加劇了匯市波動(dòng)。而且此二階段人民幣兌美元匯率波動(dòng)幅度較小，限制了貨幣市場(chǎng)與外匯市場(chǎng)間的信息傳導(dǎo)（趙華，2007），桎梏了我國(guó)貨幣政策的傳導(dǎo)效率，進(jìn)而也說(shuō)明了匯率的非市場(chǎng)化會(huì)阻礙利率的市場(chǎng)化進(jìn)程。

同時(shí)也可看出，MA過(guò)程能夠較好地?cái)M合匯率的波動(dòng)模型，但4個(gè)階段的最優(yōu)回歸方程不盡相同，故對(duì)相應(yīng)時(shí)期波動(dòng)預(yù)測(cè)應(yīng)根據(jù)不同時(shí)段作動(dòng)態(tài)的模型調(diào)整。因此，本文考慮以2005年為分界點(diǎn)，對(duì)不同時(shí)期的匯率波動(dòng)采取逐月預(yù)測(cè)的方式，并同時(shí)使用全時(shí)段的預(yù)測(cè)方式作比較分析。預(yù)測(cè)模型如下：

[VOL=C+α1CF+α2ERI+α3RIR+α4SHZ+α5VOL（-1）+β1ma（1）+…+βnma（n） （5）]

其中，ma的項(xiàng)數(shù)根據(jù)具體情況選擇。全時(shí)段預(yù)測(cè)模型根據(jù)前90個(gè)月數(shù)據(jù)得出最優(yōu)模型，進(jìn)而預(yù)測(cè)后30個(gè)月數(shù)據(jù)；逐月預(yù)測(cè)則分兩段，分別以30個(gè)月和20個(gè)月歷史窗口值作滾動(dòng)預(yù)測(cè)，即每預(yù)測(cè)一個(gè)月的數(shù)值，就對(duì)模型進(jìn)行調(diào)整，根據(jù)擬合優(yōu)度、AIC準(zhǔn)則、變量顯著性和模型穩(wěn)健性等選取最優(yōu)預(yù)測(cè)模型。

（五）神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型介紹

匯率波動(dòng)預(yù)測(cè)具有不確定性，時(shí)間序列及回歸模型是最常用的預(yù)測(cè)方式，其根據(jù)匯率變量與相關(guān)經(jīng)濟(jì)變量的關(guān)系構(gòu)建多元回歸模型作預(yù)測(cè)，但要求有較大樣本量。然而諸多學(xué)者的研究結(jié)果認(rèn)為，神經(jīng)網(wǎng)絡(luò)模型能夠有更優(yōu)的匯率預(yù)測(cè)表現(xiàn)，而其中BP神經(jīng)網(wǎng)絡(luò)就是目前應(yīng)用最為廣泛的一種網(wǎng)絡(luò)模型。BP網(wǎng)絡(luò)能通過(guò)比較網(wǎng)絡(luò)輸出結(jié)果的誤差，反復(fù)修正權(quán)值和閥值，逐步縮小誤差，提高預(yù)測(cè)精度，即“誤差逆?zhèn)鞑ニ惴ā薄ｋS著這種誤差逆?zhèn)鞑バ拚粩噙M(jìn)行，網(wǎng)絡(luò)對(duì)輸入響應(yīng)的準(zhǔn)確率不斷上升。

由于傳統(tǒng)BP網(wǎng)絡(luò)預(yù)測(cè)存在收斂慢、振蕩、容易陷入局部極小點(diǎn)、權(quán)值偏大以及不穩(wěn)定等問(wèn)題（周永進(jìn)等，2007），許多學(xué)者對(duì)BP網(wǎng)絡(luò)算法作了改進(jìn)，如MFBP、MBP、動(dòng)態(tài)自適應(yīng)BP快速算法，以及人工智能算法如遺傳算法、模擬退火算法等與BP網(wǎng)絡(luò)結(jié)合的組合神經(jīng)網(wǎng)絡(luò)模型等。其中，遺傳算法（Genetic Algorithms，GA）是使用較廣泛也較優(yōu)的選擇（金，2005）。GA算法是一種全局尋優(yōu)搜索算法，它能通過(guò)群體實(shí)現(xiàn)搜索過(guò)程，且易于并行化，能夠提高算法的效率。本文采用GA算法對(duì)BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)進(jìn)行優(yōu)化（伍海華，2009）。先用GA算法對(duì)初始權(quán)值進(jìn)行優(yōu)化，定出權(quán)值取值范圍；然后采用BP算法在以上的解空間中搜索最優(yōu)解；再根據(jù)網(wǎng)絡(luò)的不斷訓(xùn)練與迭代，直至達(dá)到最優(yōu)權(quán)值進(jìn)而進(jìn)行BP網(wǎng)絡(luò)預(yù)測(cè)。

國(guó)內(nèi)外學(xué)者的研究成果已經(jīng)表明，用GA算法改進(jìn)的BP網(wǎng)絡(luò)的預(yù)測(cè)效果和收斂速度要明顯優(yōu)于一般BP網(wǎng)絡(luò)算法（魏巍賢等，1995；王建成等，1998；鄭志軍等，2000）。因此本文選擇GABP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行預(yù)測(cè)，并與前文MA模型預(yù)測(cè)效果作比較，探討匯率彈性化下不同模型對(duì)匯率波動(dòng)預(yù)測(cè)的解釋力。

三、匯率彈性化下人民幣匯率波動(dòng)預(yù)測(cè)模型的比較分析

（一）預(yù)測(cè)方式

本文分別采用以下四種方式對(duì)人民幣兌美元匯率波動(dòng)進(jìn)行樣本內(nèi)擬合與樣本外預(yù)測(cè)。

1. MAQD全時(shí)段預(yù)測(cè)：采用90個(gè)月的歷史數(shù)據(jù)對(duì)后續(xù)30個(gè)月數(shù)據(jù)作預(yù)測(cè)，并對(duì)歷史數(shù)據(jù)進(jìn)行模擬。

2. MAZY逐月預(yù)測(cè)：根據(jù)匯率彈性的不同，對(duì)2001M01―2005M07時(shí)段和2005M08―2010M12時(shí)段分別采用30個(gè)月和20個(gè)月的周期窗口進(jìn)行滾動(dòng)逐月預(yù)測(cè)。

3. GABP網(wǎng)絡(luò)預(yù)測(cè)：采用遺傳算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)方法對(duì)匯率波動(dòng)進(jìn)行樣本外預(yù)測(cè)和樣本內(nèi)模擬。

由圖1可見(jiàn)，MA逐月和GABP網(wǎng)絡(luò)預(yù)測(cè)的效果均優(yōu)于全時(shí)段MA預(yù)測(cè)效果。逐月預(yù)測(cè)的匯率波動(dòng)與實(shí)際波動(dòng)趨勢(shì)較吻合；而全時(shí)段預(yù)測(cè)值傾向于低估實(shí)際匯率波動(dòng)。用GABP網(wǎng)絡(luò)得出的預(yù)測(cè)值與實(shí)際值較接近。當(dāng)然這只是直觀的認(rèn)知，對(duì)于各模型的實(shí)際預(yù)測(cè)效果還需根據(jù)相關(guān)評(píng)價(jià)指標(biāo)予以比較。

（二）模型性能評(píng)價(jià)

由于神經(jīng)網(wǎng)絡(luò)無(wú)法用計(jì)量經(jīng)濟(jì)學(xué)中常用的擬合優(yōu)度、置信度、顯著性等檢驗(yàn)指標(biāo)，為與MA多元回歸模型結(jié)果作比較，本文綜合采用以下幾個(gè)常用指標(biāo)來(lái)評(píng)價(jià)各模型預(yù)測(cè)效果。

1. 平均絕對(duì)誤差（MAE）：[MAE=1Ni=1N|volfi-voli|]

2. 均方誤差（MSE）：[MSE=1Ni=1N（volfi-voli）2]

3.平均絕對(duì)百分誤差（MAPE）：

[MAPE=1Ni=1N|volfi-volivoli|]

4.均方根誤差（RMSE）：[RMSE=1Ni=1N（volfi-voli）2]

其中，[voli]與[volfi]分別表示匯率波動(dòng)的實(shí)際值和預(yù)測(cè)值。對(duì)于各模型而言，以上4個(gè)數(shù)值越小，說(shuō)明模型預(yù)測(cè)值越接近于實(shí)際值，因而模型的預(yù)測(cè)效果也就越佳。

MA模型、一般BP網(wǎng)絡(luò)和GABP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果如表3所示。

同時(shí)對(duì)最后30個(gè)月共同預(yù)測(cè)期的匯率波動(dòng)預(yù)測(cè)值作圖，如圖2所示。

綜合表3和圖2我們可以發(fā)現(xiàn)，MA模型對(duì)于歷史數(shù)據(jù)的擬合效果要相對(duì)優(yōu)于BP神經(jīng)網(wǎng)絡(luò)模型，逐月MA模型預(yù)測(cè)結(jié)果優(yōu)于全時(shí)段MA模型。就全時(shí)段MA模型而言，其對(duì)歷史數(shù)據(jù)模擬的絕對(duì)偏差均很小，而對(duì)樣本外數(shù)據(jù)的預(yù)測(cè)效果卻不佳；逐月MA模型則不但能達(dá)到很好的歷史擬合，同時(shí)其樣本外預(yù)測(cè)效果也較好，無(wú)論是絕對(duì)誤差還是均方誤差皆遠(yuǎn)小于全時(shí)段MA預(yù)測(cè)效果。從圖2中也可以發(fā)現(xiàn)，逐月MA預(yù)測(cè)時(shí)序和匯率實(shí)際波動(dòng)趨勢(shì)較吻合，而全時(shí)段MA則明顯低估匯率實(shí)際波動(dòng)。這些都再次證明了逐月預(yù)測(cè)的優(yōu)越性。

分階段比較可以發(fā)現(xiàn)，MA模型適合于匯率波動(dòng)趨勢(shì)變化較小時(shí)期的預(yù)測(cè)，而B(niǎo)P神經(jīng)網(wǎng)絡(luò)模型對(duì)匯率波動(dòng)較大時(shí)期的預(yù)測(cè)更具有良好表現(xiàn)。2005年匯改之前，逐月MA模型無(wú)論是樣本內(nèi)模擬還是樣本外預(yù)測(cè)都是三種方式中最優(yōu)的，該時(shí)段匯率缺乏彈性，正好體現(xiàn)了MA線性模型對(duì)于穩(wěn)定趨勢(shì)預(yù)測(cè)的良好性能。而隨著匯率波動(dòng)程度的增強(qiáng)，以近30個(gè)月的預(yù)測(cè)效果而言，GABP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)無(wú)論是在匯率波動(dòng)數(shù)值還是波動(dòng)趨勢(shì)方向上都有著更優(yōu)良的表現(xiàn)。同時(shí)也可發(fā)現(xiàn)，2008―2009年間的預(yù)測(cè)值偏差均較大，這也從側(cè)面反映了金融危機(jī)的影響。

綜上可知，2005年匯改之前，即匯率缺乏彈性時(shí)期，逐月MA模型的歷史擬合和樣本外預(yù)測(cè)效果最優(yōu)；隨著匯改的深入，匯率彈性逐步增強(qiáng)，GABP神經(jīng)網(wǎng)絡(luò)模型無(wú)論是在匯率波動(dòng)的數(shù)值上還是波動(dòng)趨勢(shì)方向上的預(yù)測(cè)均有最優(yōu)表現(xiàn)。同時(shí)，利用非線性神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)在匯率彈性較大時(shí)期能夠有比線性MA模型更優(yōu)的預(yù)測(cè)效果，即能更好地捕捉實(shí)際匯率的波動(dòng)。可見(jiàn)，對(duì)于匯率波動(dòng)的預(yù)測(cè)不但應(yīng)選擇合適的變量，同時(shí)在匯率彈性的不同時(shí)期也應(yīng)當(dāng)選取合適的匯率波動(dòng)預(yù)測(cè)模型。

四、結(jié)論

匯率是影響國(guó)際間經(jīng)濟(jì)金融聯(lián)系和發(fā)展的重要變量。自2005年我國(guó)啟動(dòng)人民幣匯率形成機(jī)制改革以來(lái)，匯率彈性不斷增大，波動(dòng)性明顯增強(qiáng)。本文利用2001―2010年的月度數(shù)據(jù)，分別采用MA線性模型和基于遺傳算法改進(jìn)的GABP網(wǎng)絡(luò)模型，對(duì)匯率波動(dòng)進(jìn)行了模擬預(yù)測(cè)，結(jié)果表明2005年人民幣匯改以來(lái)，匯率與經(jīng)濟(jì)變量間的關(guān)聯(lián)性明顯增強(qiáng)，但2008年金融危機(jī)以來(lái)，受相關(guān)政策的影響，匯率改革有些停滯，匯率與經(jīng)濟(jì)變量間的聯(lián)動(dòng)性減弱，這說(shuō)明匯率的彈性化能夠加深匯率波動(dòng)及其結(jié)構(gòu)變量間的均衡關(guān)系。

匯率與經(jīng)濟(jì)結(jié)構(gòu)變量間的模型分析結(jié)果表明，政府干預(yù)對(duì)匯率波動(dòng)呈顯著負(fù)效應(yīng)，而滯后一期匯率波動(dòng)則對(duì)當(dāng)期匯率波動(dòng)有顯著正向影響，匯率彈性增大增強(qiáng)了人民幣升值預(yù)期，升值預(yù)期則進(jìn)一步助推了股市價(jià)格波動(dòng)，股市對(duì)匯率波動(dòng)的影響會(huì)因匯率彈性的不同而有所差異。匯率缺乏彈性會(huì)限制貨幣市場(chǎng)與外匯市場(chǎng)間的信息傳導(dǎo)，桎梏我國(guó)貨幣政策的傳導(dǎo)效率，這也進(jìn)而說(shuō)明了匯率的非市場(chǎng)化會(huì)阻礙利率的市場(chǎng)化進(jìn)程。因此在促成利率市場(chǎng)化的諸多因素中，匯率因素起著不可忽視的作用，要加快完善貨幣市場(chǎng)才能更大程度地發(fā)揮利率對(duì)匯率的作用機(jī)制（王愛(ài)儉等，2003），意即利率市場(chǎng)化改革應(yīng)與匯率市場(chǎng)化改革協(xié)調(diào)推進(jìn)，二者不可分而治之。

比較不同模型的預(yù)測(cè)效果發(fā)現(xiàn)，MA線性模型基于歷史數(shù)據(jù)對(duì)匯率波動(dòng)趨勢(shì)的持續(xù)性預(yù)測(cè)效果較好，適合于短期預(yù)測(cè)，因此2005年匯改之前，即匯率缺乏彈性時(shí)期，逐月MA模型的歷史擬合和樣本外預(yù)測(cè)效果最優(yōu)；而且逐月預(yù)測(cè)效果要遠(yuǎn)優(yōu)于全時(shí)段預(yù)測(cè)。GABP神經(jīng)網(wǎng)絡(luò)算法可以逼近任意非線性映射，避開(kāi)了復(fù)雜的參數(shù)估計(jì)過(guò)程，較為簡(jiǎn)單直觀，而且能夠顯著提升BP網(wǎng)絡(luò)的預(yù)測(cè)效能。隨著匯改的逐步深入和匯率彈性的逐步增強(qiáng)，GABP神經(jīng)網(wǎng)絡(luò)模型相對(duì)MA線性模型對(duì)匯率波動(dòng)有更好的解釋力和預(yù)測(cè)效果。可見(jiàn)，對(duì)于人民幣匯率彈性化進(jìn)程中匯率波動(dòng)預(yù)測(cè)模型的選擇也應(yīng)根據(jù)匯率彈性不同因時(shí)而異。

參考文獻(xiàn)：

[1]易綱，范敏.人民幣匯率的決定因素及走勢(shì)分析[J].經(jīng)濟(jì)研究，1997，（10）.

[2]魏巍賢.人民幣匯率決定模型的實(shí)證分析[J].系統(tǒng)工程理論與實(shí)踐，2000，（3）.

[3]Baillie Richard，Bollerslev Tim.1991.Intra-day and Inter-market Volatility in Foreign Exchange Rates， Review of Economic Studies， 58（3）， pp.565-585.

[4] Engle R.，R.Jeffrey.1997.Forecasting the frequency of changes in quoted foreign exchange prices with the autoregressive conditional duration model， Journal of Empirical Finance，4 （3），pp.187-212.

神經(jīng)網(wǎng)絡(luò)過(guò)擬合的表現(xiàn)范文4

過(guò)去10年，人們對(duì)機(jī)器學(xué)習(xí)的興趣激增。幾乎每天，你都可以在各種各樣的計(jì)算機(jī)科學(xué)課程、行業(yè)會(huì)議、華爾街日?qǐng)?bào)等等看到有關(guān)機(jī)器學(xué)習(xí)的討論。在所有關(guān)于機(jī)器學(xué)習(xí)的討論中，許多人把機(jī)器學(xué)習(xí)能做的事情和他們希望機(jī)器學(xué)習(xí)做的事情混為一談。從根本上講，機(jī)器學(xué)習(xí)是使用算法從原始數(shù)據(jù)中提取信息，并在某種類(lèi)型的模型中表示這些信息。我們使用這個(gè)模型來(lái)推斷還沒(méi)有建模的其他數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一種模型，它們至少有50年歷史了。神經(jīng)網(wǎng)絡(luò)的基本單元是節(jié)點(diǎn)(node)，基本上是受哺乳動(dòng)物大腦中的生物神經(jīng)元啟發(fā)。神經(jīng)元之間的連接也以生物的大腦為模型，這些連接隨著時(shí)間的推移而發(fā)展的方式是為“訓(xùn)練”。

在20世紀(jì)80年代中期和90年代初期，許多重要的架構(gòu)進(jìn)步都是在神經(jīng)網(wǎng)絡(luò)進(jìn)行的。然而，為了得到好的結(jié)果需要大量時(shí)間和數(shù)據(jù)，這阻礙了神經(jīng)網(wǎng)絡(luò)的采用，因而人們的興趣也減少了。在21世紀(jì)初，計(jì)算能力呈指數(shù)級(jí)增長(zhǎng)，計(jì)算技術(shù)出現(xiàn)了“寒武紀(jì)大爆發(fā)”。在這個(gè)10年的爆炸式的計(jì)算增長(zhǎng)中，深度學(xué)習(xí)成為這個(gè)領(lǐng)域的重要的競(jìng)爭(zhēng)者，贏得了許多重要的機(jī)器學(xué)習(xí)競(jìng)賽。直到2017年，這種興趣也還沒(méi)有冷卻下來(lái)；今天，我們看到一說(shuō)機(jī)器學(xué)習(xí)，就不得不提深度學(xué)習(xí)。

作者本人也注冊(cè)了Udacity的“Deep Learning”課程，這門(mén)課很好地介紹了深度學(xué)習(xí)的動(dòng)機(jī)，以及從TensorFlow的復(fù)雜和/或大規(guī)模的數(shù)據(jù)集中學(xué)習(xí)的智能系統(tǒng)的設(shè)計(jì)。在課程項(xiàng)目中，我使用并開(kāi)發(fā)了用于圖像識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，用于自然語(yǔ)言處理的嵌入式神經(jīng)網(wǎng)絡(luò)，以及使用循環(huán)神經(jīng)網(wǎng)絡(luò)/長(zhǎng)短期記憶的字符級(jí)文本生成。

本文中，作者總結(jié)了10個(gè)強(qiáng)大的深度學(xué)習(xí)方法，這是AI工程師可以應(yīng)用于他們的機(jī)器學(xué)習(xí)問(wèn)題的。首先，下面這張圖直觀地說(shuō)明了人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者之間的關(guān)系。

人工智能的領(lǐng)域很廣泛，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)子集，機(jī)器學(xué)習(xí)又是人工智能的一個(gè)子領(lǐng)域。將深度學(xué)習(xí)網(wǎng)絡(luò)與“經(jīng)典的”前饋式多層網(wǎng)絡(luò)區(qū)分開(kāi)來(lái)的因素如下:

比以前的網(wǎng)絡(luò)有更多的神經(jīng)元更復(fù)雜的連接層的方法用于訓(xùn)練網(wǎng)絡(luò)的計(jì)算機(jī)能力的“寒武紀(jì)大爆炸”自動(dòng)特征提取

這里說(shuō)的“更多的神經(jīng)元”時(shí)，是指神經(jīng)元的數(shù)量在逐年增加，以表達(dá)更復(fù)雜的模型。層(layers)也從多層網(wǎng)絡(luò)中的每一層都完全連接，到在卷積神經(jīng)網(wǎng)絡(luò)中層之間連接局部的神經(jīng)元，再到在循環(huán)神經(jīng)網(wǎng)絡(luò)中與同一神經(jīng)元的循環(huán)連接(recurrent connections)。

深度學(xué)習(xí)可以被定義為具有大量參數(shù)和層的神經(jīng)網(wǎng)絡(luò)，包括以下四種基本網(wǎng)絡(luò)結(jié)構(gòu)：

無(wú)監(jiān)督預(yù)訓(xùn)練網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)網(wǎng)絡(luò)

在本文中，主要介紹后三種架構(gòu)。基本上，卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一個(gè)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)，通過(guò)共享的權(quán)重在空間中擴(kuò)展。CNN設(shè)計(jì)用于通過(guò)內(nèi)部的卷積來(lái)識(shí)別圖像，它可以看到圖像中待識(shí)別的物體的邊緣。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)被設(shè)計(jì)用于識(shí)別序列，例如語(yǔ)音信號(hào)或文本。它的內(nèi)部有循環(huán)，這意味著網(wǎng)絡(luò)上有短的記憶。遞歸神經(jīng)網(wǎng)絡(luò)更像是一個(gè)層級(jí)網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)中，輸入必須以一種樹(shù)的方式進(jìn)行分層處理。下面的10種方法可以應(yīng)用于所有這些架構(gòu)。

1.反向傳播

反向傳播(Back-prop)是一種計(jì)算函數(shù)偏導(dǎo)數(shù)(或梯度)的方法，具有函數(shù)構(gòu)成的形式(就像神經(jīng)網(wǎng)絡(luò)中)。當(dāng)使用基于梯度的方法(梯度下降只是方法之一)解決優(yōu)化問(wèn)題時(shí)，你需要在每次迭代中計(jì)算函數(shù)梯度。

對(duì)于神經(jīng)網(wǎng)絡(luò)，目標(biāo)函數(shù)具有組合的形式。如何計(jì)算梯度呢？有兩種常用的方法：(i)解析微分(Analytic differentiation)。你已經(jīng)知道函數(shù)的形式，只需要用鏈?zhǔn)椒▌t(基本微積分)來(lái)計(jì)算導(dǎo)數(shù)。(ii)利用有限差分進(jìn)行近似微分。這種方法在計(jì)算上很昂貴，因?yàn)楹瘮?shù)值的數(shù)量是O(N)，N指代參數(shù)的數(shù)量。不過(guò)，有限差分通常用于在調(diào)試時(shí)驗(yàn)證back-prop實(shí)現(xiàn)。

2.隨機(jī)梯度下降法

一種直觀理解梯度下降的方法是想象一條河流從山頂流下的路徑。梯度下降的目標(biāo)正是河流努力達(dá)到的目標(biāo)——即，到達(dá)最底端(山腳)。

現(xiàn)在，如果山的地形是這樣的，在到達(dá)最終目的地之前，河流不會(huì)完全停下來(lái)(這是山腳的最低點(diǎn)，那么這就是我們想要的理想情況。)在機(jī)器學(xué)習(xí)中，相當(dāng)從初始點(diǎn)(山頂)開(kāi)始，我們找到了解決方案的全局最小(或最佳)解。然而，可能因?yàn)榈匦蔚男再|(zhì)迫使河流的路徑出現(xiàn)幾個(gè)坑，這可能迫使河流陷入困境。在機(jī)器學(xué)習(xí)術(shù)語(yǔ)中，這些坑被稱(chēng)為局部極小值，這是不可取的。有很多方法可以解決這個(gè)問(wèn)題。

因此，梯度下降很容易被困在局部極小值，這取決于地形的性質(zhì)(用ML的術(shù)語(yǔ)來(lái)說(shuō)是函數(shù)的性質(zhì))。但是，當(dāng)你有一種特殊的地形時(shí)(形狀像一個(gè)碗，用ML的術(shù)語(yǔ)來(lái)說(shuō)，叫做凸函數(shù))，算法總是保證能找到最優(yōu)解。凸函數(shù)對(duì)ML的優(yōu)化來(lái)說(shuō)總是好事，取決于函數(shù)的初始值，你可能會(huì)以不同的路徑結(jié)束。同樣地，取決于河流的速度(即，梯度下降算法的學(xué)習(xí)速率或步長(zhǎng))，你可能以不同的方式到達(dá)最終目的地。這兩個(gè)標(biāo)準(zhǔn)都會(huì)影響到你是否陷入坑里(局部極小值)。

3.學(xué)習(xí)率衰減

根據(jù)隨機(jī)梯度下降的優(yōu)化過(guò)程調(diào)整學(xué)習(xí)率(learning rate)可以提高性能并減少訓(xùn)練時(shí)間。有時(shí)這被稱(chēng)為學(xué)習(xí)率退火(learning rate annealing)或自適應(yīng)學(xué)習(xí)率(adaptive learning rates)。訓(xùn)練過(guò)程中最簡(jiǎn)單，也是最常用的學(xué)習(xí)率適應(yīng)是隨著時(shí)間的推移而降低學(xué)習(xí)度。在訓(xùn)練過(guò)程開(kāi)始時(shí)使用較大學(xué)習(xí)率具有進(jìn)行大的改變的好處，然后降低學(xué)習(xí)率，使得后續(xù)對(duì)權(quán)重的訓(xùn)練更新更小。這具有早期快速學(xué)習(xí)好權(quán)重，后面進(jìn)行微調(diào)的效果。

兩種常用且易于使用的學(xué)習(xí)率衰減方法如下：

逐步降低學(xué)習(xí)率。在特定的時(shí)間點(diǎn)較大地降低學(xué)習(xí)率。

4?. Dropout

具有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)。然而，過(guò)擬合在這樣的網(wǎng)絡(luò)中是一個(gè)嚴(yán)重的問(wèn)題。大型網(wǎng)絡(luò)的使用也很緩慢，這使得在測(cè)試時(shí)將許多不同的大型神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)合起來(lái)變得困難。Dropout是解決這個(gè)問(wèn)題的一種方法。

Dropout的關(guān)鍵想法是在訓(xùn)練過(guò)程中隨機(jī)地從神經(jīng)網(wǎng)絡(luò)中把一些units(以及它們的連接)從神經(jīng)網(wǎng)絡(luò)中刪除。這樣可以防止單元過(guò)度適應(yīng)。在訓(xùn)練過(guò)程中，從一個(gè)指數(shù)級(jí)的不同的“稀疏”網(wǎng)絡(luò)中刪除一些樣本。在測(cè)試時(shí)，通過(guò)簡(jiǎn)單地使用一個(gè)具有較小權(quán)重的單一網(wǎng)絡(luò)，可以很容易地估計(jì)所有這些“變瘦”了的網(wǎng)絡(luò)的平均預(yù)測(cè)效果。這顯著減少了過(guò)擬合，相比其他正則化方法有了很大改進(jìn)。研究表明，在視覺(jué)、語(yǔ)音識(shí)別、文檔分類(lèi)和計(jì)算生物學(xué)等監(jiān)督學(xué)習(xí)任務(wù)中，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)有所提高，在許多基準(zhǔn)數(shù)據(jù)集上獲得了state-of-the-art的結(jié)果。

5. Max Pooling

最大池化(Max pooling)是一個(gè)基于樣本的離散化過(guò)程。目標(biāo)是對(duì)輸入表示(圖像，隱藏層輸出矩陣等)進(jìn)行下采樣，降低其維度，并允許對(duì)包含在分區(qū)域中的特征進(jìn)行假設(shè)。

這在一定程度上是為了通過(guò)提供一種抽象的表示形式來(lái)幫助過(guò)擬合。同時(shí)，它通過(guò)減少學(xué)習(xí)的參數(shù)數(shù)量，并為內(nèi)部表示提供基本的平移不變性(translation invariance)，從而減少計(jì)算成本。最大池化是通過(guò)將一個(gè)最大過(guò)濾器應(yīng)用于通常不重疊的初始表示的子區(qū)域來(lái)完成的。

6.批量歸一化

當(dāng)然，包括深度網(wǎng)絡(luò)在內(nèi)的神經(jīng)網(wǎng)絡(luò)需要仔細(xì)調(diào)整權(quán)重初始化和學(xué)習(xí)參數(shù)。而批量標(biāo)準(zhǔn)化有助于實(shí)現(xiàn)這一點(diǎn)。

權(quán)重問(wèn)題：無(wú)論權(quán)重的初始化如何，是隨機(jī)的也好是經(jīng)驗(yàn)性的選擇也罷，都距離學(xué)習(xí)到的權(quán)重很遙遠(yuǎn)。考慮一個(gè)小批量(mini batch)，在最初時(shí)，在所需的特征激活方面將會(huì)有許多異常值。

深度神經(jīng)網(wǎng)絡(luò)本身是有缺陷的，初始層中一個(gè)微小的擾動(dòng)，就會(huì)導(dǎo)致后面層巨大的變化。在反向傳播過(guò)程中，這些現(xiàn)象會(huì)導(dǎo)致對(duì)梯度的分散，這意味著在學(xué)習(xí)權(quán)重以產(chǎn)生所需輸出之前，梯度必須補(bǔ)償異常值，而這將導(dǎo)致需要額外的時(shí)間才能收斂。

批量歸一化將梯度從分散規(guī)范化到正常值，并在小批量范圍內(nèi)向共同目標(biāo)(通過(guò)歸一化)流動(dòng)。

學(xué)習(xí)率問(wèn)題：一般來(lái)說(shuō)，學(xué)習(xí)率保持較低，只有一小部分的梯度校正權(quán)重，原因是異常激活的梯度不應(yīng)影響學(xué)習(xí)的激活。通過(guò)批量歸一化，減少異常激活，因此可以使用更高的學(xué)習(xí)率來(lái)加速學(xué)習(xí)過(guò)程。

7.長(zhǎng)短時(shí)記憶

LSTM網(wǎng)絡(luò)在以下三個(gè)方面與RNN的神經(jīng)元不同：

能夠決定何時(shí)讓輸入進(jìn)入神經(jīng)元；能夠決定何時(shí)記住上一個(gè)時(shí)間步中計(jì)算的內(nèi)容；能夠決定何時(shí)讓輸出傳遞到下一個(gè)時(shí)間步長(zhǎng)。

LSTM的優(yōu)點(diǎn)在于它根據(jù)當(dāng)前的輸入本身來(lái)決定所有這些。所以，你看下面的圖表：

當(dāng)前時(shí)間標(biāo)記處的輸入信號(hào)x(t)決定所有上述3點(diǎn)。輸入門(mén)從點(diǎn)1接收決策，遺忘門(mén)從點(diǎn)2接收決策，輸出門(mén)在點(diǎn)3接收決策，單獨(dú)的輸入能夠完成所有這三個(gè)決定。這受到我們的大腦如何工作的啟發(fā)，并且可以基于輸入來(lái)處理突然的上下文/場(chǎng)景切換。

8. Skip-gram

詞嵌入模型的目標(biāo)是為每個(gè)詞匯項(xiàng)學(xué)習(xí)一個(gè)高維密集表示，其中嵌入向量之間的相似性顯示了相應(yīng)詞之間的語(yǔ)義或句法相似性。Skip-gram是學(xué)習(xí)單詞嵌入算法的模型。

Skip-gram模型(以及許多其他的詞語(yǔ)嵌入模型)的主要思想是：如果兩個(gè)詞匯項(xiàng)(vocabulary term)共享的上下文相似，那么這兩個(gè)詞匯項(xiàng)就相似。

換句話說(shuō)，假設(shè)你有一個(gè)句子，比如“貓是哺乳動(dòng)物”。如果你用“狗”去替換“貓”，這個(gè)句子仍然是一個(gè)有意義的句子。因此在這個(gè)例子中，“狗”和“貓”可以共享相同的上下文(即“是哺乳動(dòng)物”)。

基于上述假設(shè)，你可以考慮一個(gè)上下文窗口(context window，一個(gè)包含k個(gè)連續(xù)項(xiàng)的窗口)，然后你跳過(guò)其中一個(gè)單詞，試著去學(xué)習(xí)一個(gè)能夠得到除跳過(guò)項(xiàng)外所有項(xiàng)的神經(jīng)網(wǎng)絡(luò)，并預(yù)測(cè)跳過(guò)的項(xiàng)是什么。如果兩個(gè)詞在一個(gè)大語(yǔ)料庫(kù)中反復(fù)共享相似的語(yǔ)境，則這些詞的嵌入向量將具有相近的向量。

9.連續(xù)詞袋(Continuous Bag Of Words)

在自然語(yǔ)言處理問(wèn)題中，我們希望學(xué)習(xí)將文檔中的每個(gè)單詞表示為一個(gè)數(shù)字向量，使得出現(xiàn)在相似的上下文中的單詞具有彼此接近的向量。在連續(xù)的單詞模型中，我們的目標(biāo)是能夠使用圍繞特定單詞的上下文并預(yù)測(cè)特定單詞。

我們通過(guò)在一個(gè)龐大的語(yǔ)料庫(kù)中抽取大量的句子來(lái)做到這一點(diǎn)，每當(dāng)我們看到一個(gè)單詞時(shí)，我們就會(huì)提取它周?chē)膯卧~。然后，我們將上下文單詞輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)，并預(yù)測(cè)位于這個(gè)上下文中心的單詞。

當(dāng)我們有成千上萬(wàn)的這樣的上下文單詞和中心詞以后，我們就有了一個(gè)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的實(shí)例。訓(xùn)練神經(jīng)網(wǎng)絡(luò)，最后編碼的隱藏層輸出表示特定單詞的嵌入。而當(dāng)我們對(duì)大量的句子進(jìn)行訓(xùn)練時(shí)也能發(fā)現(xiàn)，類(lèi)似語(yǔ)境中的單詞得到的是相似的向量。

10.遷移學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)過(guò)擬合的表現(xiàn)范文5

（一）樣本的選擇

本文選取房地產(chǎn)上市公司作為樣本以保證研究的真實(shí)性。鑒于我國(guó)上市公司鮮有破產(chǎn)的情況發(fā)生，本文采用證監(jiān)會(huì)的界定原則，將ST或者*ST（specialtreatment）公司定義為處于財(cái)務(wù)危機(jī)狀態(tài)的公司，將非ST公司界定為財(cái)務(wù)狀況正常的公司。

1.財(cái)務(wù)危機(jī)狀態(tài)樣本的界定

樣本來(lái)自于2005—2013年首次被ST或者*ST的34家房地產(chǎn)上市公司。選取的樣本研究期是上市公司被特殊處理時(shí)首次發(fā)生虧損的前一年（T-3年）。房地產(chǎn)企業(yè)投資回收期較長(zhǎng)，虧損時(shí)有發(fā)生，在這一年以后接連發(fā)生虧損以至被特殊處理，因此這一年是上市公司發(fā)生財(cái)務(wù)危機(jī)的重要轉(zhuǎn)折點(diǎn)。

2.財(cái)務(wù)正常狀態(tài)樣本的選取原則

本研究針對(duì)的是房地產(chǎn)上市公司，界定未被特殊處理的房地產(chǎn)上市公司為財(cái)務(wù)狀況正常的樣本。為了排除政策等其他因素對(duì)研究的影響，選取的正常樣本研究期應(yīng)與發(fā)生財(cái)務(wù)危機(jī)的公司相同，據(jù)此本文最終選取了2005—2013年間34家房地產(chǎn)上市公司為財(cái)務(wù)狀況正常的樣本。

（二）預(yù)警指標(biāo)的選擇

由于財(cái)務(wù)危機(jī)的發(fā)生難以用幾個(gè)簡(jiǎn)單的指標(biāo)來(lái)描述，同時(shí)又缺乏相關(guān)經(jīng)濟(jì)理論的指導(dǎo)，造成了指標(biāo)選擇較為困難，本文采用試錯(cuò)法對(duì)指標(biāo)進(jìn)行篩選。基于全面性和可量化的原則，結(jié)合我國(guó)房地產(chǎn)行業(yè)的特征，從企業(yè)的短期償債能力、現(xiàn)金流量能力、長(zhǎng)期償債能力、營(yíng)運(yùn)能力、盈利能力、股東獲利能力、風(fēng)險(xiǎn)水平和發(fā)展能力8個(gè)方面。過(guò)多的指標(biāo)存在著大量無(wú)用的信息，不僅會(huì)導(dǎo)致分析困難，而且會(huì)降低預(yù)測(cè)的準(zhǔn)確性。因此在進(jìn)行分析之前，必須對(duì)備選指標(biāo)進(jìn)行篩選，剔除對(duì)財(cái)務(wù)危機(jī)表現(xiàn)不顯著的指標(biāo)。

二、模型構(gòu)建與分析

（一）財(cái)務(wù)數(shù)據(jù)的預(yù)處理

在采集到的數(shù)據(jù)中，部分財(cái)務(wù)指標(biāo)缺乏，需要對(duì)這部分缺失的數(shù)據(jù)作一個(gè)預(yù)處理，保持?jǐn)?shù)據(jù)的完整性，才能進(jìn)行下一步的分析。對(duì)數(shù)據(jù)的預(yù)處理主要包括兩種情況：一是對(duì)于報(bào)表中未披露的數(shù)據(jù)。用該企業(yè)近期的數(shù)據(jù)作大致估計(jì)，盡量能代表公司的實(shí)際情況。二是對(duì)于不存在的指標(biāo)數(shù)據(jù)。比率型指標(biāo)當(dāng)分母為零時(shí)，該指標(biāo)不存在，為了保持?jǐn)?shù)據(jù)的連續(xù)性，當(dāng)期指標(biāo)數(shù)據(jù)以其前后兩期的均值來(lái)代替。

（二）顯著性檢驗(yàn)為了使分析更具有針對(duì)性

需要對(duì)上述備選指標(biāo)進(jìn)行顯著性檢驗(yàn)，選出有差異的指標(biāo)。對(duì)于分布不同的指標(biāo)，采用不同的方法進(jìn)行顯著性檢驗(yàn)。

1.服從正態(tài)分布指標(biāo)的顯著性

檢驗(yàn)利用SPSS軟件對(duì)上述備選指標(biāo)進(jìn)行正態(tài)分布檢驗(yàn)。檢驗(yàn)結(jié)果顯示營(yíng)運(yùn)資金對(duì)資產(chǎn)總額比率、負(fù)債與權(quán)益市價(jià)比率、流動(dòng)資金比率、營(yíng)業(yè)成本率、賬面市值比5個(gè)指標(biāo)呈正態(tài)分布，其余指標(biāo)不符合正態(tài)分布。變量呈正態(tài)分布，對(duì)兩類(lèi)樣本的相關(guān)指標(biāo)進(jìn)行T檢驗(yàn)，根據(jù)檢驗(yàn)的結(jié)果判斷兩類(lèi)樣本的預(yù)警指標(biāo)是否具有顯著性差異。本次T檢驗(yàn)顯著性水平取值為0.05，在此顯著性水平下，營(yíng)運(yùn)資金對(duì)總資產(chǎn)比率和營(yíng)業(yè)成本率通過(guò)顯著性檢驗(yàn)，即這兩個(gè)指標(biāo)在兩類(lèi)樣本中存在顯著差異。

2.不服從正態(tài)分布指標(biāo)的顯著性

檢驗(yàn)其余57個(gè)指標(biāo)不服從正態(tài)分布，不能直接使用參數(shù)檢驗(yàn)。非參數(shù)檢驗(yàn)適用范圍廣，對(duì)數(shù)據(jù)要求也不嚴(yán)，但是容易造成信息的損失，檢驗(yàn)效能低。為了保證信息的準(zhǔn)確性，先將數(shù)據(jù)進(jìn)行轉(zhuǎn)化，利用轉(zhuǎn)化后的數(shù)據(jù)進(jìn)行參數(shù)檢驗(yàn)。轉(zhuǎn)化后的數(shù)據(jù)參數(shù)檢驗(yàn)結(jié)果表明，流動(dòng)比率、營(yíng)運(yùn)資金比率、長(zhǎng)期資產(chǎn)適合率等25個(gè)指標(biāo)通過(guò)了顯著性水平為0.05的參數(shù)檢驗(yàn)，在兩組樣本中差異顯著。

3.顯著性檢驗(yàn)結(jié)果綜合以上兩種顯著性檢驗(yàn)結(jié)果。

（三）因子分析較多的指標(biāo)會(huì)導(dǎo)致模型過(guò)度擬合

使得預(yù)測(cè)準(zhǔn)確度降低。對(duì)上述27個(gè)指標(biāo)進(jìn)行因子分析，進(jìn)一步減少指標(biāo)的數(shù)量。對(duì)剩下的指標(biāo)進(jìn)行KMO測(cè)度和Bartlett球形檢驗(yàn)。由上述檢驗(yàn)結(jié)果可知KMO測(cè)度值為0.557，球形檢驗(yàn)P值為0小于0.05，適合作因子分析。采用正交旋轉(zhuǎn)法進(jìn)行轉(zhuǎn)換。結(jié)果顯示，特征值大于1的主成分有10個(gè)，累計(jì)貢獻(xiàn)率達(dá)84%，由正交旋轉(zhuǎn)成分矩陣可得：因子一主要代表盈利能力，因子二、因子八、因子十主要代表股東獲利能力，因子三和因子七主要代表長(zhǎng)期償債能力，因子四和因子六主要代表短期償債能力，因子五主要代表營(yíng)運(yùn)能力，因子九主要代表風(fēng)險(xiǎn)水平。

（四）模型構(gòu)建、預(yù)測(cè)結(jié)果及檢驗(yàn)

1.BP神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建、預(yù)測(cè)結(jié)果及檢驗(yàn)

BP神經(jīng)網(wǎng)絡(luò)模型主要由一個(gè)輸入層、一個(gè)輸出層、一個(gè)或多個(gè)隱含層構(gòu)成，每層節(jié)點(diǎn)的權(quán)值通過(guò)BP神經(jīng)網(wǎng)絡(luò)自我學(xué)習(xí)來(lái)調(diào)整，關(guān)于隱含層節(jié)點(diǎn)數(shù)的確定尚無(wú)相關(guān)理論，目前主要通過(guò)試錯(cuò)法來(lái)確定。本次建模采用隱含層為一層的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，隱含層節(jié)點(diǎn)數(shù)由試錯(cuò)法確定為4，從而得出BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為10-4-1。從每類(lèi)樣本中隨機(jī)抽取20個(gè)作為建模組，剩余28個(gè)樣本作為驗(yàn)證組，檢驗(yàn)?zāi)Ｐ偷念A(yù)測(cè)效果。將建模組40個(gè)樣本的10個(gè)因子作為BP神經(jīng)網(wǎng)絡(luò)模型的輸入層作自我學(xué)習(xí)。模型自我學(xué)習(xí)完成之后，將剩余的28個(gè)測(cè)試樣本輸入經(jīng)學(xué)習(xí)樣本調(diào)適完成后的BP神經(jīng)網(wǎng)絡(luò)模型，得到的預(yù)測(cè)結(jié)果與實(shí)際結(jié)果比較。通過(guò)上述對(duì)比分析可知，BP人工神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)上市公司的財(cái)務(wù)狀況準(zhǔn)確率為85.7%，具有較高的準(zhǔn)確率。模型對(duì)于驗(yàn)證組中兩類(lèi)公司的預(yù)測(cè)準(zhǔn)確率相同。

2.Logistic模型構(gòu)建、預(yù)測(cè)結(jié)果及檢驗(yàn)

將因子分析得到的10個(gè)因子用于Logistic回歸分析，令Y=0表示公司處于財(cái)務(wù)危機(jī)狀態(tài)，Y=1表示公司處于正常狀態(tài)，運(yùn)行SPSS軟件，得到Logistic模型對(duì)40個(gè)建模樣本的判定分類(lèi)。模型總體判定正確率為87.5%，其中對(duì)正常狀態(tài)公司的判定準(zhǔn)確率高達(dá)90%，由此判定模型的擬合度較好。Logistic模型的相關(guān)參數(shù)。模型參數(shù)中各參數(shù)的Sig值均大于0.05，對(duì)結(jié)果的影響均不顯著，建立的模型理論意義不大。求證其在實(shí)際預(yù)警中是否具有實(shí)用意義，將驗(yàn)證組的24個(gè)樣本帶入模型得到的結(jié)果。對(duì)于驗(yàn)證組的判定中雖然模型的理論意義不大，但在預(yù)測(cè)房地產(chǎn)上市公司是否處于財(cái)務(wù)危機(jī)狀態(tài)仍然有一定的實(shí)用意義，預(yù)測(cè)準(zhǔn)確率達(dá)到了67.86%，相較于神經(jīng)網(wǎng)絡(luò)模型準(zhǔn)確率較低，但是比神經(jīng)網(wǎng)絡(luò)模型更加容易理解，便于操作。

3.模型結(jié)果說(shuō)明

上述兩種模型分別對(duì)驗(yàn)證組進(jìn)行了預(yù)測(cè)，對(duì)于一個(gè)房地產(chǎn)公司，兩種模型可能會(huì)給予不同的判定，因此對(duì)比了兩種模型對(duì)于驗(yàn)證組的預(yù)測(cè)結(jié)果。驗(yàn)證組中，有9家公司的BP神經(jīng)網(wǎng)絡(luò)模型和Logistic模型給出了互相矛盾的判斷，導(dǎo)致無(wú)法準(zhǔn)確判定這9家房地產(chǎn)上市公司的財(cái)務(wù)狀況。然而，當(dāng)BP神經(jīng)網(wǎng)絡(luò)模型和Logistic模型對(duì)同一房地產(chǎn)上市公司財(cái)務(wù)狀況的預(yù)測(cè)結(jié)果一致時(shí)，在驗(yàn)證組中取得了89.47%的預(yù)測(cè)準(zhǔn)確率，有效提高了預(yù)測(cè)結(jié)果的準(zhǔn)確性。

三、結(jié)論

通過(guò)上文對(duì)房地產(chǎn)上市公司財(cái)務(wù)預(yù)警指標(biāo)體系的構(gòu)建及實(shí)證研究后發(fā)現(xiàn)：

1.企業(yè)財(cái)務(wù)指標(biāo)選取越多，包含的財(cái)務(wù)信息也就越全面，降維處理時(shí)得出的因子會(huì)較多，幾個(gè)因子才能代表公司某一方面的能力。

2.對(duì)公司T-3年的財(cái)務(wù)狀況進(jìn)行分析，兩類(lèi)公司現(xiàn)金流量能力方面的指標(biāo)沒(méi)有顯著性區(qū)別，從現(xiàn)金流指標(biāo)無(wú)法判斷公司未來(lái)是否會(huì)處于財(cái)務(wù)危機(jī)狀況。

3.Logistic模型的參數(shù)對(duì)預(yù)測(cè)結(jié)果的影響都不顯著，證實(shí)財(cái)務(wù)危機(jī)是由多種因素共同作用所造成的，難以使用一種或幾種指標(biāo)來(lái)表明房地產(chǎn)上市公司發(fā)生了財(cái)務(wù)危機(jī)。

神經(jīng)網(wǎng)絡(luò)過(guò)擬合的表現(xiàn)范文6

關(guān)鍵詞：品牌競(jìng)爭(zhēng)力；BP神經(jīng)網(wǎng)絡(luò)；評(píng)估指標(biāo)

一、前言

競(jìng)爭(zhēng)是市場(chǎng)經(jīng)濟(jì)的本質(zhì)，企業(yè)作為市場(chǎng)經(jīng)濟(jì)的主體也處在各種競(jìng)爭(zhēng)中。當(dāng)市場(chǎng)經(jīng)歷單一的產(chǎn)品競(jìng)爭(zhēng)、質(zhì)量競(jìng)爭(zhēng)、價(jià)格競(jìng)爭(zhēng)、廣告競(jìng)爭(zhēng)等等之后，以品牌為核心的競(jìng)爭(zhēng)模式將會(huì)成為引領(lǐng)市場(chǎng)的主要形式。企業(yè)如果成功塑造了市場(chǎng)領(lǐng)導(dǎo)者品牌，就會(huì)形成持續(xù)有效的、創(chuàng)造無(wú)限價(jià)值的競(jìng)爭(zhēng)力。

品牌競(jìng)爭(zhēng)力是企業(yè)在市場(chǎng)決戰(zhàn)中最重要的能力，用通俗的話說(shuō)，如果你的產(chǎn)品比其他牌子的同類(lèi)產(chǎn)品賣(mài)得好、賣(mài)得快、賣(mài)得貴、賣(mài)得久，就說(shuō)明你的品牌競(jìng)爭(zhēng)力強(qiáng)；反之，就說(shuō)明你的品牌競(jìng)爭(zhēng)力弱。因此，評(píng)估企業(yè)自身品牌的競(jìng)爭(zhēng)實(shí)力成為擺在企業(yè)前的一個(gè)迫切議題。國(guó)內(nèi)外的一些學(xué)者已從不同角度提出科學(xué)定量評(píng)估品牌競(jìng)爭(zhēng)力的許多方法：市場(chǎng)表現(xiàn)評(píng)估法主要從品牌競(jìng)爭(zhēng)力的表象方面進(jìn)行評(píng)估；品牌綜合管理能力指標(biāo)評(píng)估法、品牌競(jìng)爭(zhēng)力基礎(chǔ)工作評(píng)估法都只單方面考慮從企業(yè)因素來(lái)衡量競(jìng)爭(zhēng)力的強(qiáng)弱，未考慮品牌的顧客因素；與之相對(duì)應(yīng)的基于顧客價(jià)值的品牌競(jìng)爭(zhēng)力評(píng)估則沒(méi)有考慮品牌對(duì)企業(yè)的價(jià)值體現(xiàn)。因此，本文基于品牌的顧客價(jià)值和企業(yè)價(jià)值的雙重角度，從四個(gè)維度建立品牌競(jìng)爭(zhēng)力評(píng)估的指標(biāo)體系，并運(yùn)用BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)目標(biāo)品牌的競(jìng)爭(zhēng)力。

二、品牌競(jìng)爭(zhēng)力的評(píng)估指標(biāo)體系

由于前述評(píng)估方法的片面性，其指標(biāo)體系必然體現(xiàn)著不完善性。品牌競(jìng)爭(zhēng)力的評(píng)估體系應(yīng)綜合體現(xiàn)品牌的顧客價(jià)值和品牌所反映企業(yè)的各方面能力的綜合，基于顧客價(jià)值我們建立準(zhǔn)則層——顧客的忠誠(chéng)度，基于企業(yè)的品牌競(jìng)爭(zhēng)力我們建立三個(gè)準(zhǔn)則層——品牌市場(chǎng)能力、品牌管理能力和品牌基礎(chǔ)能力。對(duì)于各個(gè)子準(zhǔn)則層體現(xiàn)的具體因素內(nèi)容如表1所示。

三、基于BP神經(jīng)網(wǎng)絡(luò)的品牌競(jìng)爭(zhēng)力評(píng)估模型

近年來(lái)，眾多學(xué)者量化評(píng)估品牌競(jìng)爭(zhēng)力的方法主要有層次分析法、線性回歸分析法、第二代回歸分析方法、模糊綜合評(píng)判法等。神經(jīng)網(wǎng)絡(luò)的出現(xiàn)給多指標(biāo)的系統(tǒng)評(píng)價(jià)提供了新思路，特別是BP神經(jīng)網(wǎng)絡(luò)強(qiáng)大的自學(xué)自適應(yīng)能力，在很多行業(yè)得到不同程度的成功應(yīng)用，非常適用于對(duì)矛盾復(fù)雜的、近似的、不確定的知識(shí)環(huán)境做決策，能成功解決相關(guān)因素人為權(quán)重設(shè)計(jì)的主觀性及相關(guān)系數(shù)的復(fù)雜計(jì)算。

（一）BP人工神經(jīng)網(wǎng)絡(luò)基本原理

BP網(wǎng)絡(luò)是一種反向傳遞并能修正誤差的多層反饋型網(wǎng)絡(luò)，其結(jié)構(gòu)一般由輸入層、輸出層和隱含層構(gòu)成，層與層之間的神經(jīng)元通過(guò)相應(yīng)的網(wǎng)絡(luò)權(quán)系數(shù)完全互連；同層內(nèi)的神經(jīng)元?jiǎng)t無(wú)關(guān)聯(lián)。神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值，將網(wǎng)絡(luò)輸出值和期望輸出值的誤差由輸出層、隱含層、輸入層的反向傳遞，以使網(wǎng)絡(luò)的輸出不斷地接近實(shí)際的輸出。

（二）基于BP神經(jīng)網(wǎng)絡(luò)的品牌競(jìng)爭(zhēng)力評(píng)估模型

1.人工神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的確定。根據(jù)自變量一般為BP神經(jīng)網(wǎng)絡(luò)模型的輸入層，因變量一般為輸出層的原則，品牌競(jìng)爭(zhēng)力的BP神經(jīng)網(wǎng)絡(luò)模型中，指標(biāo)體系中目標(biāo)層品牌競(jìng)爭(zhēng)力的大小為輸出層，設(shè)強(qiáng)、中、弱三個(gè)判定層次；子準(zhǔn)則層作為品牌競(jìng)爭(zhēng)力的影響因子，其14個(gè)指標(biāo)為輸入層，分別為X（C1）-X（C14）。

為達(dá)到BP神經(jīng)網(wǎng)絡(luò)容量大小和網(wǎng)絡(luò)訓(xùn)練時(shí)間的良好效果，本模型中訓(xùn)練層的節(jié)點(diǎn)數(shù)取29個(gè)為最佳（隱含層的節(jié)點(diǎn)數(shù)=2倍輸入節(jié)點(diǎn)數(shù)+1）。

2.樣本選擇與組織。在樣本的選擇中，應(yīng)選擇有顯著代表性且分布均勻的、足夠數(shù)量的樣本。為評(píng)估目標(biāo)品牌競(jìng)爭(zhēng)力大小，可先選取一些本企業(yè)已開(kāi)發(fā)的品牌或可獲取的其他品牌產(chǎn)品的實(shí)際經(jīng)營(yíng)數(shù)據(jù)作為訓(xùn)練、測(cè)試樣本。

3.輸入層的確定。在表1提出的14個(gè)指標(biāo)中，由于不同指標(biāo)是從不同的角度反映品牌競(jìng)爭(zhēng)力，指標(biāo)之間又由于量綱不同，所以無(wú)法進(jìn)行比較。因此，從最終評(píng)價(jià)值的確定和神經(jīng)網(wǎng)絡(luò)訓(xùn)練的收斂性考慮，需要對(duì)指標(biāo)先進(jìn)行無(wú)量綱化處理。

（1）定性指標(biāo)：這些指標(biāo)的評(píng)價(jià)值采用專(zhuān)家打分法進(jìn)行評(píng)價(jià)，取值為0.0-1.0之間。

（2）定量指標(biāo)：定量指標(biāo)又分為正向指標(biāo)，逆向指標(biāo)和適度指標(biāo)。

正向指標(biāo)一般采用下面的線性遞增函數(shù)進(jìn)行描述：

yi=0 x（c）≤x（c） x（c）≤x（c）≤x（c）1

x（c）≥x（c）

逆向指標(biāo)一般采用下面的無(wú)量綱化標(biāo)準(zhǔn)函數(shù)：

yi=0 x（c）≤x（c） x（c）≤x（c）≤x（c）1

x（c）≥x（c）

適度指標(biāo)一般采用下面的函數(shù)進(jìn)行無(wú)量綱化處理：

yi=

其中，q為該指標(biāo)的最適合值。

4．訓(xùn)練函數(shù)的選擇。由于輸入層變量和輸出層變量不成線性關(guān)系，所以隱含層一般選擇Sigmoid函數(shù)為激勵(lì)函數(shù)，即f（x）=，實(shí)現(xiàn)輸入層和輸出層的非線性映射。

5.BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和終止。在該模型中，我們引入動(dòng)量批梯度下降函數(shù)，即一種批處理的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，不但提高了收斂速度，而且引入了一個(gè)動(dòng)量項(xiàng)，有效避免了局部最小問(wèn)題在網(wǎng)絡(luò)訓(xùn)練中的出現(xiàn)。我們先將85%-90%的訓(xùn)練樣本的指標(biāo)值輸入網(wǎng)絡(luò)，按照公式一層一層的計(jì)算隱含層神經(jīng)元和輸出層神經(jīng)元的輸入和輸出，當(dāng)神經(jīng)網(wǎng)絡(luò)的輸出值和實(shí)際輸出值的均方誤差超過(guò)某一閾值，則將誤差函數(shù)沿輸出層、隱含層、輸入層反向傳遞，調(diào)整神經(jīng)網(wǎng)絡(luò)各個(gè)神經(jīng)元的閾值和各層連接權(quán)值，使誤差函數(shù)不斷減小。在訓(xùn)練網(wǎng)絡(luò)的過(guò)程中，訓(xùn)練一定次數(shù)后就停下來(lái)，用保留的15%-10%的測(cè)試樣本檢驗(yàn)此時(shí)網(wǎng)絡(luò)的測(cè)試誤差，當(dāng)測(cè)試誤差下降到目標(biāo)誤差精度以下時(shí)，則停止訓(xùn)練，此時(shí)則為最佳訓(xùn)練次數(shù)，模型輸出值和實(shí)際輸出值實(shí)現(xiàn)最優(yōu)擬合。

6.目標(biāo)品牌競(jìng)爭(zhēng)力大小的評(píng)估。將要預(yù)測(cè)的品牌的指標(biāo)值輸入訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，該模型就能相對(duì)客觀地對(duì)該品牌的競(jìng)爭(zhēng)力進(jìn)行評(píng)估，輸出層的輸出值就是該品牌競(jìng)爭(zhēng)力的判定值，通過(guò)判定值可知品牌競(jìng)爭(zhēng)力的強(qiáng)弱（整個(gè)流程見(jiàn)圖1）。

四、結(jié)束語(yǔ)

品牌的研究在中國(guó)還將走得更遠(yuǎn)，本文在現(xiàn)有研究的基礎(chǔ)上提出將品牌競(jìng)爭(zhēng)力的量化評(píng)估與人工智能進(jìn)行簡(jiǎn)單結(jié)合，克服評(píng)估工作過(guò)程中人為因素的主觀性及相關(guān)權(quán)數(shù)計(jì)算的復(fù)雜性，提高品牌競(jìng)爭(zhēng)力評(píng)估的可信性與客觀性，使評(píng)價(jià)結(jié)果更客觀反映企業(yè)品牌建設(shè)的真實(shí)狀況，為企業(yè)診斷品牌經(jīng)營(yíng)問(wèn)題，打造核心競(jìng)爭(zhēng)力經(jīng)營(yíng)決策提供更可靠的信息支持。

參考文獻(xiàn)：

1.蔣亞奇,張亞萍.基于層次分析法的企業(yè)品牌競(jìng)爭(zhēng)力評(píng)價(jià)與測(cè)度研究[J].經(jīng)濟(jì)研究導(dǎo)刊,2011(8).

2.王文川等.品牌競(jìng)爭(zhēng)力模糊灰色綜合評(píng)價(jià)方法研究[J].統(tǒng)計(jì)與決策,2010(6).

3.周玫.基于顧客忠誠(chéng)的品牌競(jìng)爭(zhēng)力評(píng)價(jià)分析[J].當(dāng)代財(cái)經(jīng),2005(9).

4.范秀成.品牌權(quán)益及其測(cè)評(píng)體系分析[J].南開(kāi)管理評(píng)論,2000(1).

5.李煜華等.基于BP神經(jīng)網(wǎng)絡(luò)的老工業(yè)基地企業(yè)核心競(jìng)爭(zhēng)力的綜合評(píng)價(jià)[J].商業(yè)研究,2006(5).

6.許曉泓.品牌競(jìng)爭(zhēng)力開(kāi)放度評(píng)估方法的建構(gòu)[J].綠色財(cái)會(huì),2006(8).

7.陳寶忠.我國(guó)企業(yè)品牌競(jìng)爭(zhēng)力研究[D].南昌大學(xué),2005(6).

8.盧泰宏.品牌資產(chǎn)評(píng)估的模型與方法[J].中山大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2002(3).

9.張啟勝等.品牌競(jìng)爭(zhēng)力的評(píng)價(jià)指標(biāo)體系、模型及應(yīng)用[J].企業(yè)家天地?理論版,2006(4).