前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)過擬合的表現(xiàn)主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)過擬合的表現(xiàn)范文

關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；RBF神經(jīng)網(wǎng)絡(luò)；損傷識別；損傷預(yù)測

Abstract:In this paper, the BP neural network and the RBF neural network are compared combined with practical engineering examples. The analysis result shows that the RBF neural network was closer to the actural working conditions of structure.Then， the Least squares method was used to fit and predict the deflection damage parameters.Finally, the predicted data was recognised by using RBF neural network, to achieve the objectve of prevention.

Keywords: BP neural network; RBF neural network; damage recognition; damage prediction

中圖分類號：TU74文獻(xiàn)標(biāo)識碼：A 文章編號：

目前，神經(jīng)網(wǎng)絡(luò)由于自身的特性，在損傷模式識別領(lǐng)域中有著越來越廣泛的應(yīng)用。當(dāng)橋梁結(jié)構(gòu)出現(xiàn)損傷時，結(jié)構(gòu)中的各個參量或部分參量將表現(xiàn)出與正常狀態(tài)下的不同特征。橋梁損傷識別的主要任務(wù)就是如何找到損傷的特征描述，并利用其進(jìn)行損傷診斷和結(jié)構(gòu)安全度的評估。前向BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)的學(xué)習(xí)算法屬于有教師型的。這種算法模型具有很好的推廣能力，用于損傷模式識別的效果比較好。訓(xùn)練好的BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)計算速度快、內(nèi)存消耗低，可用于實時監(jiān)測和診斷。以下，著重介紹BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)。

1基于BP算法的多層前饋網(wǎng)絡(luò)模型

采用BP算法的多層前饋網(wǎng)絡(luò)是至今為止應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)，BP網(wǎng)絡(luò)是一種具有三層或三層以上的神經(jīng)網(wǎng)絡(luò)，包括輸入層、中間層（隱層）和輸出層。上下層之間實現(xiàn)全連接，而每層神經(jīng)元之間無連接。在多層前饋網(wǎng)絡(luò)的應(yīng)用中，以單隱層網(wǎng)絡(luò)的應(yīng)用最為普遍。一般習(xí)慣將單隱層前饋網(wǎng)絡(luò)稱為三層前饋網(wǎng)或三層感知器。

2徑向基函數(shù)（RBF）網(wǎng)絡(luò)

徑向基函數(shù)（Radial-Basis Function，RBF）網(wǎng)絡(luò)包括三層，輸入層由信號源節(jié)點（感知單元）組成，它們將網(wǎng)絡(luò)與外界環(huán)境連結(jié)起來；徑向基隱層含S1個神經(jīng)元，線性輸出層含S2個神經(jīng)元。分別是兩層網(wǎng)絡(luò)的權(quán)值和閾值；S1、S2是兩層的神經(jīng)元的個數(shù)；是兩層的輸出；P是輸入；下標(biāo)表示量的行列數(shù)。隱層中的神經(jīng)元采用徑向基傳遞函數(shù)()。輸出層中的神經(jīng)元采用線性傳遞函數(shù)()。

3小溝橋橋跨結(jié)構(gòu)損傷識別模型

小溝橋的各個子系統(tǒng)運(yùn)行以來，工作狀態(tài)良好，性能可靠。經(jīng)過比對實驗，該系統(tǒng)能夠真實的反映橋梁的各個待測參數(shù)，并且具有自動歸納分類的功能。小溝橋右幅橋在某兩年24個月的數(shù)據(jù)訓(xùn)練樣本格式為，輸入向量依次為撓度、振動、應(yīng)力、溫度、載重、通行量，目標(biāo)向量是撓度和應(yīng)變兩項的期望輸出值（“0”表示完好狀態(tài)，“1”表示危險狀態(tài)）。同時，對模型進(jìn)行損傷仿真的模擬訓(xùn)練。接下來，借助于MATLAB7里所對應(yīng)的神經(jīng)網(wǎng)絡(luò)工具箱，分別用BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)對以上表1所規(guī)定的數(shù)據(jù)樣本進(jìn)行網(wǎng)絡(luò)訓(xùn)練。

3.1基于BP網(wǎng)絡(luò)的損傷識別

由于網(wǎng)絡(luò)輸入變量已經(jīng)確定，需要進(jìn)行歸一化處理，這里將其變換在[0，1]的范圍內(nèi)，經(jīng)過歸一化處理的數(shù)據(jù)對于神經(jīng)網(wǎng)絡(luò)更容易訓(xùn)練和學(xué)習(xí)。利用以下代碼來創(chuàng)建以上剛剛設(shè)計的網(wǎng)絡(luò)。

Threshold=[01;01; 01;01;01;01]

net=newff(threshold,[13,2],{‘tansig’,‘logsig’},‘trainlm’)；

其中，變量threshold定義了輸入向量的最大值和最小值。接下來，對所建網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過調(diào)整，使網(wǎng)絡(luò)的輸出誤差達(dá)到最小，滿足實際應(yīng)用的要求。訓(xùn)練函數(shù)trainlm是利用Levenberg-Marquardt算法對網(wǎng)絡(luò)進(jìn)行訓(xùn)練的。

網(wǎng)絡(luò)訓(xùn)練結(jié)果為：

TRAINLM, Epoch 0/1 000, MSE 0.471 248/0.001, Gradient 2.116 8/1e−010

TRAINLM, Epoch 19/1 000, MSE 0.000 158 792/0.001, Gradient 0.037 399 1/1e−010

TRAINLM, Performance goal met.

經(jīng)過19次訓(xùn)練后，網(wǎng)絡(luò)的性能就達(dá)到了要求，并利用原始樣本輸入數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，得到逼近誤差曲線。

3.2基于RBF網(wǎng)絡(luò)的損傷識別

利用函數(shù)newrb創(chuàng)建一個徑向基神經(jīng)網(wǎng)絡(luò)，調(diào)用格式為：

[net,tr]=newrb(P,T,GOAL,SPREAD,MN,DF)；

在網(wǎng)絡(luò)設(shè)計過程中，需要用不同的SPREAD值進(jìn)行嘗試，以確定一個最優(yōu)值。最終，確定網(wǎng)絡(luò)創(chuàng)建函數(shù)為：net=newrb (P, T, 0,0.2,25,5)；

通過上述代碼，創(chuàng)建了一個目標(biāo)誤差為0、徑向基函數(shù)分布密度為0.2、中間層神經(jīng)元個數(shù)最大值為25、顯示間隔為5的RBF網(wǎng)絡(luò)。當(dāng)中間層神經(jīng)元個數(shù)增至25時，網(wǎng)絡(luò)輸出的誤差SSE已經(jīng)非常小了，數(shù)量級為10−31。

以訓(xùn)練樣本對上面建立的RBF網(wǎng)絡(luò)進(jìn)行測試，得到逼近誤差曲線數(shù)量級為10−16。因此，可以判定經(jīng)過訓(xùn)練后，網(wǎng)絡(luò)是可以滿足要求的。

3.3BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)比對

綜合對比兩種網(wǎng)絡(luò)的訓(xùn)練誤差、逼近誤差等，發(fā)現(xiàn)BP網(wǎng)絡(luò)由于收斂速度慢、較長的訓(xùn)練時間、網(wǎng)絡(luò)往往存在很大的冗余性，在一定程度上增加了網(wǎng)絡(luò)學(xué)習(xí)的負(fù)擔(dān)，并且網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性。因此，BP網(wǎng)絡(luò)明顯不如RBF網(wǎng)絡(luò)，認(rèn)為用RBF網(wǎng)絡(luò)更能準(zhǔn)確地評估橋跨結(jié)構(gòu)的損傷，接近于實際工作狀態(tài)。

3.4最小二乘擬合的Matlab設(shè)計與實現(xiàn)

Matlab軟件是集數(shù)值計算、符號運(yùn)算及出色的圖形處理、程序語言設(shè)計等強(qiáng)大功能于一體的科學(xué)計算語言。由于撓度是橋梁工作性能的一個重要參數(shù)，它更加直接地反應(yīng)了橋梁結(jié)構(gòu)的工作狀況，所以接下來以撓度數(shù)據(jù)為例運(yùn)用最小二乘法進(jìn)行曲線擬合，并預(yù)測。

確定參量的測量值：

=[1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9]；

=[11.83 12.48 11.84 11.97 11.76 11.48 11.68 11.89 12.57 11.49 11.52 11.59 11.45 11.61 11.53 11.83 12.52 12.41 12.13 11.95 12.26]；

用Matlab語言中的plot函數(shù)的曲線散點趨勢圖，以此圖對比典型曲線圖，選擇合適的經(jīng)驗公式，確定多項式的擬合次數(shù)，多次實驗后，確定為4；

Matlab系統(tǒng)設(shè)計polyfit函數(shù)采用最小二乘法原理對給定的數(shù)據(jù)組進(jìn)行多項式擬合，最后給出擬合的多項式系數(shù)，溫度擬合曲線的多項式為：

并擬合接下來的兩個月的撓度值；

同理，對振動、應(yīng)力、溫度、載重、通行量項目的數(shù)據(jù)進(jìn)行擬合。

3.5對預(yù)測數(shù)據(jù)進(jìn)行損傷評估

以表3中最后兩列的預(yù)測數(shù)據(jù)作為輸入量，即

p_test=[12.11 3.31 0.91 7.66 162.9534 30.5539;

11.93 3.32 0.92 −3.12 162.6354 30.5567]；

經(jīng)過歸一化處理后為P_test，利用先前所建立的RBF網(wǎng)絡(luò)來進(jìn)行損傷評估，y=sim(net,P_test)；

得到兩個指標(biāo)的損傷指數(shù)分別為：[0.2187e−0080.0001e−008；−0.0144e−0080.0629e−008]，數(shù)量級為10−8，接近于“0”，表明結(jié)構(gòu)在接下來的兩個月應(yīng)該處于完好狀態(tài)。

4結(jié)束語

針對小溝橋的歷史數(shù)據(jù)，分別用BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)對樣本數(shù)據(jù)進(jìn)行損傷訓(xùn)練、測試。綜合對比后，采用RBF網(wǎng)絡(luò)對橋跨結(jié)構(gòu)進(jìn)行損傷評估，并作為后續(xù)對橋梁結(jié)構(gòu)進(jìn)行整體評估的兩個底層指標(biāo)。

采用最小二乘法對24個月以來的歷史數(shù)據(jù)進(jìn)行曲線擬合，預(yù)測出后續(xù)的兩組數(shù)據(jù)；然后對預(yù)測出來的兩組數(shù)據(jù)進(jìn)行損傷識別，得出兩個指標(biāo)的損傷指數(shù)，從而真正達(dá)到預(yù)測，進(jìn)而達(dá)到預(yù)防的目的。

參考文獻(xiàn)：

[1] 飛思科技產(chǎn)品研發(fā)中心.神經(jīng)網(wǎng)絡(luò)理論與MATLAB7實現(xiàn)[M].北京：電子工業(yè)出版社，2005.3：89~108

[2] 胡伍生.神經(jīng)網(wǎng)絡(luò)理論及其工程應(yīng)用[M].北京：測繪出版社，2006：63~83

[3] 王可，毛志.基于Matlab實現(xiàn)最小二乘曲線擬合[J].北京廣播學(xué)院學(xué)報(自然科學(xué)版)，2002，12(2)：52~56

[4] 李麗，王振領(lǐng).MATLAB工程計算機(jī)應(yīng)用[M].北京：人民郵電出版社，2001

第2篇：神經(jīng)網(wǎng)絡(luò)過擬合的表現(xiàn)范文

關(guān)鍵詞: 鐵路交通; 信息預(yù)測; 數(shù)據(jù)融合; 神經(jīng)網(wǎng)絡(luò)

在城市地鐵交通中，各車站交通流量信息(如候乘數(shù)量、下車數(shù)量等) 的準(zhǔn)確預(yù)測有利于地鐵運(yùn)行高效、及時地調(diào)度，從而既達(dá)到增加效益的經(jīng)濟(jì)目的，又可以更好地滿足人們的乘車需求。傳統(tǒng)的預(yù)測方法有回歸分析算法以及Kalman 濾波等。這些方法假定過程是平穩(wěn)的，系統(tǒng)是線性的，系統(tǒng)的干擾是白噪聲，因此在線性系統(tǒng)平穩(wěn)的隨機(jī)時間序列預(yù)測中能夠獲得滿意的結(jié)果。然而，交通問題是有人參與的主動系統(tǒng)，具有非線性和擾動性強(qiáng)的特征，前述方法難以奏效，表現(xiàn)為以下缺點: ① 每次采樣的數(shù)據(jù)變化較小時適用，數(shù)據(jù)變化大誤差就大; ② 預(yù)測值的變化總是滯后于實測值的變化; ③ 無法消除奇異信息的影響。基于小波分析的動態(tài)數(shù)據(jù)預(yù)測方法以小波變換后的數(shù)據(jù)進(jìn)行預(yù)測，克服了傳統(tǒng)預(yù)測方法不能消除奇異信息的缺點， 有效地預(yù)測動態(tài)的流量信息[ 1 ] 。但該方法只能對單個的數(shù)據(jù)序列進(jìn)行處理，而事實上能夠用于預(yù)測的數(shù)據(jù)可以是多方面的。

數(shù)據(jù)融合(Data2Fusion) 技術(shù)起源并發(fā)展于軍事領(lǐng)域，主要用于目標(biāo)的航跡跟蹤、定位與身份識別以及態(tài)勢評估等[ 2 ] 。傳統(tǒng)的數(shù)據(jù)融合技術(shù)大多采用概率理論(如Bayes 決策理論) 對多種信息的獲取與處理進(jìn)行研究，從而去掉信息的無用成分，保留有用成分[ 3 ] 。在信息處理中，分別運(yùn)用各種體現(xiàn)數(shù)據(jù)不同屬性特征的方法處理(如預(yù)測) 后進(jìn)行融合是一個有待深入研究的問題。為了充分利用各方面已有的數(shù)據(jù)，獲得可靠的交通流量動態(tài)預(yù)測，本文借鑒數(shù)據(jù)融合的基本思想，提出了在數(shù)據(jù)處理方法上的融合預(yù)測方法。

1 　流量融合預(yù)測模型

1. 1 　預(yù)測模型的結(jié)構(gòu)

由于預(yù)測對象的復(fù)雜性，為了表現(xiàn)與預(yù)測對象相關(guān)聯(lián)的其他對象或?qū)傩?，每個關(guān)聯(lián)對象(屬性) 用一個時間序列來表示，作為預(yù)測對象的相關(guān)序列。所有用于預(yù)測的相關(guān)序列構(gòu)成預(yù)測對象的相關(guān)序列集。由于在預(yù)測中具有不同的作用，各相關(guān)序列將使用不同的處理和預(yù)測方法。在相關(guān)序列集上的地鐵客流量融合預(yù)測模型結(jié)構(gòu)，如圖1 所示。

下面針對城市地鐵車站客流量的預(yù)測進(jìn)行論述。

1. 2 　構(gòu)造相關(guān)序列集

為了預(yù)測車站(序號為0)在第i 天t 時刻的流量^F0 i(t) ( 實測值為F0 i(t)) ，設(shè)t 時刻^F0 i(t)的相關(guān)時間序列集為f(t) = {fj(t) ，1 ≤ j ≤ n} ( 1 ) 式中，fj(t)為t時刻^F0 i(t)的相關(guān)時間序列; n 為相關(guān)時間序列數(shù)。

為了獲得精確的預(yù)測，可以根據(jù)關(guān)聯(lián)特性構(gòu)造任意多個相關(guān)時間序列。本文意在闡明本算法的基本思想，將流量數(shù)據(jù)僅僅構(gòu)造為3 類相關(guān)序列:當(dāng)前序列、歷史序列和鄰站序列。

當(dāng)前序列　預(yù)測時刻t之前本站最近k次流量按時間先后記錄下來的數(shù)據(jù)構(gòu)成的時間序列為當(dāng)前序列，即

f1 (t) = { F0 i(t -l)，1 ≤ l ≤ k} ( 2 )

該序列數(shù)據(jù)的主要影響因素是時刻，同時還受人為、氣溫、天氣等其他擾動因素的影響，數(shù)據(jù)分布的非線性特性較大，頻帶較寬。第l 班列車的流量如圖2 所示。

歷史序列　同為工作日或同為節(jié)假日的相鄰數(shù)天，其流量曲線形狀相對類似，流量曲線相似的日期在預(yù)測中具有較大的參考意義。本站最近m 天在時刻t 的流量按日期先后記錄下來的數(shù)據(jù)構(gòu)成的時間序列為歷史序列，即f2 (t) = { F0 i-p(t) ，1 ≤ p ≤ m} ( 3 )

工作日和節(jié)假日流量差別較大，可將它們分類處理。該序列整體分布較平穩(wěn)，有震蕩，但頻帶較窄。第p個工作日在時刻t的流量如圖3 所示。

鄰站序列　圖4 為本站與鄰近2 個車站24 h 的流量曲線經(jīng)DB2 小波3 層變換后的近似分量，可見各分量關(guān)聯(lián)性較大。如果根據(jù)以前的數(shù)據(jù)將各鄰近車站相互關(guān)系解算出來，就可以利用這種函數(shù)關(guān)系預(yù)測時刻t在本站的流量。最近m天在時刻t 的流量按日期先后記錄下來的各鄰站歷史序列為本站的鄰站序列，即

qf2 +q(t) = { Fi-p(t) ，1 ≤ p ≤ m，1 ≤ q ≤ s} ( 4 )

q式中， Fi-p(t)表示第q個鄰近站的第(i -p)天的流量;s 表示鄰近站數(shù)。

1.3 　相關(guān)序列的預(yù)測

由于各相關(guān)序列在預(yù)測中具有不同的影響，且分布規(guī)律和特點差異較大，因而各序列使用不同的預(yù)測方法。本文對當(dāng)前序列進(jìn)行小波分解后用Kalman 預(yù)測，對歷史序列直接進(jìn)行Kalman 預(yù)測，對鄰站序列用冪級數(shù)多項式進(jìn)行擬合。

1.3.1 　小波分析

根據(jù)設(shè)置的分解指數(shù)η對序列進(jìn)行小波N 尺度分解，得到一組低頻信號和N 組高頻信號，對這N + 1 組信號分別用Mallat 塔式算法重構(gòu)到原尺度上，得到N + 1 組在原始尺度上的經(jīng)過分解重構(gòu)處理的信號。分別對信號用Kalman 濾波進(jìn)行預(yù)測，得到N + 1 個預(yù)測值，再將這N + 1 個預(yù)測值用權(quán)系數(shù)合成最終的預(yù)測值。具體算法請參見文獻(xiàn)[1 ]。

1.3.2 　Kalman 濾波離散線性Kalman 濾波方程為

F(t) = Φ(t -1) F(t -1) + W(t -1)( 5 ) 式中，Φ (t) 為系統(tǒng)狀態(tài)轉(zhuǎn)移量; W(t) 為系統(tǒng)誤差。Kalman 濾波通過t -1 時刻的狀態(tài)F(t -1)估計t 時刻的狀態(tài)F(t) 。具體算法請參見文獻(xiàn)[1 ]。

1.3.3 　多項式擬合

分別對各鄰站序列用冪級數(shù)多項式擬合本站數(shù)據(jù)，擬合模型如下

n

i

p

^Fp(t) = αp，i(t) F(t) ( 6 )

i=0

i

6 式中， Fp (t)為對第p個鄰站在時刻t 的流量的i 次i 冪;αp，i(t)為Fp (t)的系數(shù)。當(dāng)n= 2 時，上述擬合算法簡化為線性回歸模型。

1.4 　流量的融合預(yù)測設(shè)預(yù)測對象共有n個相關(guān)的時間序列fi(t) ，經(jīng)過預(yù)處理分別為fi(t) ，融合預(yù)測模型可表示^F(t)在f(t)上的映射，即^F(t) =ζ(f(t)) =ζ(f1 (t) ，f2 (t) ，fn(t)) ( 7 ) 式中，ζ(·)表示映射關(guān)系。特別地，式(7)可簡化為如下的線性映射組合^F(t) = αi(t)ξ(fi(t)) ( 8 ) i=16

式中，αi(t)為t 時刻的序列fi (t)的權(quán)系數(shù);ξ(fi (t)) 為以fi (t)為依據(jù)的局部預(yù)測值。為了確定上述算法中映射關(guān)系ζ(·)，本文采用神經(jīng)網(wǎng)絡(luò)進(jìn)行解算。

2 　模型的神經(jīng)網(wǎng)絡(luò)解算

神經(jīng)網(wǎng)絡(luò)是由大量簡單的神經(jīng)元以某種拓?fù)浣Y(jié)構(gòu)廣泛地相互連接而成的非線性動力學(xué)系統(tǒng)[4 ]。神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)融合技術(shù)中具有無法替代的作用，通過神經(jīng)網(wǎng)絡(luò)對各相關(guān)序列的局部預(yù)測進(jìn)行最終融合，具體過程如下。

2.1 　數(shù)據(jù)的局部處理

廣州市地鐵某站一個方向的流量數(shù)據(jù)是以每班列車到站上車的人數(shù)記錄的(流量單位:人/班) 。根據(jù)2002 年5 月1 日 2003 年3 月2 日的流量數(shù)據(jù)，運(yùn)用本文算法進(jìn)行預(yù)測。按照1.2 節(jié)的方法構(gòu)造了4 個相關(guān)序列:當(dāng)前序列f1 (t) 、歷史序列f2 (t)以及相鄰2 個車站的鄰站序列f3 (t)和f4 (t) 。 2.2 　神經(jīng)網(wǎng)絡(luò)的設(shè)計

因為3 層神經(jīng)網(wǎng)絡(luò)可以一致逼近任何非線性函數(shù)[5 ]。采用具有單隱層的3 層神經(jīng)網(wǎng)絡(luò)作為模型，即輸入層、隱層和輸出層。

以各相關(guān)序列的局部預(yù)測值作為輸入向量，實測值F(t)為期望輸出，有4 個輸入節(jié)點，1 個輸出節(jié)點。隱層神經(jīng)元數(shù)量關(guān)系到網(wǎng)絡(luò)的訓(xùn)練速度和精度問題。對于一定數(shù)量的樣本，需要一定數(shù)量的隱層神經(jīng)元數(shù)， 神經(jīng)元少了，不能反映樣本的規(guī)律;多了，則神經(jīng)網(wǎng)絡(luò)以過于復(fù)雜的非線性關(guān)系來擬合輸入輸出之間的關(guān)系，使得模型的學(xué)習(xí)時間大大增加。本例中，8 個隱層神經(jīng)元數(shù)是最好的。以誤差平方和SSE(Sum2Squared Error ) 作為訓(xùn)練評價標(biāo)準(zhǔn)， SSE = p j (Ypj-Opj)2 ，其中Ypj和Opj分別為輸出層第j個神經(jīng)元的第p個樣本的期望輸出和實際輸出(本例中j= 1 ，p= 60) 。

用MATLAB 的ANN 工具箱構(gòu)造神經(jīng)網(wǎng)絡(luò)。隱層神經(jīng)元的激勵函數(shù)為tansig 函數(shù)( 正切S 型傳遞函數(shù))，輸出層神經(jīng)元的激勵函數(shù)為purelin 函數(shù)(線性傳遞函數(shù))，這樣整個網(wǎng)絡(luò)的輸出可以取任意值。采取批處理學(xué)習(xí)方式和快速BP 算法訓(xùn)練。

2. 3 　神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

將網(wǎng)絡(luò)的訓(xùn)練標(biāo)準(zhǔn)SSE 設(shè)為64(60 組訓(xùn)練樣本)， 利用上述樣本對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練6 000 次時網(wǎng)絡(luò)的權(quán)值和閾值將達(dá)到最佳值，即達(dá)到了訓(xùn)練目標(biāo)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練目標(biāo)接近過程，如圖5 所示。

從圖5 中可以看出，訓(xùn)練開始時，網(wǎng)絡(luò)收斂速度較快，接近目標(biāo)時收斂速度會減慢?？梢?，訓(xùn)練次數(shù)越多，得到的結(jié)果越好。當(dāng)然，這是以訓(xùn)練時間的增長作為代價的。

3 　實驗對比分析

采用本文算法和傳統(tǒng)的Kalman 算法分別對2003 年3 月2 日的各整點時刻的流量進(jìn)行預(yù)測。算法各時刻均通過訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)預(yù)測，預(yù)測與實測結(jié)果的比較，如圖6 所示。

傳統(tǒng)的Kalman 濾波是直接在當(dāng)前序列的基礎(chǔ)上進(jìn)行預(yù)測的， 預(yù)測與實測結(jié)果的比較如圖7 所示。2 種預(yù)測方法的誤差指標(biāo)對比見表1 。

表1 　實驗結(jié)果對比

比較可得，由于傳統(tǒng)的Kalman 預(yù)測方法只能以某一類序列的數(shù)據(jù)作為預(yù)測基礎(chǔ)，無法利用其他序列信息，且對變化大的數(shù)據(jù)采樣要求較高，因而具有較大的誤差，而本文所述方法有效地克服了這些缺點。

4 　結(jié)論

通過分析城市地鐵站客流量的相互關(guān)系和特點， 在對流量信息進(jìn)行以預(yù)測為目的相關(guān)序列集構(gòu)造的基礎(chǔ)上，提出了一種基于數(shù)據(jù)融合的預(yù)測模型。該預(yù)測模型不僅是一個多信息接收和處理的融合模型，而且還是一個動力學(xué)系統(tǒng)，網(wǎng)絡(luò)的訓(xùn)練樣本也是動態(tài)的，如果訓(xùn)練的次數(shù)適當(dāng)，預(yù)測的精度也可以隨之變化調(diào)整。實驗結(jié)果表明，基于數(shù)據(jù)融合的預(yù)測與傳統(tǒng)的預(yù)測方法相比，由于充分利用了所有預(yù)測信息，在預(yù)測的準(zhǔn)確程度上有較大提高。

參考文獻(xiàn):

[1 ] 李存軍， 等. 基于小波分析的交通流量預(yù)測方法[J ] . 計算機(jī)應(yīng)用， 2003 ， 23(12) : 7 —8.

[2 ] 權(quán)太范. 信息融合: 神經(jīng)網(wǎng)絡(luò) 模糊推理理論與應(yīng)用[M] . 北京: 國防工業(yè)出版社， 2002.

[3 ] . 信息融合技術(shù)[ M ] . 北京: 國防工業(yè)出版社， 1996.

第3篇：神經(jīng)網(wǎng)絡(luò)過擬合的表現(xiàn)范文

[關(guān)鍵詞] 藥品；神經(jīng)網(wǎng)絡(luò)；組合預(yù)測；需求預(yù)測

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 08. 051

[中圖分類號] TP183 [文獻(xiàn)標(biāo)識碼] A [文章編號] 1673 - 0194（2014）08- 0084- 05

0 引 言

隨著人工智能技術(shù)的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)得到了廣泛研究和應(yīng)用。由于神經(jīng)網(wǎng)絡(luò)具有良好的學(xué)習(xí)能力和較強(qiáng)的非線性處理能力、不依賴于特定數(shù)學(xué)模型等優(yōu)勢，其作為一種預(yù)測方法已被廣泛應(yīng)用于許多領(lǐng)域。

在醫(yī)藥企業(yè)、醫(yī)藥衛(wèi)生管理領(lǐng)域，藥品需求預(yù)測一直是管理部門關(guān)心的熱點問題。藥品需求除了受由藥品自身屬性影響外，還受國家政策或醫(yī)藥行業(yè)規(guī)定等因素的影響，如藥品在某地區(qū)是否中標(biāo)、是否為處方藥等；同時，制藥企業(yè)自身制定的定價、渠道以及促銷等營銷策略和銷售團(tuán)隊的組建制度也對藥品需求產(chǎn)生不同程度的影響。藥品需求特征的多樣性，決定了藥品需求預(yù)測本質(zhì)上是一個復(fù)雜的非線性系統(tǒng)建模問題。

國內(nèi)外眾多學(xué)者對藥品需求預(yù)測進(jìn)行了深入的研究，產(chǎn)生了一批有價值的研究成果。目前，藥品需求預(yù)測的主要方法包括：回歸分析法、時間序列分析法、神經(jīng)網(wǎng)絡(luò)、遺傳算法等。這些方法從不同角度出發(fā)建模，均取得一定效果，尤其是BP神經(jīng)網(wǎng)絡(luò)，已經(jīng)在藥品預(yù)測研究中取得了眾多應(yīng)用。盡管相關(guān)討論和研究不斷增多，但是目前常用的神經(jīng)網(wǎng)絡(luò)預(yù)測方法普遍存在以下問題：由于藥品需求特征頗為復(fù)雜的特殊性，運(yùn)用單項預(yù)測方法對其進(jìn)行預(yù)測無法涵蓋其較多的特征信息，通常表現(xiàn)為對某類特定的藥品預(yù)測效果良好，而對其他藥品則預(yù)測性能較差，從一定程度上限制了預(yù)測模型的適用范圍。

本文采用基于神經(jīng)網(wǎng)絡(luò)的組合預(yù)測模型來解決上述問題。組合預(yù)測方法（combined forecasting）是指通過一定數(shù)學(xué)方法將不同的單項預(yù)測模型組合起來，綜合利用各種單項預(yù)測方法所提供的信息，從而達(dá)到提高預(yù)測精度的目的。組合預(yù)測方法最早由Bates和Granger[1]于1969年提出，他們認(rèn)為對于一個包含系統(tǒng)獨立信息的單項預(yù)測方法，與預(yù)測精度較小的預(yù)測方法進(jìn)行組合預(yù)測完全可以增強(qiáng)系統(tǒng)的預(yù)測性能。

考慮到各種神經(jīng)網(wǎng)絡(luò)預(yù)測方法的特點及其適用范圍，本文選擇BP神經(jīng)網(wǎng)絡(luò)預(yù)測方法、RBF神經(jīng)網(wǎng)絡(luò)預(yù)測方法和基于廣義回歸神經(jīng)網(wǎng)絡(luò)（GRNN）3種常用的神經(jīng)網(wǎng)絡(luò)預(yù)測方法作為組合預(yù)測模型中的單項預(yù)測方法。在此基礎(chǔ)上，用平均絕對相對誤差（MAPE）和方差為衡量標(biāo)準(zhǔn)，并根據(jù)設(shè)置的閾值對單項預(yù)測方法進(jìn)行篩選，最后選取了MAPE作為最優(yōu)準(zhǔn)則計算得到權(quán)重，從而建立組合預(yù)測模型，在提高組合預(yù)測模型精度的同時，使得組合預(yù)測模型具有現(xiàn)實意義。實驗結(jié)果表明，本文提出的模型的預(yù)測精度高于傳統(tǒng)的線性組合模型的預(yù)測精度。

1 相關(guān)工作

基于神經(jīng)網(wǎng)絡(luò)的預(yù)測方法具有很多其他預(yù)測方法所不具備的優(yōu)點，近年來越來越被人們所關(guān)注。吳正佳 等（2010）[2]針對某備貨型企業(yè)的產(chǎn)品需求量，建立了基于良好學(xué)習(xí)能力的BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型，并通過實證分析與簡單移動平滑法和加權(quán)移動平滑法的預(yù)測結(jié)果相比較，結(jié)果表明BP神經(jīng)網(wǎng)絡(luò)預(yù)測結(jié)果比其他兩種更為有效果。童明榮 等（2007）[3]提出一種季節(jié)性RBF神經(jīng)網(wǎng)絡(luò)預(yù)測模型，對具有季節(jié)性的產(chǎn)品月度市場需求進(jìn)行預(yù)測，最后利用構(gòu)建好的RBF神經(jīng)網(wǎng)絡(luò)模型進(jìn)行仿真實驗，并與ARIMA模型、分組回歸模型等常用季節(jié)預(yù)測模型做對比分析，結(jié)果表明前者的預(yù)測誤差均方差最小，預(yù)測精度較高。Maria Cleofé（2005）[4]利用人工神經(jīng)網(wǎng)絡(luò)（ANN）對圣保羅地區(qū)的降雨量進(jìn)行預(yù)測，并通過實證分析與其他線性回歸模型作對比評價，實驗結(jié)果表明人工神經(jīng)網(wǎng)絡(luò)有著更好地預(yù)測效果。此外還有其他很多學(xué)者在交通、航運(yùn)、氣候等多個領(lǐng)域運(yùn)用神經(jīng)網(wǎng)絡(luò)進(jìn)行了預(yù)測[5-7]，不在此贅述。

針對藥品銷量預(yù)測這一特定問題，國內(nèi)外部分學(xué)者也做了一定的研究工作，試圖尋找合適的預(yù)測方法對藥品需求做出較為準(zhǔn)確的預(yù)測。馬新強(qiáng) 等（2008）[8]提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的藥品需求預(yù)測模型，該文先利用數(shù)據(jù)倉庫及數(shù)據(jù)挖掘技術(shù)分析提取了相關(guān)有效的藥品銷售信息作為研究對象，在此基礎(chǔ)上利用BP神經(jīng)網(wǎng)絡(luò)對其進(jìn)行預(yù)測，最后在較為精確銷售量的基礎(chǔ)上提出了一種優(yōu)化的生產(chǎn)決策系統(tǒng)方法。王憲慶 等（2009）[9]利用BP神經(jīng)網(wǎng)絡(luò)模型對藥品超市的藥品銷售情況進(jìn)行預(yù)測并做了相關(guān)實證分析，該文通過觀察藥品預(yù)測的顯著性差異評價模型的性能，最終取得了良好的效果，支持了其BP神經(jīng)網(wǎng)絡(luò)非常適用于資金有限、倉儲量不大的藥品超市的結(jié)論。劉德玲（2012）[10]提出了一種針對大范圍內(nèi)的藥品銷售的預(yù)測方法。該文利用遺產(chǎn)算法優(yōu)化支持向量機(jī)藥品銷售預(yù)測方式進(jìn)行預(yù)測，提高了藥品銷售預(yù)測的精確度，得到了較為滿意的結(jié)果。

盡管有關(guān)研究不斷增多，但由于藥品需求特征頗為復(fù)雜的特殊性，運(yùn)用單項預(yù)測方法對其進(jìn)行預(yù)測無法涵蓋其較多的特征信息，從一定程度上限制了預(yù)測模型的適用范圍。本文根據(jù)藥品需求高度非線性的特點選取了3種不同特性神經(jīng)網(wǎng)絡(luò)模型作為單項預(yù)測方法，每種神經(jīng)網(wǎng)絡(luò)都有其所針對的藥品需求特征，并在此基礎(chǔ)上建立組合預(yù)測模型，擴(kuò)大了藥品預(yù)測模型的適應(yīng)范圍，對于提高藥品預(yù)測精度和預(yù)測穩(wěn)定性具有重要意義。

2 基于神經(jīng)網(wǎng)絡(luò)的藥品需求組合預(yù)測模型的建立

基于神經(jīng)網(wǎng)絡(luò)的藥品需求組合預(yù)測模型的具體步驟如下：

（1）數(shù)據(jù)異常點預(yù)處理。為提高組合預(yù)測模型的適用范圍和預(yù)測精度，本文運(yùn)用基于距離的異常點檢測方法對存在異常點的藥品需求數(shù)據(jù)進(jìn)行異常點修復(fù)，得到正常的需求數(shù)據(jù)。

（2）單項預(yù)測方法的選取。針對藥品需求的不同特征，選取3種不同特性的神經(jīng)網(wǎng)絡(luò)模型作為單項預(yù)測方法，以此作為組合預(yù)測模型單項預(yù)測方法的篩選基礎(chǔ)。

（3）單項預(yù)測方法的篩選與變權(quán)重的計算。因為不同藥品具備不同需求特征，在進(jìn)行組合預(yù)測時仍需要在已選取單項預(yù)測方法的基礎(chǔ)上再次篩選合適的單項預(yù)測方法進(jìn)行組合，以相對誤差為最優(yōu)準(zhǔn)則，通過求解二次規(guī)劃問題得到權(quán)重并按照一定的變權(quán)規(guī)則進(jìn)行變權(quán)。

（4）根據(jù)權(quán)重建立組合模型進(jìn)行預(yù)測。

2.1 藥品數(shù)據(jù)異常點預(yù)處理

在藥品銷售數(shù)據(jù)中，由于特殊事件（如鋪貨）等原因，個別數(shù)據(jù)會表現(xiàn)出明顯突變，導(dǎo)致藥品歷史數(shù)據(jù)存在異常點，掩蓋了數(shù)據(jù)本身的規(guī)律。本文通過基于距離的異常點檢測方法和多項式擬合方法對藥品數(shù)據(jù)做預(yù)處理，具體處理步驟如下：

首先，選擇一個較大的數(shù)（如1010）將缺失數(shù)據(jù)補(bǔ)足，然后運(yùn)用基于距離的異常點檢測方法進(jìn)行檢測。第一步，對藥品需求數(shù)據(jù)進(jìn)行歸一化處理并計算出各個數(shù)據(jù)之間的距離，得到距離矩陣P。計算公式如下：

Pij=|xi-xj|，i，j=1，…，n（1）

式中，xi表示時間序列中第i期的數(shù)據(jù)，Pij表示時間序列中i期數(shù)據(jù)與j期數(shù)據(jù)之差的絕對值。距離矩陣P的第i列表示時間序列第i期數(shù)據(jù)與長度為n的時間序列中所有數(shù)據(jù)（包括第i期數(shù)據(jù)本身）的距離。

P=p11，p12，…，p1np21，p22，…，p2n… … … …pn1，pn2，…，pnn（2）

通過設(shè)置距離閾值d，計算出所有滿足Pij>d的距離個數(shù)，記di，得到判別矩陣D。

D=[d1，d2，d3，…，dn]（3）

將di與閾值f進(jìn)行比較，若大于f，則識別該點為異常點，否則為正常值。最后利用多項式擬合方法，將檢測出來的異常點作擬合處理，得到建模需要的正常數(shù)據(jù)。

2.2 單項預(yù)測方法的選取

藥品需求預(yù)測是一個復(fù)雜的非線性系統(tǒng)建模問題，相對于傳統(tǒng)分析方法（如指數(shù)平滑方法、ARMA模型、MTV模型），神經(jīng)網(wǎng)絡(luò)依據(jù)數(shù)據(jù)本身的內(nèi)在聯(lián)系建模，具有良好的自組織、自適應(yīng)性，以及抗干擾能力以及非線性映射能力，能夠較好地解決非線性數(shù)據(jù)擬合問題。

本文選取3種具有不同特征的神經(jīng)網(wǎng)絡(luò)模型，即BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)和GRNN廣義回歸神經(jīng)網(wǎng)絡(luò)，綜合其各自優(yōu)勢建立組合預(yù)測模型，提升整個預(yù)測模型的泛化能力，提高預(yù)測精度與預(yù)測穩(wěn)定性。

2.2.1 基于BP神經(jīng)網(wǎng)絡(luò)的藥品需求預(yù)測方法

BP神經(jīng)網(wǎng)絡(luò)由Rumelhard和McClelland于1986年提出，它是一種典型的多層前向型神經(jīng)網(wǎng)絡(luò)。藥品銷售記錄作為BP神經(jīng)網(wǎng)絡(luò)輸入值，藥品需求預(yù)測即為BP神經(jīng)網(wǎng)絡(luò)輸出值。當(dāng)輸入節(jié)點數(shù)為m，輸出節(jié)點數(shù)為n時，BP神經(jīng)網(wǎng)絡(luò)就表達(dá)了從m個自變量到n個因變量的非線性函數(shù)映射關(guān)系。

BP神經(jīng)網(wǎng)絡(luò)側(cè)重對全樣本的學(xué)習(xí)，因此適合對樣本整體特征相近的時間序列進(jìn)行預(yù)測，即適應(yīng)受某一特定因素影響顯著，且該影響因素相對穩(wěn)定的藥品預(yù)測。

2.2.2 基于RBF神經(jīng)網(wǎng)絡(luò)的藥品需求預(yù)測方法

徑向基函數(shù)（RBF，Radical Basis Function）由Powell于1985年首次提出，它是一種三層前饋網(wǎng)絡(luò)，即輸入層、隱含層和輸出層。從輸入層到隱含層是一個非線性到線性的變換過程，從隱含層到輸出層是一個線性處理過程。RBF神經(jīng)網(wǎng)絡(luò)在處理非線性問題時，引入RBF核函數(shù)將非線性空間映射到線性空間，極大地提高了非線性處理能力，且RBF神經(jīng)網(wǎng)絡(luò)采用自組織有監(jiān)督的學(xué)習(xí)算法進(jìn)行訓(xùn)練，其訓(xùn)練收斂速度具有顯著的優(yōu)勢。

RBF神經(jīng)網(wǎng)絡(luò)具有很好的非線性處理能力，其學(xué)習(xí)算法屬于局部激活性較高的高斯函數(shù)，對于相似的樣本有著較高的逼近能力，因此適用于受會隨時間變化而較為顯著變化的因素影響的藥品需求預(yù)測。

2.2.3 基于GRNN的藥品需求預(yù)測方法

廣義回歸神經(jīng)網(wǎng)絡(luò)（GRNN，Generalized Regression Neural Network）由美國學(xué)者Donald F. Specht在1991年提出，它是徑向基神經(jīng)網(wǎng)絡(luò)的一種。GRNN具有很強(qiáng)的非線性映射能力和柔性網(wǎng)絡(luò)結(jié)構(gòu)以及高度的容錯性和魯棒性，適用于解決非線性問題。

GRNN在逼近能力和學(xué)習(xí)速度上較RBF網(wǎng)絡(luò)有更強(qiáng)的優(yōu)勢，網(wǎng)絡(luò)最后收斂于樣本量積聚較多的優(yōu)化回歸面，并且在樣本數(shù)據(jù)較少時，預(yù)測效果也較好。此外，網(wǎng)絡(luò)還可以處理不穩(wěn)定數(shù)據(jù)。因此GRNN適用于數(shù)據(jù)不全、異常點較多的藥品。

綜上所述，3種神經(jīng)網(wǎng)絡(luò)都具有良好的非線性處理及預(yù)測能力，因為學(xué)習(xí)算法的不同有著各自側(cè)重的學(xué)習(xí)方向，皆為應(yīng)用廣泛的預(yù)測方法，且對各自適應(yīng)范圍內(nèi)有著較好的預(yù)測效果。因此本文選擇BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)以及廣義回歸神經(jīng)網(wǎng)絡(luò)作為單項預(yù)測方法，并在此基礎(chǔ)上建立組合預(yù)測模型。

2.3 單項預(yù)測方法的篩選與變權(quán)系數(shù)的計算

本文在已選取3種單項預(yù)測方法的基礎(chǔ)上，再根據(jù)合適的MAPE和誤差方差篩選出組合模型中的單項預(yù)測方法，計算出變權(quán)系數(shù)。假設(shè)藥品需求的實際時間序列為y（t），t=1，2，…，N，N+1，…，N+T，其中t表示預(yù)測區(qū)間，T表示預(yù)測步長。

（1）單項方法篩選

單項方法進(jìn)一步篩選的具體步驟為：

①預(yù)先設(shè)置選擇單項方法MAPE閾值m 和誤差方差閥值ε

②進(jìn)行逐期單步預(yù)測，預(yù)測序列為：

{i（t），i=1，2，…，n；t=N+1，…，N+T}

③計算n種單項方法的相對誤差ei（t）、誤差方差εi（t）和MAPE。其中，單項預(yù)測方法的相對誤差序列為：

ei（t）=i=1，2，…，n；t=N+1，…，N+T（4）

單項預(yù)測方法的誤差方差為：

εi（t）=（5）

單項預(yù)測方法的MAPE為：

MAPEi（t）=ei（j），（i=1，2，…，n；t=N+1，…，N+T）（6）

④若MAPEi（t）

（2）變權(quán)系數(shù)的計算

本文考慮預(yù)測效果，選用基于相對誤差為最優(yōu)準(zhǔn)則的最優(yōu)加權(quán)法進(jìn)行計算。

假設(shè)從n中方法中篩選出p（p≤n）種單項預(yù)測方法，則組合模型第t+1期的權(quán)系數(shù)w（t+1）由相對誤差ei（1），…，ei（t）決定，其中i=1，…，p。變權(quán)規(guī)則如表1所示。

權(quán)系數(shù)具體計算過程如下：

①設(shè)組合權(quán)重wi為方法mi在組合預(yù)測方法中權(quán)重，則組合預(yù)測方法第t期相對誤差為：

e（t）=wi*ei（t），i=1，2，…，p（7）

②組合模型前t期的相對誤差平方和為：

e2=e（1）2+e（2）2+…+e（t）2（8）

令w=[w1，w2，…，wP]T，

E=e1（1），e2（1），…，ep（1）e1（2），e2（2），…，ep（2） … … … …e1（t），e2（t），…，ep（t）

建立如下目標(biāo)規(guī)劃：

min P=e2=wT*ET*E*w

s.t. wi=1（9）

③求解該目標(biāo)規(guī)劃得到變權(quán)系數(shù)w。

2.4 建立組合模型進(jìn)行預(yù)測

組合預(yù)測模型可表示為：

式中， wi（t）表示第t期單項方法mi的變權(quán)系數(shù)，（t）表示第t期組合預(yù)測方法的預(yù)測值。根據(jù)該模型對藥品進(jìn)行預(yù)測。

3 實驗與分析

本文以上海市某制藥企業(yè)月度銷售額為藥品需求預(yù)測的實證數(shù)據(jù)，根據(jù)銷售地區(qū)的不同抽取有代表性的藥品銷售數(shù)據(jù)，其中選取上海地區(qū)10種藥品，北京地區(qū)4種藥品及全區(qū)域銷售數(shù)據(jù)12種藥品，數(shù)據(jù)長度皆為30（2009-1至2011-6）。

數(shù)據(jù)選擇依據(jù)如下：①藥品銷售有一定的連續(xù)性，為公司主推或在某地區(qū)主推藥品，具有代表性及預(yù)測意義；②在考慮異常點和數(shù)據(jù)缺失時，選取異常點和缺失數(shù)據(jù)較少的藥品。

3.1 單項方法篩選和變權(quán)系數(shù)計算

根據(jù)不同銷售區(qū)域藥品需求的具體情況，設(shè)定單一省市藥品的MAPE閾值和方差閾值分別為20%和0.1；設(shè)定公司的MAPE閾值和方差閾值分別為30%和0.1。shy03和all03的單項預(yù)測方法選取結(jié)果如表2 所示。

利用單項預(yù)測方法的6期預(yù)測結(jié)果計算組合預(yù)測模型的3期權(quán)重，選相對誤差最優(yōu)準(zhǔn)則進(jìn)行權(quán)重計算，運(yùn)用MATLAB的二次規(guī)劃函數(shù)quadprog求解。變權(quán)規(guī)則及權(quán)重計算結(jié)果如表3所示。

3.2 預(yù)測模型的精度比較

本文選取平均絕對相對誤差（MAPE）和預(yù)測有效度兩個指標(biāo)來綜合評價模型的預(yù)測精度。當(dāng)MAPE越小時，說明預(yù)測精度越高。然而當(dāng)實際值非常小時，即使是預(yù)測值與真實值之差較小，其平均絕對相對誤差也會很大，而預(yù)測有效度能很好地避免此類問題，故我們引入預(yù)測有效度來綜合評價預(yù)測精度，預(yù)測有效度越大，預(yù)測精度越高。

用單項預(yù)測方法BP、RBF、GRNN與組合預(yù)測方法單一省市和全區(qū)域藥品銷售預(yù)測值的MAPE和有效度，對MAPE和有效度的情況進(jìn)行統(tǒng)計并且計算MAPE和有效度的平均值，比較結(jié)果如表4所示。

可以看出，運(yùn)用組合預(yù)測方法對單一省市的14種藥品進(jìn)行需求預(yù)測時，MAPE小于標(biāo)準(zhǔn)值20%的有8個，占藥品總數(shù)的57.14%，優(yōu)于BP（7）、RBF（4）、GRNN（6）方法；14種藥品的MAPE平均值為19.81%，優(yōu)于BP（26.71%）、RBF（28.45%）、GRNN（40.59%）方法。預(yù)測有效度大于標(biāo)準(zhǔn)值0.5的有11個，占藥品總數(shù)的78.57%，優(yōu)于BP（8）、RBF（10）、GRNN（8）方法；14種藥品的預(yù)測有效度平均值為0.62，優(yōu)于BP（0.57）、RBF（0.61）、GRNN（0.57）方法。

此外，運(yùn)用組合預(yù)測方法對全區(qū)域銷售的12種藥品進(jìn)行需求預(yù)測時，MAPE小于標(biāo)準(zhǔn)值30%的有7個，占藥品總數(shù)的58.33%，優(yōu)于BP（4）、RBF（6）、GRNN（3）方法；12種藥品的MAPE平均值為25.22%，優(yōu)于BP（35.90%）、RBF（32.07%）、GRNN（70.59%）方法。預(yù)測有效度大于標(biāo)準(zhǔn)值0.45的有10個，占藥品總數(shù)的83.33%，優(yōu)于BP（7）、RBF（9）、GRNN（5）方法；12種藥品的預(yù)測有效度平均值為0.58，優(yōu)于BP（0.46）、RBF（0.56）、GRNN（0.49）方法。

通過上述實證結(jié)果，從整體上看，組合預(yù)測方法的預(yù)測精度優(yōu)于單項預(yù)測方法，而且模型的適用范圍較廣。

3.3 預(yù)測模型的穩(wěn)定性比較

本文選擇預(yù)測誤差的方差作為評價模型穩(wěn)定性的指標(biāo)。將單項預(yù)測方法BP、RBF、GRNN與組合預(yù)測方法的誤差方差進(jìn)行比較，單一省市和全區(qū)域的比較結(jié)果如表5所示。

可以看出，運(yùn)用組合預(yù)測方法對單一省市的14種藥品進(jìn)行需求預(yù)測時，誤差方差小于標(biāo)準(zhǔn)值0.1的有12種，占藥品總數(shù)的85.71%，優(yōu)于BP（10）、RBF（11）、GRNN（10）方法；此外，14種藥品誤差方差平均值為0.0263，優(yōu)于BP（0.0613）、RBF（0.0361）、GRNN（0.0522）方法。運(yùn)用組合預(yù)測方法對全區(qū)域銷售的12種藥品進(jìn)行需求預(yù)測時，誤差方差小于標(biāo)準(zhǔn)值0.1的有11個，占總數(shù)的91.67%，優(yōu)于BP（9）、RBF（10）、GRNN（8）方法，此外，14種藥品的誤差方差平均值為0.031 0，優(yōu)于BP（0.092 7）、RBF（0.033 5）、GRNN（0.065 0）方法。因此從整體上看，組合預(yù)測方法的預(yù)測穩(wěn)定性優(yōu)于單項預(yù)測方法。

4 總結(jié)及展望

本文選擇3種具有不同適應(yīng)特征的神經(jīng)網(wǎng)絡(luò)模型作為單項預(yù)測方法，建立了基于神經(jīng)網(wǎng)絡(luò)的藥品需求組合預(yù)測模型，以上海市某藥企的實際銷售數(shù)據(jù)作為實證對象，驗證了該模型在預(yù)測精度和預(yù)測穩(wěn)定性上均優(yōu)于單項預(yù)測方法。當(dāng)然，雖然建立的神經(jīng)網(wǎng)絡(luò)組合模型在一定程度上彌補(bǔ)了現(xiàn)有方法的不足，擴(kuò)大了預(yù)測方法的適用范圍，但在研究過程中依然存在亟待解決的問題：

（1）單項預(yù)測方法的參數(shù)優(yōu)化有待進(jìn)一步研究。本文在參數(shù)優(yōu)化時，大部分采用遍歷法和經(jīng)驗法進(jìn)行設(shè)置，缺乏相應(yīng)理論依據(jù)和方法指導(dǎo)。如何采用合適參數(shù)尋優(yōu)方法進(jìn)行參數(shù)確定是下一步亟待解決的問題。

（2）進(jìn)行組合預(yù)測時，選擇合適的最優(yōu)準(zhǔn)則有待于進(jìn)一步研究。本文選取相對誤差作為最優(yōu)準(zhǔn)則進(jìn)行需求預(yù)測，該準(zhǔn)則的選取忽視了量綱統(tǒng)一性，未來的研究應(yīng)該綜合考慮量綱統(tǒng)一、預(yù)測誤差和預(yù)測穩(wěn)定性，使組合預(yù)測方法更科學(xué)、更合理。

主要參考文獻(xiàn)

[1]J M Bates，C W J Granger.The Combination of Forecasts[J]. Operations Research Quarterly，1969，20（4）：451-468.

[2]吳正佳，王文，周進(jìn).BP神經(jīng)網(wǎng)絡(luò)在備貨型企業(yè)銷售預(yù)測中的應(yīng)用[J].工業(yè)工程，2010（1）：105-108.

[3]童明榮，薛恒新，劉路冰.基于季節(jié)性RBF神經(jīng)網(wǎng)絡(luò)的月度市場需求預(yù)測研究[J].運(yùn)籌與管理，2007（3），146-150.

[4]Maria Cleofé，R Valverde.Artificial Neural Network Technique for Rainfall Forecasting Applied to the S？觔o Paulo Region[J].Journal of Hydrology，2005，1（20）：146-162.

[5]A A Khan，K E Marion，C Bil. The Prediction of Ship Motions and Attitudes Using Artificial Neural Networks[C].19th National Conference of the Australian Society for Operations Research， Melbourne， Victoria， 2007.

[6]D C Park，El-Sharkawi.Electric Load Forecasting Using an Artificial Neural Network[J].IEEE Transaction on Power Systems， 1991， 6（2）：442-449.

[7]Maria Cleofé， Valverde Ramírez.Artificial Neural Network Technique for Rainfall Forecasting Applied to the S？觔o Paulo Region[J]. Journal of Hydrology ， 2005， 301（20）：146-162.

[8]馬新強(qiáng)，黃羿.基于BP神經(jīng)網(wǎng)絡(luò)的藥品銷售預(yù)測模型設(shè)計[J].重慶文理學(xué)院學(xué)報，2008（2）：64-66.

第4篇：神經(jīng)網(wǎng)絡(luò)過擬合的表現(xiàn)范文

[關(guān)鍵詞]人力資源管理；人力資源需求預(yù)測；BP神經(jīng)網(wǎng)絡(luò)

[中圖分類號]F270.7[文獻(xiàn)標(biāo)識碼]A[文章編號]2095-3283（2013）01-00-02

一、 應(yīng)用BP神經(jīng)網(wǎng)絡(luò)的必要性

隨著經(jīng)濟(jì)全球化和信息技術(shù)的加快發(fā)展，我國企業(yè)面臨著更為嚴(yán)峻的競爭壓力。為了適應(yīng)現(xiàn)代市場需求，企業(yè)必須優(yōu)化配置人力資源，并科學(xué)制定人力資源規(guī)劃。其中，科學(xué)的人力資源需求預(yù)測是人力資源開發(fā)和規(guī)劃的基礎(chǔ)，對人力資源管理活動將產(chǎn)生持續(xù)和重要的影響。

企業(yè)人力資源需求預(yù)測分析方法多種多樣。在進(jìn)行人力資源需求預(yù)測時，企業(yè)要考慮的因素復(fù)雜多變，如企業(yè)的目標(biāo)和經(jīng)營戰(zhàn)略、生產(chǎn)狀況的變化、工作設(shè)計或組織結(jié)構(gòu)的變化等，而且各種影響因素與預(yù)測結(jié)果之間的相關(guān)性難以用定量的方法表示出來，是非線性相互制約的映射關(guān)系。將BP神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于人力資源需求預(yù)測領(lǐng)域，彌補(bǔ)和改進(jìn)了人力資源需求預(yù)測分析方法，能較好地實現(xiàn)各指標(biāo)與需求結(jié)果之間非線性關(guān)系的映射，對企業(yè)人力資源決策具有一定的參考和指導(dǎo)作用。

二、BP神經(jīng)網(wǎng)絡(luò)的基本原理

人工神經(jīng)網(wǎng)絡(luò)，簡稱神經(jīng)網(wǎng)絡(luò)，是一種包括許多簡單的非線性計算單元或聯(lián)結(jié)點的非線性動力系統(tǒng)，是用大量簡單的處理單元廣泛連接組成的復(fù)雜網(wǎng)絡(luò)。Back-Propagation Network，簡稱為BP網(wǎng)絡(luò)，即基于誤差反向傳播算法的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最成功和廣泛的人工神經(jīng)網(wǎng)絡(luò)。它由輸入層、隱含層和輸出層組成。隱含層可以是一層或多層。BP神經(jīng)網(wǎng)絡(luò)自身具有的非線性映射、自學(xué)習(xí)、自適應(yīng)能力、容易實現(xiàn)并行計算等優(yōu)點，彌補(bǔ)和改進(jìn)了供應(yīng)商選擇和評價方法，能較好地實現(xiàn)各指標(biāo)與評價結(jié)果之間非線性關(guān)系的映射。

基于BP神經(jīng)網(wǎng)絡(luò)，構(gòu)建供應(yīng)商的選擇評價模型，其基本思想為：假設(shè)輸入變量為X=（X1，X2，···，Xi）'，隱含層輸出變量為Y=（Y1，Y2，···，Yj）'，輸出層變量為Z=（Z1，Z2，···，Zl）'，期望輸出的目標(biāo)變量為T=（T1，T2，···，Tl）'，Wij、Wjl分別為輸入層到隱含層、隱含層到輸出層的連接權(quán)值（如圖1所示）。對于i個輸入學(xué)習(xí)樣本X1，X2，···，Xi，已知與其對應(yīng)的輸出樣本為Z1，Z2，···，Zl。通過BP算法的學(xué)習(xí)，沿著負(fù)梯度方向不斷調(diào)整和修正網(wǎng)絡(luò)連接權(quán)值Wij和Wjl，使網(wǎng)絡(luò)的實際輸出Z逐漸逼近目標(biāo)矢量T，也就是使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小。

圖1三層BP網(wǎng)絡(luò)結(jié)構(gòu)圖三、BP神經(jīng)網(wǎng)絡(luò)在企業(yè)人力資源需求預(yù)測中的應(yīng)用

根據(jù)上述BP神經(jīng)網(wǎng)絡(luò)主要思想，以A公司為例，分析如何運(yùn)用MATLAB工具箱實現(xiàn)基于BP神經(jīng)網(wǎng)絡(luò)的企業(yè)人力資源需求預(yù)測。

1.樣本數(shù)據(jù)處理

選取年份、產(chǎn)值、資產(chǎn)總計、利潤4個指標(biāo)作為輸入向量，從業(yè)人員作為目標(biāo)向量（見表1）。在對BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練前，應(yīng)該對數(shù)據(jù)進(jìn)行歸一化處理，使那些比較大的輸入仍落在傳遞函數(shù)梯度大的地方。本例采用MATLAB工具箱中的premnmx（）函數(shù)把數(shù)據(jù)歸一到[-1，1]之間，如表2所示。

對于BP網(wǎng)絡(luò)，有一個非常重要的定理。即對于任何在閉區(qū)間內(nèi)的一個連續(xù)函數(shù)都可以用單隱層的BP網(wǎng)絡(luò)逼近，因而一個三層BP網(wǎng)絡(luò)就可以完成任意的n維到m維的映射。本例采用單隱層的BP網(wǎng)絡(luò)進(jìn)行從業(yè)人員預(yù)測。由于輸入樣本為4維的輸入向量，因此，輸入層一共有4個神經(jīng)元，網(wǎng)絡(luò)只有1個輸出數(shù)據(jù)，則輸出層只有1個神經(jīng)元。隱含層神經(jīng)元個數(shù)根據(jù)最佳隱含層神經(jīng)元數(shù)經(jīng)驗公式取15個。因此，網(wǎng)絡(luò)應(yīng)該為4×15×1的結(jié)構(gòu)。隱含層神經(jīng)元的傳遞函數(shù)為S型正切函數(shù)tansig（），輸出層神經(jīng)元的傳遞函數(shù)為線性激活函數(shù)purelin（）。

3.BP網(wǎng)絡(luò)訓(xùn)練及仿真

建立網(wǎng)絡(luò)后，對表2中的數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練參數(shù)的設(shè)定如表3所示，其他參數(shù)取默認(rèn)值。

訓(xùn)練次數(shù)12100012目標(biāo)誤差120.00112學(xué)習(xí)速率120.01訓(xùn)練結(jié)果如圖1所示，可見經(jīng)過52次訓(xùn)練后，網(wǎng)絡(luò)的目標(biāo)誤差達(dá)到要求。

圖1訓(xùn)練結(jié)果網(wǎng)絡(luò)訓(xùn)練結(jié)束后，運(yùn)用MATLAB工具箱中的sim（）函數(shù)，將經(jīng)過歸一化后的數(shù)據(jù)表2進(jìn)行仿真模擬，獲得網(wǎng)絡(luò)的輸出，然后將運(yùn)算結(jié)果通過postmnmx（）函數(shù)進(jìn)行反歸一化處理，得到BP網(wǎng)絡(luò)預(yù)測值，最后檢查BP網(wǎng)絡(luò)預(yù)測值和實際從業(yè)人員數(shù)之間的誤差是否符合要求，如表4所示。

4.預(yù)測結(jié)果評價

圖2反映了該BP網(wǎng)絡(luò)較好地逼近了輸入矢量，即年份、產(chǎn)值（萬元）、資產(chǎn)總計（萬元）和利潤（萬元）與目標(biāo)矢量，即從業(yè)人員（人）之間的線性關(guān)系。用BP神經(jīng)網(wǎng)絡(luò)對現(xiàn)有人力資源狀況進(jìn)行分析擬合，是人力資源需求預(yù)測的較理想方法。與傳統(tǒng)的人力資源需求預(yù)測方法相比，將BP神經(jīng)網(wǎng)絡(luò)用于人力資源需求預(yù)測，克服了輸入矢量和目標(biāo)矢量非線性、不符合統(tǒng)計規(guī)律的問題。BP神經(jīng)網(wǎng)絡(luò)模型良好的容錯和自學(xué)習(xí)能力，調(diào)用MATLAB工具箱函數(shù)，使預(yù)測過程更易實現(xiàn)，可以更好地對人力資源進(jìn)行規(guī)劃，提高人力資源預(yù)測精度。

圖2BP神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近結(jié)果將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于企業(yè)人力資源需求預(yù)測，能較好地建立起各影響因素與預(yù)測結(jié)果之間的非線性關(guān)系，是企業(yè)預(yù)測人力資源需求的一種較理想的方法。但BP神經(jīng)網(wǎng)絡(luò)也存在著一些不足和問題。主要表現(xiàn)在學(xué)習(xí)速率太小可能會造成訓(xùn)練時間過長；BP算法可以使權(quán)值收斂到某個值，但并不能保證其為誤差平面的全局最小值；網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇一般是根據(jù)經(jīng)驗或者通過反復(fù)實驗確定，網(wǎng)絡(luò)往往存在很大的冗余性，在一定程度上也增加了網(wǎng)絡(luò)學(xué)習(xí)的負(fù)擔(dān)。因此，BP神經(jīng)網(wǎng)絡(luò)在企業(yè)人力資源需求預(yù)測領(lǐng)域的應(yīng)用仍需根據(jù)企業(yè)自身實際情況做進(jìn)一步的改進(jìn)和完善。

[參考文獻(xiàn)]

[1]飛思科技產(chǎn)品研發(fā)中心神經(jīng)網(wǎng)絡(luò)理論與MATLAB7實現(xiàn)[M]北京：電子工業(yè)出版社，2005.

[2]（美）海金（Simon Haykin）神經(jīng)網(wǎng)絡(luò)原理（原書第2版）[M]葉世偉，史忠植譯北京：機(jī)械工業(yè)出版社，2004.

[3]叢爽面向MATLAB工具箱的神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用[M]中國科學(xué)技術(shù)大學(xué)出版社，1998.

[4]劉躍基于BP神經(jīng)網(wǎng)絡(luò)的人力資源估價研究[J]統(tǒng)計與信息論壇，2007（1）：96-99.

[5]艷明四種人力資源的定量預(yù)測方法及評述[J]統(tǒng)計與決策，2008（7）：30-32.

[6]國家統(tǒng)計局固定資產(chǎn)投資統(tǒng)計司，中國行業(yè)企業(yè)信息中心中國大型房地產(chǎn)與建筑業(yè)企業(yè)年鑒[M]北京：中國大地出版社，2003-2008.

[7]王文富企業(yè)人力資源預(yù)測與規(guī)劃研究[D]天津大學(xué)，2004.

第5篇：神經(jīng)網(wǎng)絡(luò)過擬合的表現(xiàn)范文

關(guān)鍵詞：壁紙識別；BP神經(jīng)網(wǎng)絡(luò)；不變矩

中圖分類號：TP391.41

貼標(biāo)的識別以往是通過人工識別，人為因素影響大，識別速度慢，精度低，不能滿足大批量生產(chǎn)的需要。因此，在經(jīng)濟(jì)社會高速發(fā)展的今天，此方法越來越不能滿足壁紙行業(yè)發(fā)展的需要。隨著計算機(jī)的發(fā)展，通過計算機(jī)智能識別壁紙的紋理就成為可能，主要思路是將壁紙拍攝獲知的圖像進(jìn)行紋理特征的提取，只要建立足夠的特征庫，就可以把需要判別的壁紙圖片輸入計算機(jī)，通過檢索來判別該壁紙是哪種材種。因此，本文引入圖像處理技術(shù)和BP神經(jīng)網(wǎng)絡(luò)技術(shù)，提出一種壁紙貼標(biāo)自動識別算法，以解決貼標(biāo)大批量生產(chǎn)的需要。

1 壁紙紋理特征的提取

不變矩是指物體圖像經(jīng)過平移，旋轉(zhuǎn)以及比例變換仍保持不變的矩特征量，設(shè)物體的二維離散圖像函數(shù)用f（x，y）表示，其（p+q）階矩定義為：

（1）

相應(yīng)的（p+q）階中心矩定義為：

（2）

其中，x0=m10/m00，y0=m01/m00，x0表示二維圖像的灰度在水平方向上的重心，y0表示二維圖像的灰度在垂直方向上的重心。

HuM.K.等人利用二階、三階中心矩得到了7個不變矩特征參數(shù)，具體如下：

Φk=|log|Φk，k=1，2，3，4，5，6，7 （3）

在本設(shè)計的實驗中要求樣本的尺寸是256×256，從每一類原始樣本中采集100個能表現(xiàn)該樣本紋理的圖片，形成識別樣本庫，之后提取了所有樣本的不變矩紋理特征。

圖1 壁紙樣本圖片

2 BP-神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計

2.1 BP神經(jīng)網(wǎng)絡(luò)概述

BP神經(jīng)網(wǎng)絡(luò)（Back Propagation）是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種基于誤差逆?zhèn)鞑ニ惴ǖ亩鄬忧梆伾窠?jīng)網(wǎng)絡(luò)，目前廣泛應(yīng)用于分類、識別、函數(shù)逼近等領(lǐng)域。BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，包括輸入層、輸出層和隱含層。

圖2 BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

BP學(xué)習(xí)算法的工作過程由正向傳播和反向傳播組成。正向傳播過程是指輸入信號從輸入層經(jīng)隱含層，在輸出層產(chǎn)生輸出信號。如果輸出層不能得到期望的輸出信號，輸出信號將反向傳播，將誤差信號沿原有路徑返回，并按照一定規(guī)則修改網(wǎng)絡(luò)參數(shù)，逐漸地向輸入層傳播去進(jìn)行計算，正向傳播和反向傳播兩個過程的反復(fù)運(yùn)用，直到誤差信號滿足要求。

2.2 BP神經(jīng)網(wǎng)絡(luò)分類器設(shè)計

2.2.1 網(wǎng)絡(luò)輸入節(jié)點數(shù)的設(shè)計

輸入層節(jié)點數(shù)主要根據(jù)數(shù)據(jù)特征向量的維數(shù)來確定，本文輸入節(jié)點數(shù)為不變矩特征向量的維數(shù)，即輸入節(jié)點數(shù)為7。

2.2.2 網(wǎng)絡(luò)隱含層數(shù)的設(shè)計

通常情況下，增加網(wǎng)絡(luò)的隱含層數(shù)可以使網(wǎng)絡(luò)誤差降低，提高網(wǎng)絡(luò)的精度，但同時也使網(wǎng)絡(luò)變得復(fù)雜化，使得網(wǎng)絡(luò)的訓(xùn)練時間增加，而且容易出現(xiàn)網(wǎng)絡(luò)過擬合的情況。有研究表明，具有Sigmoid非線性函數(shù)的3層BP神經(jīng)網(wǎng)絡(luò)能夠逼近任何連續(xù)函數(shù)。因此，本研究中神經(jīng)網(wǎng)絡(luò)分類器的隱含層數(shù)選為3層。

2.2.3 網(wǎng)絡(luò)隱含層節(jié)點數(shù)的設(shè)計

在確定BP神經(jīng)網(wǎng)絡(luò)隱含層數(shù)后，下一步就需要確定隱含層節(jié)點數(shù)。隱含層神經(jīng)元個數(shù)一般由 是公式確定，其中n是隱含層神經(jīng)元個數(shù)，n0是輸入層神經(jīng)元個數(shù)，n1是輸出神經(jīng)元個數(shù)，a∈（1～10）。

2.2.4 網(wǎng)絡(luò)輸出層的設(shè)計

輸出層的節(jié)點數(shù)是根據(jù)BP神經(jīng)網(wǎng)絡(luò)分類器的輸出類別數(shù)量決定，也就是說，輸出層的節(jié)點數(shù)應(yīng)為類別總數(shù)。例如，本研究需要將待識別的壁紙樣本分成8大類，那么輸出層節(jié)點數(shù)應(yīng)設(shè)置為8，并將每類對應(yīng)的目標(biāo)向量依次設(shè)置為[1 0 0 0 0 0 0 0]T、[0 1 0 0 0 0 0 0]T、[0 0 1 0 0 0 0 0]T、[0 0 0 1 0 0 0 0]T、[0 0 0 0 1 0 0 0]T、[0 0 0 0 0 1 0 0]T、[0 0 0 0 0 0 1 0]T、[0 0 0 0 0 0 0 1]T，對應(yīng)目標(biāo)向量的數(shù)目為對應(yīng)輸入壁紙樣本的數(shù)目，即目標(biāo)向量與輸入壁紙樣本是相互對應(yīng)的。

本文BP神經(jīng)網(wǎng)絡(luò)分類器采用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行設(shè)計，訓(xùn)練函數(shù)選擇Trainlm，訓(xùn)練次數(shù)為200，誤差為0.001，將壁紙樣本其分成訓(xùn)練樣本與測試樣本2部分，并利用訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)對樣本進(jìn)行自動識別，識別率達(dá)到90.0%。

3 結(jié)束語

實驗結(jié)果表明不變矩紋理特征參數(shù)可以用于表征壁紙樣本，使用本文設(shè)計的BP神經(jīng)網(wǎng)絡(luò)分類器可以有效識別不同種類的壁紙樣本。

參考文獻(xiàn)：

[1]高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實例[M].北京：機(jī)械工業(yè)出版社，2003：55-63.

[2]楊斐，王坤明，馬欣.應(yīng)用BP神經(jīng)網(wǎng)絡(luò)分類器識別交通標(biāo)志[J].計算機(jī)工程，2000（10）：120-121.

[3]Yaping JIANG，Zuxin XU，Hailong YIN.Study on improved BP artificial neural networks in eutrophication assessment of China eastern lakes [J].Journal of Hydrodynamics，2006（03）：528-532.

[4]嚴(yán)曉梅，耿國華，周明全.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的指紋自動分類器[J].微計算機(jī)信息，2007（01）：281-282+288.

[5]李梅，孟凡玲，李群.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的地下水環(huán)境脆弱性評價[J].河海大學(xué)學(xué)報（自然科學(xué)版），2007（03）：245-249.

[6]閔惜琳，劉國華.用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱開發(fā)BP網(wǎng)絡(luò)應(yīng)用[J].計算機(jī)應(yīng)用，2001（08）：163-164.

第6篇：神經(jīng)網(wǎng)絡(luò)過擬合的表現(xiàn)范文

關(guān)鍵詞 基本藥物 采購行為 BP神經(jīng)網(wǎng)絡(luò)

中圖分類號：F713.54 文獻(xiàn)標(biāo)識碼：A 文章編號：1006-1533（2013）05-0047-05

2009年國家基本藥物制度實施后，國家將執(zhí)行基本藥物集中采購作為實施基本藥物制度的評價標(biāo)準(zhǔn)之一，于是各省將原有的藥品集中采購分為基本藥物和非基本藥物兩類。2010年11月，國務(wù)院《建立和規(guī)范政府辦基層醫(yī)療衛(wèi)生機(jī)構(gòu)基本藥物采購機(jī)制的指導(dǎo)意見》，旨在對現(xiàn)階段較為無序的藥品采購行為進(jìn)行規(guī)范，推行科學(xué)合理的采購模式，對基本藥物采購方面的研究開始得到關(guān)注。

現(xiàn)行采購模式是省集中采購平臺通過統(tǒng)計各基層醫(yī)院上報的用藥需求之后，再統(tǒng)籌面向中標(biāo)企業(yè)進(jìn)行集中采購。但是，作為基本藥物集中招標(biāo)采購體系中繼招標(biāo)過程之后的重要環(huán)節(jié)，采購過程并未得到足夠的重視，基于基本藥物采購行為的微觀研究的理論和文獻(xiàn)更是少之又少。在缺乏科學(xué)理論和方法支持下的采購決策，容易受主觀如采購主體尋租以及客觀如廠商合謀等因素干擾而不穩(wěn)定，這種不穩(wěn)定帶來的滯后效應(yīng)會掣肘社區(qū)衛(wèi)生服務(wù)中心對基本藥物的需求預(yù)測，繼而帶來后續(xù)基本藥物的供需矛盾。除此之外，采購量錯誤統(tǒng)計或填寫不夠準(zhǔn)確的偶然誤差將會進(jìn)一步加劇這個矛盾?；舅幬锛姓袠?biāo)采購體系下的基本藥物采購在執(zhí)行過程中有必要加強(qiáng)監(jiān)督管理和調(diào)控。因此，尋找合理與靈活的理論和方法來保證基本藥物的采購決策行為的穩(wěn)定性就成為關(guān)注點。

由于BP （Back Propagation）神經(jīng)網(wǎng)絡(luò)模型尚未在基本藥物招標(biāo)采購體系中進(jìn)行相關(guān)的理論研究和應(yīng)用探索，未能發(fā)揮其在其他領(lǐng)域中發(fā)揮出的功效。本文針對這一環(huán)節(jié)進(jìn)行探索，擬在建立BP 神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，統(tǒng)計分析社區(qū)衛(wèi)生服務(wù)機(jī)構(gòu)的藥品使用等特征后，將BP神經(jīng)網(wǎng)絡(luò)模型運(yùn)用到社區(qū)醫(yī)療機(jī)構(gòu)的需求預(yù)測中來，使采購主體在決策時能有更多的支持信息，實現(xiàn)采購數(shù)量科學(xué)化，從而保證社區(qū)醫(yī)療機(jī)構(gòu)對基本藥物的供應(yīng)充足，以期從這一環(huán)節(jié)上減輕民眾對基本藥物的獲取負(fù)擔(dān)，使整個基本藥物的供應(yīng)實現(xiàn)資源優(yōu)化配置，也可為基本藥物集中采購的理論和方法提供借鑒和參考。

1 BP神經(jīng)網(wǎng)絡(luò)預(yù)測功能的研究

由于人工神經(jīng)網(wǎng)絡(luò)是非線性、非局域性和非定常性的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，具有并行分布的信息處理結(jié)構(gòu)和自適應(yīng)的腦模式的信息處理的本質(zhì)與能力，它可以通過“自學(xué)習(xí)”或“訓(xùn)練”掌握大量的知識，完成特定的工作。人工神經(jīng)網(wǎng)絡(luò)對建立預(yù)測模型十分有效，它能從數(shù)據(jù)樣本中自動學(xué)習(xí)以前的經(jīng)驗而無需復(fù)雜的查詢和表述過程，并自動地逼近那些最佳的數(shù)據(jù)蘊(yùn)含的規(guī)律，它在時間序列預(yù)測方面，尤其是高復(fù)雜度的非線性時間序列方面明顯優(yōu)于傳統(tǒng)的預(yù)測方法。在預(yù)測方面，目前應(yīng)用最廣泛且較為成功的是前向神經(jīng)網(wǎng)絡(luò)。

1.1 BP神經(jīng)網(wǎng)絡(luò)基本理論

BP神經(jīng)網(wǎng)絡(luò)也稱誤差反向傳播神經(jīng)網(wǎng)絡(luò)，為有監(jiān)督的學(xué)習(xí)，是梯度下降法在多層前饋網(wǎng)絡(luò)中的應(yīng)用。它有一個輸入層、一個輸出層、一個或多個隱含層。每一層上包含若干個節(jié)點，每個節(jié)點代表一個神經(jīng)元。同一層上的各節(jié)點之間無連接關(guān)系，相鄰層采取全互連。信息從輸入層開始在各層之間單向傳播，依次經(jīng)過各隱含層，最后到達(dá)輸出層。

BP算法的學(xué)習(xí)過程是一個反復(fù)迭代的過程，由正向傳播和反向傳播組成。其算法的基本思想是根據(jù)網(wǎng)絡(luò)輸出層的誤差，從輸出層開始反過來調(diào)整網(wǎng)絡(luò)的權(quán)值和閥值，最后使得輸出的均方誤差最小。經(jīng)過對一定數(shù)量樣本進(jìn)行反饋學(xué)習(xí)后，網(wǎng)絡(luò)所持的權(quán)值便是網(wǎng)絡(luò)通過自適應(yīng)學(xué)習(xí)得到的正確的內(nèi)部表示。這時將待識別樣本的特征數(shù)據(jù)輸入訓(xùn)練好的網(wǎng)絡(luò)，則網(wǎng)絡(luò)就可以對樣本的屬性進(jìn)行自動推理和識別。在非線性建模方法中，神經(jīng)網(wǎng)絡(luò)理論證明了在選擇適當(dāng)?shù)碾[層數(shù)及相應(yīng)的神經(jīng)元數(shù)目下，前饋神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任意非線性函數(shù)[1]。

1.2 BP神經(jīng)網(wǎng)絡(luò)在預(yù)測領(lǐng)域的實現(xiàn)

由于BP學(xué)習(xí)算法本質(zhì)上是一個非線性優(yōu)化問題，網(wǎng)絡(luò)模型的確立分為兩個階段：學(xué)習(xí)階段和檢驗階段。學(xué)習(xí)階段是通過對歷史資料的學(xué)習(xí)，使己有的模式以權(quán)系數(shù)的方式存儲于網(wǎng)絡(luò)之中，這實質(zhì)上是一個擬合的過程；檢驗階段是將已有歷史數(shù)據(jù)輸入網(wǎng)絡(luò)之中，檢驗網(wǎng)絡(luò)輸出與實測值的誤差是否達(dá)到一定的精度要求，如果滿足要求，則BP網(wǎng)絡(luò)可以被用于預(yù)測。采用BP網(wǎng)絡(luò)學(xué)習(xí)方法進(jìn)行模擬分析，構(gòu)造BP網(wǎng)絡(luò)的基本步驟是：

1） 確定BP網(wǎng)絡(luò)的輸入向量、輸出向量的維數(shù)和隱含層數(shù)及節(jié)點數(shù)；

2） 確定隱含層傳遞函數(shù)和輸出層傳遞函數(shù)關(guān)系；

3） 將網(wǎng)絡(luò)學(xué)習(xí)樣本劃分為學(xué)習(xí)段和檢驗段；

4） 訓(xùn)練網(wǎng)絡(luò)，擬合學(xué)習(xí)段時間序列，使其誤差平方和達(dá)到最??；

5） 用檢驗段數(shù)據(jù)檢驗訓(xùn)練好的網(wǎng)絡(luò)模型，利用該模型對未來進(jìn)行預(yù)測。

1.3 BP神經(jīng)網(wǎng)絡(luò)在醫(yī)藥行業(yè)的應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)在醫(yī)藥行業(yè)的應(yīng)用包括藥品采購資金管理、醫(yī)療器材需求和藥品銷售預(yù)測3個方面。據(jù)文獻(xiàn)報道[2-3]，出于降低庫存，提高管理有效性和運(yùn)作靈活性的目的，運(yùn)用BP神經(jīng)網(wǎng)絡(luò)對研究對象的歷史數(shù)據(jù)進(jìn)行分析，得出預(yù)測值，并與經(jīng)驗性的實際值進(jìn)行對比，發(fā)現(xiàn)基于BP神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測，可以有效節(jié)約采購和生產(chǎn)安排的不穩(wěn)定性，降低庫存，從而節(jié)約成本，提高效益。

2 BP神經(jīng)網(wǎng)絡(luò)在湖北省基本藥物采購量預(yù)測中的應(yīng)用

2011年3月13日，湖北省政府辦公廳印發(fā)《湖北省基層醫(yī)療衛(wèi)生機(jī)構(gòu)基本藥物集中采購管理辦法（試行）》，標(biāo)志著該省建立和規(guī)范基本藥物統(tǒng)一招標(biāo)采購新機(jī)制的出臺[4]。在該辦法中，實行以省為單位集中采購、統(tǒng)一配送，與藥品生產(chǎn)企業(yè)簽訂購銷合同，一次完成采購全過程，最大限度地降低采購成本，促進(jìn)基本藥物生產(chǎn)和供應(yīng)。

2.1 湖北省基本藥物采購量預(yù)測模型的建立

2.1.1 研究對象及數(shù)據(jù)準(zhǔn)備

湖北省每月采購的基本藥物品種有1 000種之多，從理論上來說，為了更好地估計湖北省的基本藥物采購量的預(yù)測值，需要將每種藥物根據(jù)其歷史采購量來建立預(yù)測模型，如此一來會帶來巨大的工作量。因此，應(yīng)選擇使用頻率比較高、采購比較頻繁、使用特點具有相似性的一大類藥物品種來進(jìn)行研究。綜合對湖北省每月采購?fù)▓蟮姆治?，選定藥物大類為抗生素類。樣本納入標(biāo)準(zhǔn)為統(tǒng)計期內(nèi)的采購時間是連續(xù)的，并且屬于同一大類的不同規(guī)格。

本文建模對象及數(shù)據(jù)見表1。

2.1.2 基本藥物采購量神經(jīng)網(wǎng)絡(luò)預(yù)測模型的實現(xiàn)

在進(jìn)行神經(jīng)網(wǎng)絡(luò)預(yù)測之前，為避免原始數(shù)據(jù)過大造成網(wǎng)絡(luò)麻痹，要對原始數(shù)據(jù)進(jìn)行歸一化處理，對于預(yù)測值，由于變化幅度較大，也不宜直接作為神經(jīng)網(wǎng)絡(luò)的輸出。對于單極型Sigmoid函數(shù)來說，應(yīng)用如下歸一化處理公式對樣本數(shù)據(jù)進(jìn)行歸一化處理：

2.2 實證檢驗

湖北省基本藥物采購量神經(jīng)網(wǎng)絡(luò)模型就是利用神經(jīng)網(wǎng)絡(luò)的非線性特性去逼近一個時間序列或一個時間序列的變形，通過神經(jīng)網(wǎng)絡(luò)清晰的邏輯關(guān)系，利用過去時刻的值去表達(dá)未來時刻的值。本文以湖北省部分基本藥物品種采購量為數(shù)據(jù)，以月度基本藥物采購量為預(yù)測目標(biāo)，用上述的建模方法建立月度基本藥物采購量預(yù)測模型。

第一步，建立預(yù)測模型，對歸一化的數(shù)據(jù)用MATLAB中提供的函數(shù)進(jìn)行學(xué)習(xí)（圖1），學(xué)習(xí)程序如下：

net=newff（minmax（P）， [8 1]， {'tansig'， 'purelin'}， 'traingdx'， 'learngdm'）；

net.trainparam.epochs=10 000；

net.trainparam.goal=0.005；

net.trainparam.show=500；

[net， tr]=train（net， P， T）；

首先，我們設(shè)定的隱層節(jié)點數(shù)為8，目標(biāo)誤差為0.005，學(xué)習(xí)率設(shè)置為0.01，網(wǎng)絡(luò)經(jīng)過222次迭代之后達(dá)到了指定精度，誤差為0.004 966 8。再分別設(shè)定隱層節(jié)點數(shù)為：6，8，12，15，20；目標(biāo)誤差不變，仍為0.005，學(xué)習(xí)結(jié)果如表2所示。

結(jié)合學(xué)習(xí)次數(shù)和誤差的比較，可以得出在隱層節(jié)點數(shù)設(shè)為15時，學(xué)習(xí)效果較好。

由17個月樣本藥品的采購量數(shù)據(jù)P為訓(xùn)練值，以第17個月的采購量為目標(biāo)值，進(jìn)行訓(xùn)練。由于2012年12月的采購量未知，如果要預(yù)測第18個月采購量則無法用實際的數(shù)據(jù)進(jìn)行檢驗。因此在預(yù)測值調(diào)整為第17個月的采購量數(shù)據(jù)。測試程序如下：B=sim（net， T）。

誤差為[0.024 9， -0.118 5， -0.170 7， -0.242 2， -0.040 5， 0.143 9， -0.047 5， 0.078 3， -0.066 6， -0.057 3， -0.036 6， 0.003 2， -0.043 6， -0.009 9， 0.020 5， -0.031 0， -0.016 8， 0.057 3， -0.025 1， 0.018 0， 0.036 4， -0.218 0， -0.159 0， -0.112 9， -0.014 81， -0.120 8， 0.134 9， -0.043 6]。誤差均在可接受的范圍內(nèi)，認(rèn)可數(shù)據(jù)已得到很好的訓(xùn)練，具備較好的仿真能力。

學(xué)習(xí)的誤差基本上在我們可以接受的范圍內(nèi)，其學(xué)習(xí)效果如圖2所示。通過前面己經(jīng)驗證，該網(wǎng)絡(luò)的學(xué)習(xí)能力以及預(yù)測能力有很大的優(yōu)越性。

2.3 預(yù)測結(jié)果分析

通過反歸一化公式：得到第17個月即2012年11月各藥品的采購值。將2012年11月的實際采購量與實證檢驗建立模型后所得到的預(yù)測中結(jié)果進(jìn)行比較，結(jié)果見表3。

從表3中我們可以看出，除了個別品種誤差較大以外，如注射用苯唑西林鈉為530.21%、硫酸奈替米星注射液為52.60%，阿莫西林膠囊為42.89%，BP神經(jīng)網(wǎng)絡(luò)模型對基本藥物的采購量的預(yù)測誤差率大多數(shù)在10%以下，經(jīng)Excel數(shù)據(jù)分析工具中成對雙樣本均值t檢驗分析，結(jié)果見表4。

因為P > 0.05，故預(yù)測值與實際值均值差異無統(tǒng)計學(xué)意義。

模型預(yù)測結(jié)果是比較令人滿意的。由于在本次研究中藥品采購量的變化是在時間序列上面進(jìn)行的，所采取的預(yù)測方法是單步預(yù)測，每月的藥物采購量還要受很多因素影響，不可能做到預(yù)測結(jié)果與實際的數(shù)據(jù)完全一致。除此之外，基本藥物制度實施的時間并不長，在湖北省基本藥物集中采購平臺上所獲取采購量的數(shù)據(jù)時間范圍也不長，所以個別藥品誤差的較大偏倚也在預(yù)料之中。

根據(jù)計算得出的結(jié)果，可以很好地預(yù)測一個月或幾個月內(nèi)內(nèi)湖北省的基本藥物采購量，相關(guān)基本藥物生產(chǎn)企業(yè)可以根據(jù)預(yù)測結(jié)果做好生產(chǎn)計劃安排和原料采購等工作，提高企業(yè)生產(chǎn)運(yùn)作效率和經(jīng)濟(jì)效益；基本醫(yī)療機(jī)構(gòu)可以根據(jù)情況調(diào)整藥物儲備和使用量，以使基本藥物的利用率和可及性都能得到很好的保障。

3 總結(jié)與展望

本文對湖北省2011年5月-2012年11月抗生素大類的部分基本藥物品種的采購量預(yù)測進(jìn)行了定量分析，主要采用了BP神經(jīng)網(wǎng)絡(luò)法進(jìn)行預(yù)測的實證研究，不僅簡化了網(wǎng)絡(luò)結(jié)構(gòu)，而且提高了預(yù)測精度。結(jié)果比較理想，說明本文所建立的基于BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型具有較好的預(yù)測能力和推廣潛力。

1） 采購決策行為是由主觀因素及客觀因素相互影響共同構(gòu)成，具有動態(tài)性和復(fù)雜性等特點。人工神經(jīng)網(wǎng)絡(luò)作為高度非線性體系，能夠?qū)τ绊懖少徯袨榈母髯兞恐g的非線性關(guān)系進(jìn)行高精度的逼近，從而實現(xiàn)預(yù)測功能。

2） 實證表明，人工神經(jīng)網(wǎng)絡(luò)雖然存在不足，但其優(yōu)勢還是顯而易見的。人工神經(jīng)網(wǎng)絡(luò)是一個高度自動化的系統(tǒng)，只要有基本藥物的歷史采購量，通過神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和仿真，達(dá)到滿意精度后即可輸出特定時間點的采購量，為基本藥物采購決策提供科學(xué)的信息支持。但由于影響基本藥物采購的各因素并不明了，難以對基藥采購量的波動情況進(jìn)行解釋，無法提供有意義的干預(yù)措施。

3） 由于社區(qū)衛(wèi)生服務(wù)機(jī)構(gòu)長期以來缺乏對藥品使用數(shù)據(jù)的收集，在對其藥品需求分析時沒有足夠多的信息予以支持，所以在對BP神經(jīng)網(wǎng)絡(luò)的推廣應(yīng)用中，需要保證社區(qū)醫(yī)療機(jī)構(gòu)對藥品使用數(shù)據(jù)的收集、整理與統(tǒng)計，從而增加預(yù)測的準(zhǔn)確性。

4） 加強(qiáng)有關(guān)基本藥物采購分析的理論研究?；舅幬锊煌谝话闵唐罚涔┬桕P(guān)系雖然較為穩(wěn)定，但是在現(xiàn)存醫(yī)患信息極不對稱的情況下，由于誘導(dǎo)需求、道德風(fēng)險等問題造成劣品驅(qū)逐良品的現(xiàn)象，而對基本藥物的可及性和供需帶來不必要的風(fēng)險?，F(xiàn)行的有關(guān)基本藥物采購理論還需進(jìn)一步完善。

5） 對基本藥物采購量分析方法的探索。本文運(yùn)用BP神經(jīng)網(wǎng)絡(luò)在基本藥物采購量短期預(yù)測上面進(jìn)行一次有益的探索，結(jié)論雖然具備理論指導(dǎo)意義和實際應(yīng)用價值。但是由于BP神經(jīng)網(wǎng)絡(luò)無法探知對變量造成波動的影響因素，若從現(xiàn)實意義進(jìn)行指導(dǎo)，還需要結(jié)合其他的分析方法如多元回歸分析、主成分分析等方法來相互補(bǔ)充，揚(yáng)長避短。

參考文獻(xiàn)

[1] 王維， 賀京同， 張建勛， 等. 人工神經(jīng)網(wǎng)絡(luò)在非線性經(jīng)濟(jì)預(yù)測中的應(yīng)用[J]. 系統(tǒng)工程學(xué)報， 2000， 15（2）： 202-207.

[2] 劉衛(wèi)紅， 崔振霞. 基于BP神經(jīng)網(wǎng)絡(luò)的藥品采購資金管理研究[J]. 中國鄉(xiāng)鎮(zhèn)企業(yè)會計， 2012， 20（1）： 70-71.

[3] 張俊才， 黃萬杰. BP神經(jīng)網(wǎng)絡(luò)在醫(yī)療器材需求預(yù)測中的應(yīng)用[J]. 醫(yī)療衛(wèi)生裝備， 2004， 25（4）： 8-9.

第7篇：神經(jīng)網(wǎng)絡(luò)過擬合的表現(xiàn)范文

（黑龍江民族職業(yè)學(xué)院，黑龍江 哈爾濱 150066）

摘　要：盈余預(yù)測具有引導(dǎo)投資者投資行為的作用，因此受到投資者的廣泛重視。然而，國內(nèi)對公司未來盈利進(jìn)行預(yù)測的研究還相當(dāng)少。提出了以決策樹作為基分類器，采用集成學(xué)習(xí)方法，利用上市某公司2001至2005年的財務(wù)數(shù)據(jù)對該上市公司在2006年的盈利狀況進(jìn)行預(yù)測研究。首先，采用有放回的隨機(jī)抽樣技術(shù)分別從訓(xùn)練樣本和測試樣本中產(chǎn)生50個訓(xùn)練子集和1個測試集；然后利用決策樹，采用CHAID算法對50個訓(xùn)練子集分別進(jìn)行訓(xùn)練，得到50個基決策樹分類器；通過采用Bagging方法，構(gòu)建決策樹集成模型。所得到的集成模型在測試集上的分類準(zhǔn)確率達(dá)到96%以上，通過比較由不同數(shù)目的基分類器構(gòu)成的集成模 型和單個分類器的預(yù)測準(zhǔn)確率，證明了該集成模型的預(yù)測準(zhǔn)確率高且穩(wěn)定。

關(guān)鍵詞 ：神經(jīng)網(wǎng)絡(luò)；集成學(xué)習(xí)；盈利預(yù)測

中圖分類號：F275文獻(xiàn)標(biāo)志碼：A文章編號：1000-8772（2014）31-0253-02

收稿日期：2014-10-28

作者簡介：潘道華（1981-），女，漢族，黑龍江哈爾濱人，研究生，主要研究方向：人工智能、數(shù)據(jù)挖掘與決策支持。

1 引言

公司的財務(wù)狀況及其未來盈利情況不但對公司的管理層十分重要，而且對其他投資者也非常重要。如果能夠利用公司以往的財務(wù)報表數(shù)據(jù)和其它一些宏觀經(jīng)濟(jì)數(shù)據(jù)（如GDP、CPI、利率等）及早準(zhǔn)確預(yù)測公司未來的盈利狀況的話，那么就可以更有效地對公司進(jìn)行管理和指導(dǎo)投資者的投資行為。但是，一個公司的財務(wù)報表往往只反映了公司在過去的財政年度內(nèi)的經(jīng)營狀況，并不反映出公司在下一年中的管理情況。因而，一個公司的財務(wù)狀況與其未來盈利之間的關(guān)系并沒有那么明顯，它受到很多因素的影響，要構(gòu)建一個精確的模型反映它們之間的關(guān)系是很困難的。針對此情況，本文提出采用決策樹集成方法，構(gòu)建模型來刻畫公司財務(wù)狀況與其未來盈利之間的關(guān)系，利用上市公司已有的財務(wù)數(shù)據(jù)，并結(jié)合主要的宏觀經(jīng)濟(jì)變量來預(yù)測公司未來的盈利狀況，這必將是公司財務(wù)處理的一個新發(fā)展。

數(shù)據(jù)挖掘技術(shù)越來越多地被用于預(yù)測研究。集成學(xué)習(xí)方法作為數(shù)據(jù)挖掘技術(shù)中一種較新的方法，由于其在提高預(yù)測的準(zhǔn)確性上的優(yōu)點，正被越來越多的研究者使用。

盡管許多領(lǐng)域都應(yīng)用集成學(xué)習(xí)方法來進(jìn)行研究，但在對公司未來盈利的預(yù)測研究上還很少，在國內(nèi)尚未見到任何報導(dǎo)。雖然Takashi Washio等人對日本上市公司的未來盈利狀況進(jìn)行了研究，但是他們只是將盈利狀況分為兩種情況來進(jìn)行研究。本文通過利用集成學(xué)習(xí)方法，考慮宏觀經(jīng)濟(jì)對公司盈利可能造成的影響，提出將宏觀經(jīng)濟(jì)變量納入變量體系，同時，為了使結(jié)果更有指導(dǎo)意義，將上市公司的每股收益（EPS）指標(biāo)將公司盈利的情況劃分為三類，即EPS為負(fù)，EPS大于均值及EPS介于二者之間，對其進(jìn)行預(yù)測研究。

2 研究方法

2.1神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是由大量并行分布式處理單元組成的簡單處理單元[1]。由于神經(jīng)網(wǎng)絡(luò)具有非線性，自學(xué)習(xí)能力、自適應(yīng)性強(qiáng)和容錯性高等優(yōu)點，因而被廣泛用于各種非線性預(yù)測問題。

所有神經(jīng)網(wǎng)絡(luò)都有一個輸入層和輸出層，一個網(wǎng)絡(luò)結(jié)構(gòu)可以包含一個或多個隱含層。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是通過調(diào)整連接權(quán)重和偏差實現(xiàn)的。Cybenko等人證明了如果神經(jīng)網(wǎng)絡(luò)利用一個有界的，連續(xù)的，非遞減的激活函數(shù)時，只要不對隱含層的神經(jīng)元數(shù)進(jìn)行限制，一個三層網(wǎng)絡(luò)（包含一個隱含層）就能夠?qū)W習(xí)任意一個在輸入和輸出空間的連續(xù)映射[2]。在實際應(yīng)用中用的最多的是BP神經(jīng)網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)是一種基于誤差后向傳播算法（BP算法）的多層感知器網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的激活函數(shù)一般采用Log-Sigmoid或Tangent Sigmoid等可微函數(shù)。BP算法分為兩個階段。第一階段是前向過程，逐層計算各神經(jīng)元的輸出值，第二階段是誤差后向傳播過程，從后向前逐層傳播輸出層的誤差并據(jù)此修正各層權(quán)重，直到輸出結(jié)果滿足預(yù)先設(shè)定的精度要求或達(dá)到算法設(shè)定的最大循環(huán)次數(shù)。

2.2神經(jīng)網(wǎng)絡(luò)集成

如何根據(jù)觀測數(shù)據(jù)學(xué)習(xí)得到精確估計是機(jī)器學(xué)習(xí)領(lǐng)域中人們非常關(guān)注的一個問題，機(jī)器學(xué)習(xí)的一個重要目標(biāo)就是對新的測試樣本盡可能給出最精確的估計。構(gòu)造一個高精度估計是一件相當(dāng)困難的事情，然而產(chǎn)生多個只比隨機(jī)猜測好的粗糙估計卻很容易。傳統(tǒng)的機(jī)器學(xué)習(xí)方法是在一個由各種可能的函數(shù)構(gòu)成的空間中尋找最接近實際分類函數(shù)的分類器。常用的單個分類器模型主要有決策樹、人工神經(jīng)網(wǎng)絡(luò)等。

集成學(xué)習(xí)（ensemble learning）的基本思想是在對新的實例進(jìn)行分類的時候，把若干個單個分類器集成起來，通過對多個分類器的分類結(jié)果按某種方式來進(jìn)行組合，決定最終的分類，以取得比單個分類器更好的結(jié)果。如果把單個分類器比作一個決策者的話，集成學(xué)習(xí)方法就相當(dāng)于多個決策者共同進(jìn)行一項決策。

盡管單個神經(jīng)網(wǎng)絡(luò)在處理非線性問題上表現(xiàn)良好，但是用單個神經(jīng)網(wǎng)絡(luò)來進(jìn)行預(yù)測，一個不足的地方就是結(jié)果的穩(wěn)定性差。因為神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果受網(wǎng)絡(luò)各層之間的初始權(quán)重影響很大。為了克服這一不足，本文利用集成學(xué)習(xí)的思想，采用以BP神經(jīng)網(wǎng)絡(luò)作為基分類器的神經(jīng)網(wǎng)絡(luò)集成方法來對公司未來盈利狀況進(jìn)行預(yù)測。

以神經(jīng)網(wǎng)絡(luò)作為基分類器構(gòu)建集成模型的方法主要有Bagging和Boosting。本文選擇采用Bagging方法，因為Bagging方法較易于實現(xiàn)，而且不容易產(chǎn)生過擬合現(xiàn)象。對一個已知的有n個數(shù)據(jù)元素的數(shù)據(jù)集，Bagging法的原理是[1]：對每次循環(huán)（=1，2，…，），采用有放回的隨機(jī)抽樣方法從數(shù)據(jù)集中抽取m個數(shù)據(jù)形成訓(xùn)練集（mn），分類器模型從中學(xué)習(xí)。為了對一個未知的元素X分類，每個都返回一個分類值，將該分類值看成是一票，而最后的集成分類器，通過統(tǒng)計這些投票，將X歸為得票最多的那一類。

3 研究步驟與具體實例分析

3.1樣本選取

本文采用的上市公司數(shù)據(jù)樣本來自天軟數(shù)據(jù)庫。在剔除了財務(wù)變量有大量缺失值后，樣本共包含從2001年至2006年的深市和滬市A股的1174家上市公司。其中，滬市上市公司734家，深市440家。本文選取了反映上市公司償債能力，成長能力，經(jīng)營能力，資本結(jié)構(gòu)，盈利能力，現(xiàn)金流，每股指標(biāo)等方面的29個財務(wù)變量作為初始變量。此外，為了研究宏觀經(jīng)濟(jì)環(huán)境對公司未來盈利的影響，相應(yīng)的選擇了2001年至2006年的三個宏觀經(jīng)濟(jì)變量：國內(nèi)生產(chǎn)總值增長率（GDP），居民消費價格指數(shù)增長率（CPI）及一年期金融機(jī)構(gòu)貸款基準(zhǔn)利率。這幾個變量都與公司的盈利狀況有著密切的關(guān)系。國內(nèi)生產(chǎn)總值反映了整個國家的經(jīng)濟(jì)狀況，而居民消費價格指數(shù)是反映居民購買并用于消費的商品和服務(wù)項目價格水平的變動趨勢和變動幅度的相對數(shù)，它可以全面反映多種市場價格變動因素及其對居民實際生活的影響程度。一年期金融機(jī)構(gòu)貸款基準(zhǔn)利率會影響公司的營運(yùn)成本，會對公司的利潤產(chǎn)生直接的影響。所有變量見附表。

為了預(yù)測未來公司的盈利狀況，本文將數(shù)據(jù)樣本分為訓(xùn)練樣本和測試樣本。其中，訓(xùn)練樣本由2001年至2005年的公司樣本數(shù)據(jù)用有放回的隨機(jī)抽樣方法得到，每個訓(xùn)練樣本包含1000個觀測，測試樣本是用相同方法得到的上市公司在2006年的數(shù)據(jù)樣本，包含400個觀測。

3.2指標(biāo)選擇

對于初始變量表，變量之間存在著相關(guān)性。雖然神經(jīng)網(wǎng)絡(luò)對變量間的相關(guān)性具有較強(qiáng)的容忍度，但是，變量太多會增加網(wǎng)絡(luò)的復(fù)雜度，還有可能使網(wǎng)絡(luò)過適應(yīng)，從而使得網(wǎng)絡(luò)在測試樣本上的表現(xiàn)很差，而且并不是變量越多，神經(jīng)網(wǎng)絡(luò)的預(yù)測精度就越大，所以適當(dāng)選擇具有代表性的指標(biāo)變量既可以達(dá)到與用所有變量相同的預(yù)測精度，又能降低網(wǎng)絡(luò)的復(fù)雜度，避免使網(wǎng)絡(luò)陷入過適應(yīng)，提高網(wǎng)絡(luò)的訓(xùn)練速度。

然而，運(yùn)用神經(jīng)網(wǎng)絡(luò)方法，對輸入變量的選取目前并沒有一個公認(rèn)的方法。為了從眾多的初始變量中選擇具有代表性的變量，本文利用spss Clementine11.1數(shù)據(jù)挖掘軟件包選項面板中的建模欄中的特征選擇節(jié)點來對變量進(jìn)行篩選。通過構(gòu)建一個帶有特征選擇節(jié)點的流，可以為每一訓(xùn)練集篩選出重要的變量。利用篩選出來的變量和全部變量分別對訓(xùn)練樣本進(jìn)行訓(xùn)練，得到兩種神經(jīng)網(wǎng)絡(luò)模型，分別對測試樣本進(jìn)行分類，并分別構(gòu)建集成模型。

3.3 建立模型

本文是對2001年至2005年上市公司的數(shù)據(jù)樣本進(jìn)行訓(xùn)練得到單個神經(jīng)網(wǎng)絡(luò)模型，用該模型對測試樣本進(jìn)行預(yù)測。如何產(chǎn)生不同的分類模型是影響集成模型準(zhǔn)確性的一個重要因素[4]。以下四種方法——不同的初始條件，不同的網(wǎng)絡(luò)結(jié)構(gòu)，不同的訓(xùn)練數(shù)據(jù)，不同的訓(xùn)練算法常用來產(chǎn)生分類模型。本文采用不同的訓(xùn)練數(shù)據(jù)和不同的網(wǎng)絡(luò)結(jié)構(gòu)這兩種方式結(jié)合得到基神經(jīng)網(wǎng)絡(luò)。

按照Bagging方法的要求，本文采用有放回隨機(jī)抽樣方法，從訓(xùn)練樣本中隨機(jī)抽取了15個子訓(xùn)練集，并用相同的方法從測試集中抽取了400個樣本數(shù)據(jù)組成測試集。每個子訓(xùn)練集含有1000個樣本，它們均由2001至2005年的200個公司樣本組成。利用特征選擇節(jié)點在每個訓(xùn)練集上選出的變量分別在這15個子樣本上進(jìn)行訓(xùn)練得到子分類器，然后用這些子分類器對測試樣本進(jìn)行分類。采用多數(shù)投票法對子分類器進(jìn)行集成，得到集成方法在測試集上的預(yù)測結(jié)果。

3.4 結(jié)果分析

為了比較集成模型與單個神經(jīng)網(wǎng)絡(luò)預(yù)測準(zhǔn)確率的差異，按照單個神經(jīng)網(wǎng)絡(luò)模型預(yù)測準(zhǔn)確率按升序進(jìn)行排序，分別計算了由7個、9個、11個、13個、15個基神經(jīng)網(wǎng)絡(luò)模型構(gòu)成的集成模型的預(yù)測準(zhǔn)確率，集成模型，不論是由用全部變量進(jìn)行訓(xùn)練得到的基神經(jīng)網(wǎng)絡(luò)構(gòu)建還是由用篩選出的變量進(jìn)行訓(xùn)練得到的構(gòu)建，都顯示出了很高的準(zhǔn)確率，而且得到的預(yù)測準(zhǔn)確率相當(dāng)穩(wěn)定。

4 結(jié)論

本文利用神經(jīng)網(wǎng)絡(luò)集成的方法，以上市公司過去的財務(wù)數(shù)據(jù)和宏觀經(jīng)濟(jì)數(shù)據(jù)為樣本，對上市公司的未來盈利狀況進(jìn)行預(yù)測。研究結(jié)果表明，相比于單個神經(jīng)網(wǎng)絡(luò)模型，盡管選用7個預(yù)測精度最差的單個神經(jīng)網(wǎng)絡(luò)作為基神經(jīng)網(wǎng)絡(luò)，其集成網(wǎng)絡(luò)的預(yù)測準(zhǔn)確率仍然很高，因而集成方法得到的結(jié)果更穩(wěn)定，更具有說服力。

由于上市公司管理水平的差異，影響公司盈利狀況的因素又多，所以要想較好的刻畫它們對盈利狀況的影響，是一個很有挑戰(zhàn)性的問題。本文的研究結(jié)果還表明，采用神經(jīng)網(wǎng)絡(luò)集成方法來研究未來盈利狀況是可行的。進(jìn)一步的研究可以從以下幾個方面考慮：

（1）變量的選取。為了使預(yù)測更為準(zhǔn)確，在建模時，需要考慮更多的影響因素。由于公司盈利狀況跟公司的管理水平直接相關(guān)，因此，如何合理選取量化一些有關(guān)公司治理的指標(biāo)變量，將它們加入到模型中去，是一個值得深入研究的問題。

（2）產(chǎn)生集成神經(jīng)網(wǎng)絡(luò)的方法。除了Bagging方法，還有其他產(chǎn)生集成神經(jīng)網(wǎng)絡(luò)的方法，比如Boosting方法。不同的方法會得到不同的結(jié)果，從而通過比較不同的結(jié)果，可以得到一個用來研究此類問題的最好的方法。

參考文獻(xiàn)：

[1] Lars Kar Hansen， Peter Salamon. Neural network ensembles，IEEE transactions on pattern analysis and machine intelligence，vol.12， pp993-1001， 1990.

[2] Li-Chiu Chia，Tseng-Chung Tang. Artificial neural networks in reorganization outcome and investment of distressed firms： The Taiwanese case， Expert Systems with Applications， vol.29，pp641-652， 2005.

[3] Jiawei Han Micheline Kamber， data mining; concepts and tech-niques（second edition）[M]．北京：機(jī)械工業(yè)出版社，2006．

第8篇：神經(jīng)網(wǎng)絡(luò)過擬合的表現(xiàn)范文

關(guān)鍵詞：GPS；高程擬合；大地高；正常高；擬合精度

Abstract: This paper discussed in detail the problems of GPS leveling survey, summarizes the commonly used methods of GPS height fitting, quasi geoid instances to two surface, polyhedral function, BP neural network method to fit the calculation by using MATLAB language program, analysis and draw some conclusions.

Key words: GPS; height; geodetic height; normal height; fitting accuracy

中圖分類號：P228.4 文獻(xiàn)標(biāo)識碼： A文章編號：2095-2104（2012）01-0020-02

一、引言

由于精度的限制,長期以來,工程應(yīng)用領(lǐng)域在利用GPS測量中平面位置信息的同時,浪費掉了大量高程信息。因此,GPS測高在一定程度上取代幾何水準(zhǔn)的限制性和可行性一直受到各方面關(guān)注。利用GPS水準(zhǔn)進(jìn)行測高，主要是通過GPS水準(zhǔn)擬合所測區(qū)域的高程異常分布，將GPS所測點的大地高轉(zhuǎn)化為正常高。由GPS得到正常高，其精度取決于多方面因素，本文采用多種擬合模型，對大范圍GPS水準(zhǔn)實測數(shù)據(jù)做了實驗研究，對其結(jié)果進(jìn)行了比較，討論了相關(guān)問題，得出了具有實際應(yīng)用的參考意見。

二、似大地水準(zhǔn)面的模擬與GPS高程擬合

GPS高程測量的基本原理

由高程系統(tǒng)的理論可知,測站點的大地高H與正常高h(yuǎn)之間有如下關(guān)系:

h=H-ζ (1)

式中ζ稱為高程異常。

由(1)式可看出, 若能求出GPS點的高程異常,就可確定GPS點的正常高h(yuǎn)。因此,高程異常的確定成為GPS高程轉(zhuǎn)換的關(guān)鍵。

縱觀高程異常的確定方法，可以分為幾何解析法和重力法兩類。

幾何解析法是用一個1次或高次的解析多項式擬合出測區(qū)的似大地水準(zhǔn)面，進(jìn)而內(nèi)插出GPS點上的高程異常值。

GPS重力高程是用重力資料求定點的高程異常，結(jié)合GPS求出的大地高，再求出點的正常高（或正高）的一種方法，應(yīng)用中需結(jié)合地形數(shù)字模型和地球重力場模型數(shù)據(jù)。對于一般工程單位而言，無法獲得必要的重力數(shù)據(jù)，故重力法難于普及。

本文主要研究從幾何觀點出發(fā)推求大地水準(zhǔn)面的方法，此類方法的基本思想如下：

假設(shè)在測區(qū)內(nèi)有若干個既進(jìn)行了GPS測量又聯(lián)測了水準(zhǔn)高程的GPS點，那么可利用大地高和高程異常之間的關(guān)系，推算出各水準(zhǔn)重合點的上的高程異常，利用這些離散數(shù)據(jù)點上的異常值，可以擬合出測區(qū)所在局部區(qū)域的似大地水準(zhǔn)面，進(jìn)而可以內(nèi)插出未知點上的高程異常，實現(xiàn)橢球高向正常高的轉(zhuǎn)換。

幾種常用的擬合方法

繪等值線圖法

這是最早的GPS水準(zhǔn)方法。其原理是：設(shè)在某一測區(qū)，有m個GPS點，用幾何水準(zhǔn)聯(lián)測其中n個點的正常高，根據(jù)GPS觀測獲得的點的大地高，按（1）式求出n個已知點的高程異常。然后，選定適合的比例尺，按n個已知點的平面坐標(biāo)（平面坐標(biāo)經(jīng)GPS網(wǎng)平差后獲得），展繪在圖紙上，并標(biāo)注上相應(yīng)的高程異常，再用1~5cm的等高距，繪出測區(qū)的高程異常圖。在圖上內(nèi)插出未聯(lián)測幾何水準(zhǔn)的（m-n）個點的高程異常，從而求出這些待求點的正常高。

三次樣條曲線擬合

當(dāng)測線長，已知點多，ζ變化大時，如果進(jìn)行整體擬合，精度較低，若分段擬合計算，則分段點上將不連續(xù)，且影響擬合精度，這時宜用三次樣條曲線擬合。

多面函數(shù)擬合

多面函數(shù)是從幾何觀點出發(fā)，解決根據(jù)數(shù)據(jù)點形成一個平差的數(shù)學(xué)曲面問題。其理論根據(jù)是認(rèn)為“任何一個圓滑的數(shù)學(xué)表面總可以用一系列有規(guī)則的數(shù)學(xué)表面總和，以任意的精度逼近”。它在每個數(shù)據(jù)點上同各個已知點分別建立函數(shù)關(guān)系（這種函數(shù)稱為核函數(shù)，其表現(xiàn)形式為一規(guī)則的數(shù)學(xué)曲面），將這些規(guī)則的數(shù)學(xué)曲面按一定的比例疊加起來，就可以擬合出任何不規(guī)則的曲面，且能達(dá)到較好的擬合效果。多面函數(shù)的核函數(shù)可以按幾何關(guān)系確定，它是距離的函數(shù)，且顧及了待定點和已知點間的相關(guān)關(guān)系，起權(quán)系數(shù)矩陣作用。

加權(quán)平均值法擬合

采用加權(quán)平均值法推算未知點的高程異常進(jìn)行GPS高程轉(zhuǎn)換時，必須使水準(zhǔn)重合點沿控制網(wǎng)比較均勻地分布，使推算點位于已知點所圍成的多邊形內(nèi)，否則不能保證內(nèi)插點上計算結(jié)果的可靠性。另外，還應(yīng)使多邊形范圍內(nèi)有一定數(shù)量的水準(zhǔn)重合點，并盡可能地均勻分布。一些實驗與分析資料顯示，控制網(wǎng)中水準(zhǔn)重合點的數(shù)量越多，密度越大，分布情況越好，利用加權(quán)平均值法求得的高程異常值的準(zhǔn)確程度越高 （即GPS大地高轉(zhuǎn)換為正常高的實際精度越高）。一般要求一個網(wǎng)中水準(zhǔn)重合點的數(shù)量要保持在10個左右，至少為 6個。

曲面擬合法

當(dāng)GPS點布設(shè)成一定區(qū)域面時，可以應(yīng)用數(shù)學(xué)曲面擬合法求定待定點的正常高。其原理是：根據(jù)測區(qū)中已知點的平面坐標(biāo)（X，Y），或大地坐標(biāo)（B，L）和ζ值，用數(shù)值擬合法，擬合出測區(qū)似大地水準(zhǔn)面，再內(nèi)插出待求點的ζ，從而求出待求點的正常高。

神經(jīng)網(wǎng)絡(luò)法

人工神經(jīng)網(wǎng)絡(luò)是一門新興交叉科學(xué)，它是生物神經(jīng)系統(tǒng)的一種高度簡化后的近似，是處理非線形映射問題的有效工具?；谏窠?jīng)網(wǎng)絡(luò)來轉(zhuǎn)換GPS高程是一種自適應(yīng)的映射方法，設(shè)作假設(shè)，理論上比較合理，能避開未知因素的影響，減少人為構(gòu)造的數(shù)學(xué)模型的誤差。

擬合法進(jìn)行GPS高程轉(zhuǎn)換的幾個問題

（1）擬合函數(shù)的選取。大范圍GPS水準(zhǔn)高程異常分布的嚴(yán)格確定是十分困難的，高程異常的確定不僅取決與地球內(nèi)部密度變化而且還取決地形起伏等各種因素。因此，用一種數(shù)學(xué)函數(shù)去擬合測區(qū)中給定的高程異常點，其模型誤差是不可避免的，選取模型誤差較小的擬合方程來描述其高程異常分布是一種相對合理的方法。

（2）如果選擇的擬合模型較好，能否較準(zhǔn)確的擬合出該測區(qū)的局部似大地水準(zhǔn)面的關(guān)鍵在于已知高程異常值的準(zhǔn)確性。采用擬合法確定地面點的正常高是建立在兩個前提基礎(chǔ)上的：平差后的GPS高程觀測值具有很高的精度，可以看作是精確值；已知高程控制點上的正常高亦可看成精確值。

（3）GPS網(wǎng)中水準(zhǔn)點的選擇和分布。水準(zhǔn)點的分布對于擬合效果有著至關(guān)重要的影響。原則上要求水準(zhǔn)重合點的分布盡可能的均勻，而且在網(wǎng)的邊界上布設(shè)水準(zhǔn)重合點，這樣可以大大降低內(nèi)插出的非重合點上的高程異常的不可靠性。

三、實驗研究

為研究擬合模型，水準(zhǔn)點的精度及布設(shè)形式對擬合精度的影響，本文利用上述模型中的曲面擬合法、多面擬合法及神經(jīng)網(wǎng)絡(luò)法，用MATLAB語言編程實現(xiàn)了對某GPS網(wǎng)的高程擬合。

（1）實驗區(qū)概況

該GPS控制網(wǎng)共有15個點與水準(zhǔn)點重合，控制面積為150k m2, 測區(qū)水準(zhǔn)點分布圖如圖1，高程成果表見表1。

圖1點位分布圖

測區(qū)高程成果表表1

從表 1 中的高程異常值可知，該測區(qū)的局部似大地水準(zhǔn)面較為平緩，且沒有顯現(xiàn)孤值性，均可參加擬合計算。

（2）為了選擇較好的擬合方案,對如下的幾種情況做了計算,并分析比較擬合結(jié)果。

(1)隨機(jī)選擇10個已知點，用二次曲面、多面函數(shù)、BP網(wǎng)絡(luò)進(jìn)行擬合，結(jié)果見表2。

(2)選擇10個分布比較均勻的已知點，用二次曲面、多面函數(shù)、BP網(wǎng)絡(luò)進(jìn)行擬合,結(jié)果見表3。

不同模型隨機(jī)選點擬合結(jié)果 表2

不同模型均勻選點擬合結(jié)果表3

四、結(jié)論

從上面擬合結(jié)果比較得出如下結(jié)論：

（1）某一區(qū)域的GPS高程擬合與模型的選擇有很大關(guān)系，選擇某一模型的時候，既要橫向比較，即同一模型不同條件比較，也要縱向比較，即不同模型之間比較。

（2）GPS水準(zhǔn)高程擬合精度與已知點的精度有關(guān)。當(dāng)已知點精度降低時，待定點精度明顯降低，要得到較高精度的GPS水準(zhǔn)高程，就需要保證已知點精度。

（3）已知點的位置對GPS水準(zhǔn)高程擬合的精度影響很大。待定點精度在很大程度上取決與已知點的分布狀況。在進(jìn)行GPS水準(zhǔn)高程擬合時，一定要使已知點均勻分布整個測區(qū)，并具有一定的代表性。

（4）在較大范圍內(nèi)，用神經(jīng)網(wǎng)絡(luò)方法轉(zhuǎn)換GPS高程優(yōu)于二次曲面和多面函數(shù)法，所獲得的正常高可滿足各種大比例尺測圖的精度要求。

參考文獻(xiàn)：

[1]陶本藻，蔡風(fēng)萍 大范圍GPS水準(zhǔn)擬合模型的選取及其實驗研究[J].工程勘察，2005，（1）。

[2]李崇貴，牟玉香，趙書河用嶺估計研究不完全三維趨勢面在GPS工程水準(zhǔn)測量中的應(yīng)用[J].測繪通報，1998，（8）。

第9篇：神經(jīng)網(wǎng)絡(luò)過擬合的表現(xiàn)范文

關(guān)鍵詞： 高維BP神經(jīng)網(wǎng)絡(luò)； 粒子群算法； 神經(jīng)網(wǎng)絡(luò)； 結(jié)構(gòu)優(yōu)化

中圖分類號： TN711?34； TP311 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2017）03?0157?03

Research on a neural network structure optimization method based on

high?dimensional particle swarm optimization

HUANG Yu1， 2

（1. College of Computer Science， Chongqing University， Chongqing 400044， China； 2. Yibin Vocational and Technical College， Yibin 644003， China）

Abstract： In order to eliminate the shortcomings of the traditional BP neural network in the operation process， a neural network optimization method based on the high?dimensional particle swarm optimization algorithm is proposed. The acceleration constant with random variation is introduced into the high?dimensional PSO algorithm to acquire the optimal weight to optimize and train the BP neural network. The optimized high?dimensional BP neural network is applied to the automatic detection of the traffic incident. The trained data is performed with class test with the detection and training algorithm， and its result is compared with those tested with the traditional BP neural network algorithm and classical event detection algorithm. The results show that the detection rate and performance of the algorithm optimized with high?dimensional particle swarm optimization BP neural network algorithm are better than those optimized with BP neural network algorithm and classical algorithm， the values of 2 test samples are different with the expected values of 97 and 50 test samples， the rest samples can meet the test requirement， and the average optimal testing time is half of the detection time of the traditional BP neural network. The optimized BP neural network algorithm has excellent performance.

Keywords： high?dimensional BP neural network； particle swarm optimization； neural network； structure optimization

0 引 言

目前關(guān)于高維多目標(biāo)優(yōu)化問題的理論和方法大都限于少數(shù)幾種算法，如NSGA?II算法，粒子群優(yōu)化（PSO）算法。粒子群優(yōu)化算法是Kennedy等受到飛鳥集群活動的啟發(fā)而提出的一類新興的基于集群智能優(yōu)化算法[1?5]。相比進(jìn)化算法，PSO具有易于實現(xiàn)和收斂速度快等優(yōu)勢。近年來PSO在多目標(biāo)優(yōu)化領(lǐng)域的研究上取得了較大進(jìn)展[6?9]，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練、復(fù)雜函數(shù)優(yōu)化、圖像處理、工業(yè)系統(tǒng)優(yōu)化等領(lǐng)域應(yīng)用廣泛[10]，PSO在特性的函數(shù)優(yōu)化問題上更是發(fā)揮著重要作用，這些特性函數(shù)通常具備維數(shù)高、非線性、規(guī)模大、非凸和不可微等特點，一般計算方法運(yùn)算困難。針對粒子群優(yōu)化算法的優(yōu)點以及傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)存在的諸如較慢的收斂速度、較低的學(xué)習(xí)效率，并且在計算過程中較難計算出局部極小值等問題[11?14]，提出一種基于高維粒子群算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，結(jié)合二者優(yōu)點使其更好地應(yīng)用于實際中。

1 基于高維PSO算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化

1.1 高維PSO算法簡介

粒子群算法是一種集群行為的計算方法，在不局限于二維空間，考慮高維時，即是高維PSO算法。設(shè)搜索空間為[D]維，粒子集群是由[M]個粒子組成，其中，第[i]個粒子的空間位置表示為[Xi=xi1，xi2，…，xiD，i=][1，2，…，M，]其飛行速度應(yīng)表示為[Vi=][vi1，vi2，…，viD。]將空間位置和飛行速度數(shù)值代入優(yōu)化目標(biāo)函數(shù)中，從而計算出用于衡量[x]優(yōu)劣的適應(yīng)值。假設(shè)粒子[i]搜索到的最優(yōu)位置為[Pi=pi1，pi2，…，piD，]整個粒子群搜索到的最優(yōu)位置記為[PK=pK1，pK2，…，pKD。]此時，對于每一代粒子，其第[d]維[1≤d≤D]的速度和位置根據(jù)式（1），式（2）迭代：

[vktt+1=ut?vitt+c1r1pid-xidt+c2r2pid-xidt] （1）

[xidt+1=xidt+vidt+1] （2）

[ut=umax-umax-umintitmax] （3）

式中：[ut]代表慣性權(quán)值數(shù)值，一般為線性慣性權(quán)值，慣性權(quán)值的作用是提高粒子群算法的全局、局部優(yōu)化能力；[t]代表現(xiàn)在的迭代次數(shù)；[itmax]代表迭代的最大次數(shù)；[c1]和[c2]代表學(xué)習(xí)因子；[r1，r2]代表在[0，1] 范圍內(nèi)變化的兩個隨機(jī)數(shù)值。

粒子位置的更新如圖1所示。

1.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上一般由輸入層、隱含層、輸出層三層構(gòu)成，屬于多層前饋神經(jīng)網(wǎng)絡(luò)，包括輸入信號前向傳遞和誤差反向傳播兩個過程。BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用在各種預(yù)測模型中。網(wǎng)絡(luò)結(jié)構(gòu)一般只需單個隱含層就能以任意精度逼近任意有理函數(shù)。訓(xùn)練樣本的輸入、輸出向量的維數(shù)分別決定了網(wǎng)絡(luò)的輸入、輸出層神經(jīng)節(jié)點個數(shù)，典型的只有單個隱含層、單個輸出的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

在圖2中，[xi=x1，x2，…，xn]代表一組BP神經(jīng)網(wǎng)絡(luò)的輸入向量；[y]代表一組BP神經(jīng)網(wǎng)絡(luò)的目標(biāo)輸出值；[wij]代表輸入層和隱含層兩層級之間的連接權(quán)值；[wj1]代表隱含層和輸出層兩層級之間的連接權(quán)值。[aj，b]分別為隱含層和輸出層的節(jié)點閾值。若設(shè)隱含層節(jié)點個數(shù)為[m，]則[j=1，2，…，m=1，]在輸入信號前向傳遞過程中，[xi]從輸入層逐層傳輸?shù)诫[含層和輸出層，由傳輸過程中各層連接權(quán)值矢量、閾值矢量和相應(yīng)的激勵函數(shù)計算，得出輸出層的預(yù)測輸出值[Y，]若預(yù)測值[y]與目標(biāo)值[Y]之間有誤差，則誤差部分轉(zhuǎn)入反向逐層傳遞，沿誤差減小的方向調(diào)整網(wǎng)絡(luò)各層連接的權(quán)值、閾值。反復(fù)執(zhí)行以上過程，使得BP神經(jīng)網(wǎng)絡(luò)的預(yù)測值不斷逼近實際輸出值。

1.3 PSO算法的優(yōu)化

在實驗過程中，種群的中間粒子更容易得到全局最優(yōu)位置而不是PSO算法中的所有粒子。因此，本文基于PSO算法并采用慣性因子[σ，]慣性因子更容易追蹤種群中最優(yōu)粒子的位置并確保速度連續(xù)變化，即粒子下一時段的運(yùn)行速度是在上一時段\行速度的基礎(chǔ)上迭代產(chǎn)生的，提高了PSO算法的性能，該優(yōu)化算法稱為帶慣性項的粒子群算法。采用慣性因子[σ]后，新的粒子速度公式為：

[Vidt+1=σVidt+c1r1Pid-Xidt+c2r2Pgd-Xidt] （4）

優(yōu)化后的PSO算法更容易找到最優(yōu)位置。在最優(yōu)位置找尋過程中，如果粒子探索的程度是在新的方向則被稱為探測，而仍然在原始軌跡搜索則稱為開發(fā)。探測和開發(fā)是找尋最優(yōu)位置的必經(jīng)過程，調(diào)整粒子探測和開發(fā)程度可以更好地找尋最優(yōu)位置并達(dá)到優(yōu)化效果。所以，常將隨機(jī)變化的加速常數(shù)[c1]和[c2]應(yīng)用到帶慣性項的粒子群算法，代表粒子向個體極值和全局極值推進(jìn)過程中的隨機(jī)加速權(quán)值，從而動態(tài)改變探測和開發(fā)所占的比例，使其盡快找到全局最優(yōu)位置，該優(yōu)化算法稱為引入慣性項和隨機(jī)加速常數(shù)的粒子群算法。其中，加速常數(shù)[c1]和[c2]定義為：

[c1=random（a）+tTmax] （5）

[c2=random（b）-tTmax] （6）

式中：[random（a）]和[random（b）]代表系統(tǒng)隨機(jī)生成的數(shù)；[t，Tmax]代表當(dāng)前進(jìn)化代數(shù)和最大進(jìn)化代數(shù)。

1.4 BP網(wǎng)絡(luò)權(quán)值優(yōu)化方法

由BP網(wǎng)絡(luò)的三層結(jié)構(gòu)可知，用[ujht]代表輸入層和隱含層的網(wǎng)絡(luò)權(quán)值，[wkj（t）]代表隱含層和輸出層的網(wǎng)絡(luò)權(quán)值，[θk]代表輸出節(jié)點閾值，[θj]代表隱含層節(jié)點閾值。具體更新公式如下：

[wkjt+1=wkjt+αδkHj] （7）

[ujht+1=ujht+αkσjIh] （8）

[θKt+1=θKt+βδk] （9）

[θjt+1=θjt+βσj] （10）

式中：[Hj]代表隱含層節(jié)點[j]的輸出信號；[Ih]代表輸入層節(jié)點[h]的輸入信號；[δk]代表輸出層節(jié)點[k]的誤差；[σj]代表隱含層節(jié)點[j]的誤差；[α， β]代表學(xué)習(xí)參數(shù)，參數(shù)取值范圍為0.1～0.9。

1.5 高維粒子群BP的算法實現(xiàn)

高維粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)需要確定網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，根據(jù)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)確定粒子搜索空間的維數(shù)，即粒子長度，以誤差均方值作為基準(zhǔn)調(diào)節(jié)BP網(wǎng)絡(luò)中的權(quán)值和閾值，以粒子群優(yōu)化的適應(yīng)度函數(shù)作為BP網(wǎng)絡(luò)誤差的反傳函數(shù)，據(jù)此建立誤差均方值與粒子群優(yōu)化的適應(yīng)度函數(shù)的對等關(guān)系，目標(biāo)函數(shù)的表達(dá)式如下：

[fi=1Nk=1Nyk-ymk2] （11）

式中：[N]代表總訓(xùn)練樣本數(shù)；[fi]代表目標(biāo)函數(shù)的誤差平方和；[y（k）]代表目標(biāo)函數(shù)的目標(biāo)輸出值；[ym（k）]代表目標(biāo)函數(shù)的實際輸出值。

改進(jìn)粒子群算法尋優(yōu)的具體步驟如下：

（1） 初始化粒子群參數(shù)。初始化粒子群規(guī)模、最大迭代次數(shù)[Tmax、]學(xué)習(xí)因子[c1]和[c2、]慣性權(quán)重[wmax]和[wmin]在特定位置與速度范圍內(nèi)隨機(jī)初始化位置向量和速度向量。

（2） 初始化BP神經(jīng)網(wǎng)絡(luò)。由實際情況確定BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，并建立下一步運(yùn)算的網(wǎng)絡(luò)模型，進(jìn)一步明確粒子維度。

（3） 輸入網(wǎng)絡(luò)訓(xùn)練樣本。通過步驟（1），步驟（2）初始化的位置向量輸入網(wǎng)絡(luò)訓(xùn)練樣本，確定網(wǎng)絡(luò)的權(quán)值和閾值，計算出期望輸出的誤差均方值和實際輸出的誤差均方值，由二者的誤差均方值可以得到粒子群的適應(yīng)度函數(shù)。在粒子群適應(yīng)度函數(shù)的基礎(chǔ)上結(jié)合位置和慣性因子可以計算粒子新的運(yùn)動位置和運(yùn)動速度。

（4） 迭代運(yùn)算。確定每個粒子的個體極值和全局極值：粒子[i]的適應(yīng)度值[fi]與個體最優(yōu)值[Pbest]比較，如果小于[Pbest]則取代它作為當(dāng)前的個體最優(yōu)；適應(yīng)度值[fi]與全局極值[gbest]比較， 如果小于[gbest]則取代它作為當(dāng)前的全局最優(yōu)。當(dāng)停止迭代時，會得到粒子在全局的最優(yōu)位置，此時需要把該數(shù)值作為BP網(wǎng)絡(luò)的最后權(quán)重值，映射為BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。

（5） 將樣本數(shù)據(jù)源中訓(xùn)練樣本輸入到已確定的網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，用測試樣本做預(yù)測。

2 高維粒子群BP算法實例仿真

高維粒子群BP算法仿真實驗的實驗數(shù)據(jù)采集自沈陽市和平區(qū)易發(fā)生交通擁堵的某一路段，采集方式是在測試車輛上安裝激光測距儀和 GPS設(shè)備，采樣時間設(shè)置為2 s，采樣時間段為早、中、晚高峰期三小時的時間區(qū)間，并多次測量采集數(shù)據(jù)，選擇每組中發(fā)生事件的實驗數(shù)據(jù)為6 rain，參照上述標(biāo)準(zhǔn)共采集150組樣本數(shù)據(jù)，把樣本數(shù)據(jù)歸一化。將100組訓(xùn)練數(shù)據(jù)、50組測試數(shù)據(jù)輸入到Matlab進(jìn)行運(yùn)算，電腦內(nèi)存為8 GB，利用本文的高維粒子群算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化算法訓(xùn)練，最后將測試樣本分類判別，檢驗最后的計算性能。部分原始樣本數(shù)據(jù)見表1。

設(shè)置高維粒子群算法的參數(shù)，其中，種群數(shù)量設(shè)置為[m=30，]維數(shù)設(shè)置為[D=12×13+13×4+4=212，]加速因子設(shè)置為[c1=c2=1.50，]慣性因子設(shè)置為[ω=0.720，]速度最大值[Vmax=1，]速度最小值[Vmin=-1，]位置最大值為5，位置最小值為?5，最大迭代次數(shù)[N=100。]當(dāng)計算循環(huán)過程達(dá)到終止迭代次數(shù)時則終止計算。

通常采用交通事件的檢測率（DR）、平均檢測時間（MTTD）、誤判率（FAR）評價交通事件自動檢測的算法效率。通過采用本文優(yōu)化的計算方法對采集到的數(shù)據(jù)進(jìn)行分類訓(xùn)練等一系列計算分析，并將最終分析結(jié)果和經(jīng)典事件檢測算法、BP神經(jīng)網(wǎng)絡(luò)算法比較。結(jié)果表明，經(jīng)過優(yōu)化后的高維粒子群BP神經(jīng)網(wǎng)絡(luò)的檢測率、算法性能均優(yōu)于經(jīng)典算法和BP神經(jīng)網(wǎng)絡(luò)算法，其中97，50個測試樣本中僅有2個測試樣本與應(yīng)該達(dá)到的數(shù)值不一致，其他樣本都滿足測試要求，并且平均優(yōu)化測試時間是傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)檢測時間的一半，結(jié)果對比見表2。

3 結(jié) 語

本文基于高S粒子群算法的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法，改進(jìn)了傳統(tǒng)運(yùn)算方法的檢測時間長、收斂速度慢的缺點，且容易實現(xiàn)，是一種新興的群智能優(yōu)化算法，優(yōu)化全面，適用范圍廣泛，具有較高的精度和較好的擬合性能。

參考文獻(xiàn)

[1] 姚爾果，閆秋粉，南振岐，等.基于改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)模型研究[J].佳木斯大學(xué)學(xué)報（自然科學(xué)版），2012，31（1）：107?109.

[2] 謝錚桂，鐘少丹，韋玉科.改進(jìn)的粒子群算法及收斂性分析[J].計算機(jī)工程與應(yīng)用，2011，47（1）：46?49.

[3] 閏紀(jì)如.粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)在交通流預(yù)測中的應(yīng)用[D].杭州：浙江工業(yè)大學(xué)，2013.

[4] 劉洪波，王秀坤，孟軍.神經(jīng)網(wǎng)絡(luò)基于粒子群優(yōu)化的學(xué)習(xí)算法研究[J].小型微型計算機(jī)系統(tǒng)，2005，26（4）：638?640.

[5] 胡衛(wèi)東，曹文貴.基于改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)在邊坡穩(wěn)定性評價中的應(yīng)用[J].湖南理工學(xué)院學(xué)報（自然科學(xué)版），2014，27（2）：71?77.

[6] 劉坤，譚營，何新貴.基于粒子群優(yōu)化的過程神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[J].北京大學(xué)學(xué)報（自然科學(xué)版），2011，47（2）：238?244.

[7] 徐以山，曾碧，尹秀文，等.基于改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)及其應(yīng)用[J].計算機(jī)工程與應(yīng)用，2009，45（35）：233?235.

[8] 張德慧，張德育，劉清云，等.基于粒子群算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)[J].計算機(jī)工程與設(shè)計，2015，36（5）：1322?1328.

[9] 肖俊生，任諱龍，李文濤.基于粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)漏鋼預(yù)報的研究[J].計算機(jī)測量與控制，2015，23（4）：1302?1305.

[10] 沈?qū)W利，張紅巖，張紀(jì)鎖.改進(jìn)粒子群算法對BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化[J].計算機(jī)系統(tǒng)應(yīng)用，2010（2）：57?61.

[11] 江麗，王愛平.基于粒子群與BP混合算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法[J].計算機(jī)應(yīng)用，2012，32（z2）：13?15.

[12] 徐大明，周超，孫傳恒，等.基于粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的水產(chǎn)養(yǎng)殖水溫及pH預(yù)測模型[J].漁業(yè)現(xiàn)代化，2016，43（1）：24?30.