前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)算法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：BP算法；人工神經(jīng)網(wǎng)絡(luò)；改進(jìn)的BP算法

中圖分類(lèi)號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2014）28-6643-02

1 概述

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN），是基于人類(lèi)大腦的生物活動(dòng)所提出的，是一個(gè)數(shù)學(xué)模型。它由眾多節(jié)點(diǎn)通過(guò)一定的方式互聯(lián)組成，是一個(gè)規(guī)模巨大、自適應(yīng)的系統(tǒng)。其中有一種學(xué)習(xí)算法是誤差傳遞學(xué)習(xí)算法即BP算法。BP算法是人工智能最常用到的學(xué)習(xí)方法，從一定意義上來(lái)講，BP算法的提出，終結(jié)了多層網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練算法上的空白史，是在實(shí)際應(yīng)用中最有效的網(wǎng)絡(luò)訓(xùn)練方法，對(duì)ANN的應(yīng)用和發(fā)展起到了決定性的作用。

BP算法是使用從輸出層得到的誤差來(lái)估算前一層的誤差，再利用該誤差估算更前一層的誤差。依次進(jìn)行，就會(huì)獲得其他所有各層的估算誤差。這樣就實(shí)現(xiàn)了將從輸出層的得到誤差沿著與輸入信號(hào)傳送相反的方向逐級(jí)向網(wǎng)絡(luò)的輸入端傳遞的過(guò)程[1]。但是，BP算法也存在著不可忽視的缺陷。基于此，該文總結(jié)介紹了BP的改進(jìn)方法。

2 BP算法的基本思想

2.1 BP算法的基本原理

BP算法是有監(jiān)督指導(dǎo)的算法，它的學(xué)習(xí)訓(xùn)練過(guò)程一般分為兩步：首先是輸入樣本的正向傳遞；第二步誤差的反向傳遞；其中信號(hào)正向傳遞，基本思想是樣本值從輸入層輸入，經(jīng)輸入層傳入隱藏層，最后通過(guò)輸出層輸出，中間層對(duì)樣本數(shù)據(jù)進(jìn)行處理操作，利用各層的權(quán)值和激活函數(shù)對(duì)數(shù)據(jù)進(jìn)行操作然后在輸出層獲得輸出[2]；接下來(lái)就是反向傳遞，算法得到的實(shí)際輸出值與期望目標(biāo)輸出之間必然會(huì)有誤差，根據(jù)誤差的大小來(lái)決定下一步的工作。如果誤差值較小滿(mǎn)足訓(xùn)練的精度要求，則認(rèn)為在輸出層得到的值滿(mǎn)足要求，停止訓(xùn)練；反之，則將該誤差傳遞給隱藏層進(jìn)行訓(xùn)練，按照梯度下降的方式，對(duì)權(quán)值和閾值進(jìn)行調(diào)整，接著進(jìn)行循環(huán)，直到誤差值滿(mǎn)足精度要求停止訓(xùn)練[3]。

3 BP算法的缺陷

盡管BP算法有著顯著的優(yōu)點(diǎn)，但是在實(shí)際應(yīng)用過(guò)程中，BP算法會(huì)出現(xiàn)很多問(wèn)題。尤其是下面的問(wèn)題，對(duì)BP神經(jīng)網(wǎng)絡(luò)更好的發(fā)展有很大影響。有的甚至?xí)?dǎo)致算法崩潰。

3.1 收斂速度的問(wèn)題

BP算法在進(jìn)行訓(xùn)練學(xué)習(xí)時(shí)，收斂速度慢，特別是在網(wǎng)絡(luò)訓(xùn)練達(dá)到一定的精度時(shí)，BP算法就會(huì)出現(xiàn)一個(gè)長(zhǎng)時(shí)間的誤差“平原”，算法的收斂速度會(huì)下降到極慢[4]。如果盲目的加快收斂速度，則會(huì)使算法產(chǎn)生震蕩現(xiàn)象。

3.2 局部極小點(diǎn)問(wèn)題

在一些初始權(quán)值的條件下，BP算法在訓(xùn)練過(guò)程中會(huì)陷入局部極值。這是由于BP網(wǎng)絡(luò)采用最速下降法，誤差曲面非常復(fù)雜且分布著許多局部極值點(diǎn)，一旦陷入，BP算法就很難逃脫，進(jìn)而會(huì)使BP網(wǎng)絡(luò)的訓(xùn)練停止。算法可以在某處得到一個(gè)收斂值，但是并不能確定取到了誤差曲面的最小值。這樣就會(huì)使網(wǎng)絡(luò)難以達(dá)到事先規(guī)定的誤差精度[5]。

3.3 網(wǎng)絡(luò)癱瘓問(wèn)題

在算法的學(xué)習(xí)訓(xùn)練過(guò)程中，網(wǎng)絡(luò)的權(quán)值會(huì)變得很大，從而使得節(jié)點(diǎn)的輸入變大，這就會(huì)導(dǎo)致其激活函數(shù)的導(dǎo)函數(shù)在改點(diǎn)取得的值很小，接著會(huì)導(dǎo)致算法的訓(xùn)練速度變得極低，最終會(huì)導(dǎo)致BP網(wǎng)絡(luò)停止收斂，網(wǎng)絡(luò)癱瘓。

3.4 步長(zhǎng)問(wèn)題

BP的收斂是建立在無(wú)窮小權(quán)修改量的基礎(chǔ)上，而這就意味著網(wǎng)絡(luò)所需要的訓(xùn)練時(shí)間是無(wú)窮的，這顯然是不可取的。因此，要限定權(quán)值修改量的值。這主要是因?yàn)?，如果步長(zhǎng)太小，那么網(wǎng)絡(luò)的收斂速度就會(huì)下降，如果步長(zhǎng)太大，就會(huì)使BP神經(jīng)網(wǎng)絡(luò)產(chǎn)生癱瘓和振蕩。學(xué)者們經(jīng)過(guò)研究提出一個(gè)較好的方法，就是用自適應(yīng)的步長(zhǎng)代替原來(lái)的定值步長(zhǎng)，以使權(quán)值修改量隨著B(niǎo)P網(wǎng)絡(luò)的訓(xùn)練而不斷變化[6]。

4 改進(jìn)BP算法的方法

BP算法應(yīng)用廣泛，但它又存在很多缺陷，針對(duì)BP算法的問(wèn)題，國(guó)內(nèi)外許多學(xué)者提出各種改進(jìn)方法，主要的改進(jìn)方法分為兩類(lèi)：一是啟發(fā)式改進(jìn)，如附加動(dòng)量法和自適應(yīng)學(xué)習(xí)率等；二是結(jié)合新理論的改進(jìn)。這些方法在不同程度上提高了網(wǎng)絡(luò)的收斂速度，避免了局部最小問(wèn)題。

4.1 啟發(fā)式改進(jìn)方法

啟發(fā)式改進(jìn)方法是建立在BP網(wǎng)絡(luò)梯度下降規(guī)則的基礎(chǔ)上，通過(guò)對(duì)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和學(xué)習(xí)率的改進(jìn)，從而解決BP網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練過(guò)程中遇到的問(wèn)題。它的核心思想是：使權(quán)重的調(diào)整量最大限度的適應(yīng)誤差下降的要求。該文主要介紹了附加動(dòng)量法。

傳統(tǒng)的BP算法實(shí)際上是運(yùn)用最速下降規(guī)則來(lái)搜索最優(yōu)點(diǎn)的算法，該規(guī)則是順著梯度的反方向進(jìn)行權(quán)值的修正，并不將前一階段積累的經(jīng)驗(yàn)考慮進(jìn)來(lái)。因此會(huì)在訓(xùn)練過(guò)程中發(fā)生震蕩，導(dǎo)致收斂速度緩慢。但是將動(dòng)量項(xiàng)引入到BP網(wǎng)絡(luò)中后，當(dāng)輸入樣本依照順序輸入時(shí)，則可以將權(quán)值的修正公式看作為以t為變量的時(shí)間序列，那么權(quán)值的修改公式就改變?yōu)槿缦滤荆?/p>

[Δwn=-ηt=0nan-1?Et?Wt]

加入動(dòng)量項(xiàng)以后若本次[?Et?Wt]與前一次同號(hào)時(shí)，則加權(quán)和增大，使[Δwn]增大；當(dāng)[?Et?Wt]與上一次符號(hào)相反時(shí)，說(shuō)明算法存在一定的震蕩，此時(shí)指數(shù)加權(quán)和減小，使[Δwn]減小[7]。

4.2 BP網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化

在BP算法中，輸入和輸出節(jié)點(diǎn)的個(gè)數(shù)由實(shí)際問(wèn)題確定，網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化主要是針對(duì)隱藏層的節(jié)點(diǎn)數(shù)和層數(shù)。許多研究表明，一個(gè)隱藏層就可以解決各種分類(lèi)問(wèn)題。那么對(duì)于隱藏層節(jié)點(diǎn)的個(gè)數(shù)的確定，有的學(xué)者給出了公式[NH=NI+NO+L]（其中[NH]表示隱藏層節(jié)點(diǎn)數(shù)，[NI]表示輸入層節(jié)點(diǎn)數(shù)，[NO]表示輸出層節(jié)點(diǎn)數(shù)），但是公式缺乏一定的理論支持，所以目前最好的方法是通過(guò)經(jīng)驗(yàn)和在學(xué)習(xí)訓(xùn)練過(guò)程中不斷的調(diào)整隱藏層節(jié)點(diǎn)數(shù)，最后得到一個(gè)合適的網(wǎng)絡(luò)結(jié)構(gòu)。

4.3 基于新理論的算法改進(jìn)

隨著對(duì)BP網(wǎng)絡(luò)結(jié)構(gòu)知識(shí)的研究，能夠更加深刻的理解BP算法誤差傳遞的本質(zhì)。出現(xiàn)了許多基于新興理論的BP算法的改進(jìn)，這種改進(jìn)方式是結(jié)合了其它領(lǐng)域比較成功的優(yōu)化算法和理論，比如將遺傳算法與BP算法相結(jié)合，將遺傳算法高效的全局尋優(yōu)能力引入進(jìn)來(lái)，利用GA算法來(lái)優(yōu)化BP算法的權(quán)值和閾值，解決BP神經(jīng)網(wǎng)絡(luò)存在容易陷入局部極值和收斂速度慢的問(wèn)題，兩種算法的結(jié)合實(shí)現(xiàn)了各自?xún)?yōu)勢(shì)的互補(bǔ)，取得了良好的效果[8]；將粒子群優(yōu)化算法用于BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練，使算法更容易找到全局最優(yōu)解，具有更好的收斂性[9]。很多研究者還將BP算法與模糊數(shù)學(xué)理論、小波理論、混沌算法等相結(jié)合。這些改進(jìn)使得BP神經(jīng)網(wǎng)絡(luò)得到更進(jìn)一步的應(yīng)用。

5 小結(jié)

BP算法是目前在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法中得到最廣泛應(yīng)用的。該文總結(jié)了BP算法的原理，針對(duì)BP算法中出現(xiàn)的問(wèn)題，雖然給出了BP算法的改進(jìn)方法，但還是有很多不足之處。隨著科學(xué)日新月異的發(fā)展，各種新的優(yōu)化算法不斷的提出，BP算法也會(huì)得到更廣泛的發(fā)展。

參考文獻(xiàn)：

[1] 胡彩萍.基于BP神經(jīng)網(wǎng)絡(luò)的排序評(píng)價(jià)算法研究及應(yīng)用[D].南昌：江西師范大學(xué)碩士學(xué)位論文，2009.

[2] 劉翔.BP算法的改進(jìn)及其應(yīng)用[D].太原：太原理工大學(xué)碩士學(xué)位論文，2012.

[3] 張璐璐.基于遺傳神經(jīng)網(wǎng)絡(luò)的人民幣識(shí)別方法研究[D].長(zhǎng)春：吉林大學(xué)碩士學(xué)位論文，2009.

[4] 張波.DRP決策支持系統(tǒng)及小波網(wǎng)絡(luò)在其中的應(yīng)用[D].成都：四川大學(xué)碩士學(xué)位論文，2006.

[5]付海兵，曾黃麟.BP神經(jīng)網(wǎng)絡(luò)的算法及改進(jìn)[J].中國(guó)西部科技，2012，11（8）：1671-6396.

[6] 周羽.紅外圖像人臉識(shí)別研究[D].大連：大連理工大學(xué)碩士學(xué)位論文，2007.

[7] 楊賽.BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問(wèn)題的分析研究[D].贛州：江西理工大學(xué)碩士學(xué)位論文，2009.

第2篇：神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞:無(wú)線(xiàn)傳感器網(wǎng)絡(luò);數(shù)據(jù)融合;神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào):TP393文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-3044(2010)18-5050-02

A Wireless Sensor Network Data Fusion Algorithm Based on Neural Network

YAO Li-jun1, LIANG Hong-qian2, ZHAO Lei1

(1.Hengyang Normal University, Hengyang 421008, China;2.Xi'an Wenli College, Xi'an 710065, China)

Abstruct: This paper combined the neural network model and the wireless sensor network, proposed a wireless sensor network data fusion algorithm based on neural network. Experiments show that the algorithm can effectively reduce energy consumption of network, extend network life, it is a more practical wireless sensor network data fusion algorithm.

Key words: wireless sensor network; data fusion; neural network

無(wú)線(xiàn)傳感器網(wǎng)絡(luò)(wireless sensor network,簡(jiǎn)稱(chēng)WSN)近幾年來(lái)是計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域中最為熱門(mén)的研究?jī)?nèi)容之一。典型的無(wú)線(xiàn)傳感器網(wǎng)絡(luò)由大量廉價(jià)的傳感器節(jié)點(diǎn)所構(gòu)成,相互之間通過(guò)無(wú)線(xiàn)方式進(jìn)行數(shù)據(jù)通信。這些傳感器節(jié)點(diǎn)可以通過(guò)其攜帶的各種類(lèi)型的傳感器采集現(xiàn)場(chǎng)的各種數(shù)據(jù),并以接力的方式通過(guò)其它傳感器節(jié)點(diǎn)將采集到的數(shù)據(jù)逐跳地發(fā)送到匯聚節(jié)點(diǎn)(Sink)[1]。其中單個(gè)傳感器節(jié)點(diǎn)由于能量、計(jì)算、存儲(chǔ)、感應(yīng)及通信能力嚴(yán)格受限,所以需要高的覆蓋密度來(lái)保證整個(gè)網(wǎng)絡(luò)的魯棒性和檢測(cè)信息的準(zhǔn)確性。這就導(dǎo)致相鄰節(jié)點(diǎn)間采集的數(shù)據(jù)存在一定的冗余,網(wǎng)絡(luò)負(fù)載隨之增加。為了節(jié)省能量和通信帶寬,減少原始數(shù)據(jù)的發(fā)送,傳感器節(jié)點(diǎn)需要協(xié)同在網(wǎng)處理所收集的原始數(shù)據(jù)。數(shù)據(jù)融合就是在網(wǎng)處理的方法之一[2-3]。

神經(jīng)網(wǎng)絡(luò)(Neural Network,簡(jiǎn)稱(chēng)NN)是對(duì)人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬,是一門(mén)多個(gè)學(xué)科領(lǐng)域的邊緣交又學(xué)科。它以對(duì)大腦的生理研究成果為基礎(chǔ),旨在模擬大腦的某些機(jī)理與機(jī)制,實(shí)現(xiàn)某個(gè)方面的功能[4]。

神經(jīng)網(wǎng)絡(luò)與數(shù)據(jù)融合具有一個(gè)共同的基本特征,即通過(guò)對(duì)大量的數(shù)據(jù)進(jìn)行一定的運(yùn)算和處理,得到能夠反映這些數(shù)據(jù)特征的結(jié)論性的結(jié)果。本文提出一種新的無(wú)線(xiàn)傳感器網(wǎng)絡(luò)數(shù)據(jù)融合算法,該算法基于分簇?zé)o線(xiàn)傳感器網(wǎng)絡(luò)模型,將其中的分簇結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)模型相結(jié)合,在簇頭節(jié)點(diǎn)利用神經(jīng)網(wǎng)絡(luò)算法對(duì)簇成員節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行融合處理,以有效地減少網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量,延長(zhǎng)網(wǎng)絡(luò)使用壽命。

1 無(wú)線(xiàn)傳感器網(wǎng)絡(luò)模型與神經(jīng)網(wǎng)絡(luò)模型

無(wú)線(xiàn)傳感器網(wǎng)絡(luò)由大量部署于監(jiān)控區(qū)域的傳感器節(jié)點(diǎn)組成。傳感器節(jié)點(diǎn)分為 3類(lèi):基站、簇頭和普通傳感節(jié)點(diǎn)。層次化無(wú)線(xiàn)傳感器網(wǎng)絡(luò)如圖1所示。

本文采用的神經(jīng)網(wǎng)絡(luò)模型是典型的前饋神經(jīng)網(wǎng)絡(luò)―多層感知器(MLP)[5]。多層感知器由若干層非線(xiàn)性神經(jīng)元組成,每個(gè)神經(jīng)元都是一個(gè)感知器,每層包含多個(gè)感知器,相鄰層的神經(jīng)元用權(quán)連接起來(lái)。圖2給出了多層感知器的結(jié)構(gòu)示意圖,通常情況下,層與層之間是全連接的,信號(hào)沿著前饋方向,即從左邊到右邊,逐層傳遞。

2 具體數(shù)據(jù)融合算法

本算法基于三層感知器神經(jīng)網(wǎng)絡(luò)模型,對(duì)應(yīng)無(wú)線(xiàn)傳感器網(wǎng)絡(luò)中的一個(gè)簇。其中,輸入層和第一隱層位于簇成員節(jié)點(diǎn)中,而輸出層和第二隱層位于簇頭節(jié)點(diǎn)中。

假設(shè)無(wú)線(xiàn)傳感器網(wǎng)絡(luò)中一個(gè)簇內(nèi)有n個(gè)簇成員節(jié)點(diǎn),每個(gè)簇成員節(jié)點(diǎn)采集m種不同類(lèi)型的數(shù)據(jù),那么該神經(jīng)網(wǎng)絡(luò)模型共有n×m個(gè)輸入層節(jié)點(diǎn)、n×m個(gè)第一隱層神經(jīng)元。第二隱層神經(jīng)元的數(shù)量、和輸出層神經(jīng)元的數(shù)量k可以根據(jù)實(shí)際應(yīng)用的需要進(jìn)行調(diào)整,與簇成員節(jié)點(diǎn)的數(shù)量n并沒(méi)有聯(lián)系。對(duì)于不同類(lèi)型的數(shù)據(jù),第二隱層的數(shù)量可以不同。在輸入層與第一隱層之間、第一隱層和第二隱層間沒(méi)有采用全連接,只是對(duì)不同類(lèi)型的數(shù)據(jù)分別進(jìn)行處理;而第二隱層與輸出層之間是全連接的,可以對(duì)不同類(lèi)型的數(shù)據(jù)進(jìn)行綜合處理。

根據(jù)這樣一種三層感知器神經(jīng)網(wǎng)絡(luò)模型,本文的數(shù)據(jù)融合算法首先在每個(gè)傳感器節(jié)點(diǎn)對(duì)所有采集到的數(shù)據(jù)按照第一隱層神經(jīng)元函數(shù)進(jìn)行初步處理,然后將處理結(jié)果發(fā)送給其所在簇的簇頭節(jié)點(diǎn)。簇頭節(jié)點(diǎn)再根據(jù)第二隱層神經(jīng)元函數(shù)和輸出層神經(jīng)元函數(shù)進(jìn)行進(jìn)一步地處理。最后,由簇頭節(jié)點(diǎn)將處理結(jié)果發(fā)送給匯聚節(jié)點(diǎn)。下面以第一隱層神經(jīng)元功能模型為例,敘述神經(jīng)元函數(shù)信息處理過(guò)程。

第一隱層神經(jīng)元位于簇成員節(jié)點(diǎn)。每個(gè)簇成員節(jié)點(diǎn)中第一隱層神經(jīng)元的數(shù)量是根據(jù)傳感器節(jié)點(diǎn)所采集的數(shù)據(jù)類(lèi)型來(lái)決定的,不同類(lèi)型的數(shù)據(jù)由不同的神經(jīng)元來(lái)進(jìn)行處理。第一隱層神經(jīng)元功能模型的輸入?yún)^(qū)、處理區(qū)和輸出區(qū)三個(gè)功能函數(shù)如圖3所示。

3 性能仿真

將本文的融合算法與基于卡爾曼濾波的融合方法進(jìn)行比較,在條件相同的情況下,考察兩算法性能的主要指標(biāo),包括:網(wǎng)絡(luò)總能耗、節(jié)點(diǎn)平均剩余能量和平均時(shí)延三個(gè)方面。如圖4所示。

圖中,表示基于神經(jīng)網(wǎng)絡(luò)的融合算法, 表示基于卡爾曼濾波的融合方法,由圖可知,本文基于神經(jīng)網(wǎng)絡(luò)的融合算法在這三方面均優(yōu)于基于卡爾曼濾波的融合方法。

4 結(jié)論

本文將神經(jīng)網(wǎng)絡(luò)功能模型與層次化無(wú)線(xiàn)傳感器網(wǎng)絡(luò)相結(jié)合,提出一種基于神經(jīng)網(wǎng)絡(luò)的無(wú)線(xiàn)傳感器網(wǎng)絡(luò)數(shù)據(jù)融合算法,通過(guò)采用該算法,有效地減少了網(wǎng)絡(luò)的能耗,延長(zhǎng)了無(wú)線(xiàn)傳感器網(wǎng)絡(luò)的生存周期,是一種較為實(shí)用的無(wú)線(xiàn)傳感器網(wǎng)絡(luò)數(shù)據(jù)融合算法。

參考文獻(xiàn):

[1] 李建中,高宏.無(wú)線(xiàn)傳感器網(wǎng)絡(luò)的研究進(jìn)展[J].計(jì)算機(jī)研究與發(fā)展, 2008 (1):1-15.

[2] Castelluccia C,Mykletun E,Tsudik G.Efficient aggregation of encrypted data in wireless sensor networks[J].Mobile and Ubiquitous Systems:Networking and Services MobiQuitous,2005.

[3] Chen J,Pandurangan G,Xu D.Robust computation of aggregates in wireless sensor networks:Distributed randomized algorithms and analysis[C].IPSN,2005:348-355.

第3篇：神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：入侵檢測(cè) 神經(jīng)網(wǎng)絡(luò) 人工魚(yú)群算法 模型參數(shù)

中圖分類(lèi)號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-2117（2014）20-00-01

1 前言

21世紀(jì)是網(wǎng)絡(luò)的時(shí)代，網(wǎng)絡(luò)已進(jìn)入人們的日常生活，成為人們通信和交流的工具，人們對(duì)于網(wǎng)絡(luò)的依賴(lài)也越來(lái)越強(qiáng)。

針對(duì)網(wǎng)絡(luò)入侵檢測(cè)問(wèn)題，國(guó)內(nèi)外許多學(xué)者進(jìn)行了深入研究，提出了許多有效的網(wǎng)絡(luò)入侵檢測(cè)模型。在網(wǎng)絡(luò)入侵檢測(cè)過(guò)程，網(wǎng)絡(luò)入侵分類(lèi)器設(shè)計(jì)是網(wǎng)絡(luò)入侵檢測(cè)的關(guān)鍵，當(dāng)前網(wǎng)絡(luò)入侵分類(lèi)器主要有基于支持向量機(jī)、K最近鄰算法、神經(jīng)網(wǎng)絡(luò)等進(jìn)行設(shè)計(jì)。其中出回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)（Echo State Network，ESN）是一種新型的網(wǎng)絡(luò)，具有簡(jiǎn)單、易實(shí)現(xiàn)、泛化能力優(yōu)異等優(yōu)點(diǎn)，成為網(wǎng)絡(luò)入侵檢測(cè)中的主要研究方向。人工魚(yú)群算法（Artificial Fish Swarm Algorithm，AFSA）是一種采用自下而上信息尋優(yōu)模式的智能搜索算法，具有并行性、收斂速度快等優(yōu)點(diǎn)，為回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化提供了一種新的工具。

2 人工魚(yú)算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)模型

2.1 回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)

ESN是一種由輸入層、內(nèi)部?jī)?chǔ)備池和輸出層組成的非線(xiàn)性遞歸神經(jīng)網(wǎng)絡(luò)，其狀態(tài)方程為：

式中，sigmoid為激活函數(shù)；Win和Wx分別為輸入和儲(chǔ)備池內(nèi)部的連接矩陣；μ（t），x（t）分別表示t時(shí)刻的輸入向量和儲(chǔ)備池內(nèi)部狀態(tài)向量量，sin為輸入項(xiàng)比例系數(shù)；ρ為內(nèi)部?jī)?chǔ)備池的譜半徑。

那么ESN的輸出方程為

（2）

式中，y（t）為t時(shí)刻的輸出向量Wout為輸出連接向量。

輸出權(quán)值對(duì)ESN性能起著關(guān)鍵作用，常采用最小二乘法進(jìn)行求解，目標(biāo)函數(shù)的最小化形式為

式中 ，

，N為儲(chǔ)備池節(jié)點(diǎn)數(shù)；l為訓(xùn)練樣本數(shù)。

根據(jù)式（3）式得到解

（4）

式中，為的估計(jì)值。

從式（1）可知，參數(shù)sin和ρ的選取影響回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)的性能，本文采用人工魚(yú)群算法（AFSA）對(duì)參數(shù)sin和ρ的選擇，以提高網(wǎng)絡(luò)入侵的檢測(cè)正確率。

2.2 人工魚(yú)群算法

工魚(yú)群算模擬魚(yú)群覓食的行為，人工魚(yú)個(gè)體的狀態(tài)可表示為向量Xi=（xi1，xi2，…，xiD），食物濃度表示為Y=f（x），其中Y為目標(biāo)函數(shù)值；Visual表示人工魚(yú)的感知范圍：Step表示人工魚(yú)移動(dòng)的步長(zhǎng)；δ表示擁擠度因子。人工魚(yú)的行為包括以下幾種：①覓食行為；②聚群行為；③追尾行為；④隨機(jī)行為。

2.3 人工魚(yú)群算法優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)

（1）初始化人工魚(yú)群算法參數(shù)，主要包括人工魚(yú)群數(shù)以及最大迭代次數(shù)；（2）初始位置為回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)的參數(shù)；（3）計(jì)算適應(yīng)度函數(shù)，并選擇適應(yīng)度函數(shù)值最大的人工魚(yú)個(gè)體進(jìn)入公告板；（4）人工魚(yú)模擬魚(yú)群覓食行為，得到新的人工魚(yú)位置；（5）與公告板人工魚(yú)的位置進(jìn)行比較，如果優(yōu)于公告板，那么將該人工魚(yú)位置記入公告牌；（6）將最優(yōu)公告牌的位置進(jìn)行解碼，得到回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)最優(yōu)參數(shù)；（7）利用最優(yōu)參數(shù)建立網(wǎng)絡(luò)入侵檢測(cè)模型，并對(duì)其性能進(jìn)行測(cè)試。

3 仿真實(shí)驗(yàn)

3.1 仿真環(huán)境

數(shù)據(jù)來(lái)自網(wǎng)絡(luò)入侵標(biāo)準(zhǔn)測(cè)試集KDDCUP99數(shù)據(jù)集，其包括4種入侵類(lèi)型：DoS、Probe、U2R和R2L，同時(shí)包括正常樣本，每一個(gè)樣本共有41個(gè)特征，7個(gè)符號(hào)型字段和34個(gè)數(shù)值型字段。由于KDDCup99數(shù)據(jù)集樣本多，從中隨機(jī)選擇部分?jǐn)?shù)量的數(shù)據(jù)進(jìn)行測(cè)試，數(shù)據(jù)具體分布見(jiàn)下表。為了使本文模型的結(jié)果具有可比性，采用PSO算法優(yōu)化回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)（PSO-ESN），遺傳算法優(yōu)化回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)（GA-ESN）進(jìn)行對(duì)比實(shí)驗(yàn)。

樣本集分布情況

入侵類(lèi)型 訓(xùn)練樣本 測(cè)試樣本

DoS 2000 400

Probe 1000 200

R2L 500 100

U2R 100 20

3.2 結(jié)果與分析

所有模型對(duì)網(wǎng)絡(luò)入侵?jǐn)?shù)據(jù)進(jìn)行建模，仿真結(jié)果如圖1和圖2所示。從圖1和圖2進(jìn)行仔細(xì)分析，可以知道，相對(duì)于PSO-ESN、GA-ESN，人工魚(yú)群算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)性能最優(yōu)，網(wǎng)絡(luò)入侵檢測(cè)的誤報(bào)率更低，具有十分明顯的優(yōu)勢(shì)，在網(wǎng)絡(luò)安全領(lǐng)域具有廣泛的應(yīng)用前景。

圖1幾種模型的檢測(cè)率比較

圖2幾種模型的誤報(bào)率比較

4 結(jié)語(yǔ)

針對(duì)回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)參數(shù)優(yōu)化難題，提出一種人工魚(yú)群算法優(yōu)化回聲狀態(tài)神經(jīng)網(wǎng)絡(luò)參數(shù)的入侵檢測(cè)模型。仿真結(jié)果表明，相對(duì)于對(duì)比模型，本文模型提高了網(wǎng)絡(luò)入侵的檢測(cè)率，同時(shí)誤報(bào)率明顯降低，具有一定的實(shí)際應(yīng)用價(jià)值。

參考文獻(xiàn)：

[1]唐正軍，李建華.入侵檢測(cè)技術(shù)[M].北京：清華大學(xué)出版社，2004.

第4篇：神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) 算法 火災(zāi)探測(cè) 自動(dòng)報(bào)警

中圖分類(lèi)號(hào)： TP274 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2013）10-0130-02

隨著我國(guó)社會(huì)進(jìn)步和經(jīng)濟(jì)的快速發(fā)展，人們的生活水平有了很大提高。然而，火災(zāi)事故也有增無(wú)減。如何防止火災(zāi)對(duì)社會(huì)財(cái)富和人身安全造成危害是值得研究的重要課題之一。火災(zāi)的的發(fā)生是一個(gè)極為復(fù)雜的過(guò)程，這樣就一來(lái)，在探測(cè)火災(zāi)時(shí)候，會(huì)給探測(cè)器帶來(lái)一定的干擾性，做出對(duì)信號(hào)的正確處理和適當(dāng)?shù)乃惴?，確保探測(cè)器的正確定位，避免錯(cuò)誤報(bào)警，這些是火災(zāi)報(bào)警系統(tǒng)的關(guān)鍵點(diǎn)。

神經(jīng)網(wǎng)絡(luò)是一個(gè)復(fù)雜網(wǎng)絡(luò)，它是由大量簡(jiǎn)單的處理單元經(jīng)過(guò)連接構(gòu)成，能夠?qū)崿F(xiàn)大規(guī)模的并行處理能力、包括處理冗余性、容錯(cuò)性、非線(xiàn)性映射能力，以及能夠?qū)崿F(xiàn)自己適應(yīng)、學(xué)習(xí)計(jì)算和組織能力。在不同情況條件下的環(huán)境對(duì)特征參數(shù)進(jìn)行智能處理時(shí)，它能夠很好快速處理；并且，對(duì)于火災(zāi)信號(hào)的有效定位迅速準(zhǔn)確，進(jìn)而使信號(hào)早期能夠報(bào)警發(fā)，實(shí)現(xiàn)火災(zāi)的早期發(fā)現(xiàn)和報(bào)警，能夠大幅度的提高報(bào)警器的安全可靠性。

1 BP算法原理

BP（Back Propagation）網(wǎng)絡(luò)是一個(gè)多層次的前饋智能神經(jīng)系統(tǒng)。能夠?qū)崿F(xiàn)對(duì)任意的非線(xiàn)性映射進(jìn)行從輸入和輸出處理。標(biāo)準(zhǔn)的三層BP網(wǎng)絡(luò)是本文所要重點(diǎn)簡(jiǎn)介說(shuō)明的，該神經(jīng)網(wǎng)絡(luò)為的結(jié)構(gòu)如圖1所示。

本次設(shè)計(jì)采用溫度，煙霧和CO三種參數(shù)作為網(wǎng)絡(luò)的輸入，如圖2所示。第一步是將信號(hào)進(jìn)行歸一化處理，使其范圍歸一到[0—1]之間的數(shù)值； 那么，溫度歸一化計(jì)算公式：T=（t-tmin）/（tmax-tmin）。

其中T—?dú)w一化溫度；t—溫度實(shí)際值；tmin—樣本集中溫度最小值；tmax—溫度最大值。其它參數(shù)與此相同。

其次，將BP網(wǎng)絡(luò)的三個(gè)參數(shù)值數(shù)歸一化處理輸入，此時(shí)設(shè)置的網(wǎng)絡(luò)層數(shù)為三層，三種變量為網(wǎng)絡(luò)的輸出層，他們分別為無(wú)火、陰燃火、明火可能性；由于網(wǎng)絡(luò)三種變量的輸出為隸屬度函數(shù)值，因此，在網(wǎng)絡(luò)的隱節(jié)點(diǎn)層（輸入層節(jié)點(diǎn)到隱含層節(jié)點(diǎn)之間）神經(jīng)元，那么采用正切sigmoid函數(shù)科作為傳遞函數(shù)：。網(wǎng)絡(luò)輸出為：。其中xj為輸入， w ij為輸入節(jié)點(diǎn)與隱層節(jié)點(diǎn)間的網(wǎng)絡(luò)權(quán)值，Til 為隱層節(jié)點(diǎn)與輸出層之間的網(wǎng)絡(luò)權(quán)值，b1和b2分別為閾值，Ol為輸出。誤差計(jì)算公式為：E=。

其中t—期望輸出。Ol—網(wǎng)絡(luò)實(shí)際輸出，E—平方和誤差。

利用標(biāo)準(zhǔn)的BP算法學(xué)習(xí)，盡量使探測(cè)的誤差最小，可以通過(guò)修改Wij（權(quán)值）和閾值b1，b2來(lái)實(shí)現(xiàn)。本文采用網(wǎng)絡(luò)為三層前向，三個(gè)神經(jīng)元的輸入層系統(tǒng)， 他們分別代表溫度信號(hào)、煙霧信號(hào)和CO信號(hào)， 三個(gè)神經(jīng)元在輸出層時(shí)候分別表示火災(zāi)各狀態(tài)（無(wú)火、陰燃和明火） 的發(fā)生概率。在隱層神經(jīng)元個(gè)數(shù)計(jì)算公式主要是根據(jù)經(jīng)驗(yàn)確定，可以選取公式q=r+s+（1～10）來(lái)確定。

2 訓(xùn)練和測(cè)試方法

對(duì)所有的測(cè)試樣本數(shù)據(jù)進(jìn)行一次正向運(yùn)行，并進(jìn)行一次反向傳播修改權(quán)值稱(chēng)為訓(xùn)練（也稱(chēng)為學(xué)習(xí)），需要反復(fù)的進(jìn)行計(jì)算訓(xùn)練一直到獲取合適的結(jié)果，正常來(lái)說(shuō)，一個(gè)過(guò)程需要成百上千次的網(wǎng)絡(luò)訓(xùn)練。實(shí)施過(guò)程，確保權(quán)值大小一定，用一組獨(dú)立數(shù)據(jù)進(jìn)行的網(wǎng)絡(luò)輸入，網(wǎng)絡(luò)進(jìn)行正向處理一次為測(cè)試。

本文用采用的工具為Matlab神經(jīng)網(wǎng)絡(luò)箱，讓其對(duì)數(shù)據(jù)樣本集進(jìn)行正常訓(xùn)練，圖3為訓(xùn)練程序的流程。

本實(shí)驗(yàn)中，溫度值、CO濃度、煙霧濃度分別為輸入信號(hào)；從無(wú)火到產(chǎn)生陰燃和明火為輸入范圍的三種狀態(tài)。在網(wǎng)絡(luò)訓(xùn)練以前，首先根據(jù)經(jīng)驗(yàn)設(shè)定好參數(shù)，最大程度爭(zhēng)取輸出的無(wú)火、陰燃和明火三種狀態(tài)產(chǎn)生的概率，就是實(shí)際得出的概率。那么，依據(jù)設(shè)定的參數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，其訓(xùn)練結(jié)果如表1所示：

最終通過(guò)實(shí)驗(yàn)確定隱層神經(jīng)元個(gè)數(shù)為7，將神經(jīng)網(wǎng)絡(luò)訓(xùn)練達(dá)到最佳狀態(tài)，代入測(cè)試樣本進(jìn)行仿真，如表2。

3 結(jié)語(yǔ)

基于BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練準(zhǔn)確度較高達(dá)到了10-2，大大提高多傳感器的火災(zāi)報(bào)警系統(tǒng)智能化程度。使用這種特殊的方法對(duì)火災(zāi)信號(hào)進(jìn)行探測(cè)處理，能夠加強(qiáng)探測(cè)器的靈敏度，又可以實(shí)現(xiàn)誤報(bào)率的降低，并且抗干擾能力提高，從而很大程度上提高了火災(zāi)探測(cè)系統(tǒng)的安全性和可靠性，能夠有效的降低火災(zāi)發(fā)生的概率。

參考文獻(xiàn)

[1]王殊，竇征.火災(zāi)探測(cè)及其信號(hào)處理[M].武漢：華中理工大學(xué)出版社，1999.

第5篇：神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；遺傳算法；優(yōu)化理論

一、引言

在人類(lèi)的歷史上，通過(guò)學(xué)習(xí)與模擬來(lái)增強(qiáng)自身適應(yīng)能力的例子不勝枚舉。模擬飛禽，人類(lèi)可以翱游天空；模擬游魚(yú)，人類(lèi)可以橫渡海洋；模擬昆蟲(chóng)，人類(lèi)可以縱觀千里；模擬大腦，人類(lèi)創(chuàng)造了影響世界發(fā)展的計(jì)算機(jī)。人類(lèi)的模擬能力并不僅僅局限于自然現(xiàn)象和其它生命體。自從20世紀(jì)后半葉以來(lái)，人類(lèi)正在將其模擬的范圍延伸向人類(lèi)自身。

神經(jīng)網(wǎng)絡(luò)是人類(lèi)對(duì)其大腦信息處理機(jī)制的模擬，早期的自動(dòng)機(jī)理論假設(shè)機(jī)器是由類(lèi)似于神經(jīng)元的基本元素組成，從而向人們展示了第一個(gè)自復(fù)制機(jī)模型。近年來(lái)諸如機(jī)器能否思維、基于規(guī)則的專(zhuān)家系統(tǒng)是否能勝任人類(lèi)的工作、以及神經(jīng)網(wǎng)絡(luò)能否使機(jī)器具有生物功能已成為人工智能關(guān)注的焦點(diǎn)。

遺傳算法是一種更為宏觀意義下的仿生算法，它模仿的機(jī)制是一切生命與智能的產(chǎn)生與進(jìn)化過(guò)程。人類(lèi)之所以能夠向其自身的演化學(xué)習(xí)以增強(qiáng)決策問(wèn)題的能力，是因?yàn)樽匀谎莼^(guò)程本質(zhì)就是一個(gè)學(xué)習(xí)與優(yōu)化的過(guò)程。

神經(jīng)網(wǎng)絡(luò)和遺傳算法都是仿效生物處理模式以獲得智能信息處理功能的理論，二者雖然實(shí)施方法各異，但目標(biāo)相近，有很多特點(diǎn)相同，功能類(lèi)似，對(duì)二者進(jìn)行深入地對(duì)比研究，并取長(zhǎng)補(bǔ)短，將二者綜合運(yùn)用是非常有意義的課題。

二、神經(jīng)網(wǎng)絡(luò)與遺傳算法概述

自1943年第一個(gè)神經(jīng)網(wǎng)絡(luò)模型MP模型提出至今，神經(jīng)網(wǎng)絡(luò)的發(fā)展非常迅速，特別是1982年提出的Hopfield網(wǎng)絡(luò)模型和1985年提出的8P算法。使神經(jīng)網(wǎng)絡(luò)逐步發(fā)展成為用途廣泛的系統(tǒng)。神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元廣泛互連。形成大規(guī)模并行處理和分布式的信息存儲(chǔ)的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。單一神經(jīng)元可以有許多輸入、輸出。神經(jīng)元之間的相互作用通過(guò)連接的權(quán)重體現(xiàn)。神經(jīng)元的輸出是其輸入的函數(shù)。雖然每個(gè)神經(jīng)元的結(jié)構(gòu)和功能極其簡(jiǎn)單和有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)的行為則是豐富多彩的。神經(jīng)網(wǎng)絡(luò)計(jì)算的基本特征是大規(guī)模并行處理、容錯(cuò)性、自適應(yīng)性和自組織性。大規(guī)模并行處理指能同時(shí)處理與決策有關(guān)的因素，雖然單個(gè)神經(jīng)元的動(dòng)作速度不快。但網(wǎng)絡(luò)的總體并行處理速度極快。容錯(cuò)性指由于神經(jīng)網(wǎng)絡(luò)包含的信息是分布存儲(chǔ)的，即使網(wǎng)絡(luò)某些單元和連接有缺陷，仍可以通過(guò)聯(lián)想得到全部或大部分信息。自適應(yīng)性和自組織性指它可以通過(guò)學(xué)習(xí)，不斷適應(yīng)環(huán)境，增加知識(shí)的容量。

遺傳算法最早由美國(guó)密執(zhí)安大學(xué)的Holland教授在1975年發(fā)表的論文“自然和人工系統(tǒng)的適配”一文中提出。它是一種借鑒生物界自然選擇思想和遺傳機(jī)制的全局隨機(jī)搜索算法，其實(shí)現(xiàn)方法是，從一個(gè)初始種群出發(fā)，不斷重復(fù)執(zhí)行選擇、雜交和變異的過(guò)程，使種群進(jìn)化越來(lái)越接近某一目標(biāo)。它的基本特征是大規(guī)模并行處理、通用性、魯棒性。大規(guī)模并行處理指遺傳算法的操作對(duì)象是一組可行解而非單個(gè)解。搜索路徑有多條而非單條，因而具有良好的并行性。通用性指只需利用目標(biāo)的取值信息，而無(wú)需梯度等高價(jià)值信息，因而適用于任何大規(guī)模、高度非線(xiàn)性的不連續(xù)多峰函數(shù)的優(yōu)化以及無(wú)解析表達(dá)式的目標(biāo)函數(shù)的優(yōu)化，具有很強(qiáng)的通用性。魯棒性指算法的擇優(yōu)機(jī)制是一種軟選擇，再加上其良好的并行性，使它具有很好的全局優(yōu)化性和穩(wěn)定性。

三、神經(jīng)網(wǎng)絡(luò)與遺傳算法在優(yōu)點(diǎn)上的相似性

(一)二者都可對(duì)問(wèn)題進(jìn)行大規(guī)模的并行處理。整體上極大提高了運(yùn)算速度。這是神經(jīng)網(wǎng)絡(luò)和遺傳算法優(yōu)于傳統(tǒng)算法的最重要的特征。

對(duì)于神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，雖然每個(gè)神經(jīng)元都要計(jì)算連接函數(shù)和傳遞函數(shù)(也稱(chēng)作用函數(shù))，但神經(jīng)元的計(jì)算可以分布式地并行進(jìn)行。對(duì)于遺傳算法來(lái)說(shuō)，每一個(gè)個(gè)體都需要根據(jù)適應(yīng)值函數(shù)計(jì)算適應(yīng)值，每一代都有很多個(gè)體，表面看來(lái)也有很大的計(jì)算量，但可同時(shí)對(duì)多個(gè)可行解進(jìn)行操作，所以整體上與傳統(tǒng)的計(jì)算方法相比，運(yùn)算時(shí)間很短。從這一點(diǎn)來(lái)看，神經(jīng)網(wǎng)絡(luò)和遺傳算法都需要發(fā)展分布式并行計(jì)算系統(tǒng)來(lái)替代傳統(tǒng)的計(jì)算機(jī)，這種計(jì)算系統(tǒng)不再是傳統(tǒng)計(jì)算機(jī)順序執(zhí)行命令的運(yùn)行過(guò)程，而是希望對(duì)輸入進(jìn)行平行處理；這種計(jì)算系統(tǒng)不再是只包含一個(gè)或幾個(gè)復(fù)雜的計(jì)算設(shè)備，而是由眾多簡(jiǎn)單設(shè)備有機(jī)組成在一起共同執(zhí)行相同的計(jì)算功能；一旦適合這種要求的硬件系統(tǒng)得到發(fā)展，神經(jīng)網(wǎng)絡(luò)和遺傳算法將能得到更加廣泛地應(yīng)用，更有效地解決更大規(guī)模的實(shí)際問(wèn)題。

(二)二者都具有高度的適應(yīng)性和容錯(cuò)性

人工神經(jīng)網(wǎng)絡(luò)在解決某個(gè)具體問(wèn)題時(shí)，可以反復(fù)用示例來(lái)訓(xùn)練它，在訓(xùn)練的過(guò)程中自組織自學(xué)習(xí)來(lái)適應(yīng)新的情況。而且，由于神經(jīng)網(wǎng)絡(luò)中信息的分布式存貯，即使個(gè)別神經(jīng)元出錯(cuò)，也不會(huì)導(dǎo)致網(wǎng)絡(luò)運(yùn)行的癱瘓，所以總體上具有較強(qiáng)的可靠性；而遺傳算法通過(guò)每一代的選擇過(guò)程來(lái)淘汰適應(yīng)值較小的個(gè)體，保留適應(yīng)值較大的個(gè)體，從而使收斂的結(jié)果趨于適應(yīng)目標(biāo)值，通過(guò)變異算子將每一代的種群空間擴(kuò)大到個(gè)體空間，使每一個(gè)個(gè)體都有被選進(jìn)種群的機(jī)會(huì)，每一個(gè)解都有機(jī)會(huì)參與計(jì)算。

(三)二者都通過(guò)對(duì)有限個(gè)可行解進(jìn)行操作來(lái)獲取對(duì)整個(gè)解空間的求解，實(shí)踐證明對(duì)于其中已經(jīng)相對(duì)成熟的算法，二者具有較好的魯棒性。

神經(jīng)網(wǎng)絡(luò)，如BP算法，通過(guò)對(duì)有限個(gè)模式的訓(xùn)練和學(xué)習(xí)來(lái)實(shí)現(xiàn)對(duì)所有模式的識(shí)別；事實(shí)證明效果很好。遺傳算法通過(guò)在個(gè)體空間中選擇有限數(shù)目的個(gè)體作為種群進(jìn)行代代操作來(lái)實(shí)現(xiàn)對(duì)個(gè)體空間中最優(yōu)解的搜索。兩種方法都選擇了較少的操作數(shù)目，但由于算法本身的優(yōu)越性，仍能取得較好的穩(wěn)定性和收斂性。

四、神經(jīng)網(wǎng)絡(luò)與遺傳算法在缺點(diǎn)上的相似性

(一)二者優(yōu)越性的理論分析有待完善。

神經(jīng)網(wǎng)絡(luò)與遺傳算法各自的種類(lèi)繁多，神經(jīng)網(wǎng)絡(luò)主要有前饋(BP)神經(jīng)網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、自組織特征映射網(wǎng)絡(luò)、波爾茲曼機(jī)等，其中最有影響的是BP網(wǎng)絡(luò)和Hopfleld網(wǎng)絡(luò)；遺傳算法主要有簡(jiǎn)單遺傳算法、統(tǒng)計(jì)遺傳算法、共同進(jìn)化遺傳算法及其它改進(jìn)后的遺傳算法；針對(duì)要解決問(wèn)題的性質(zhì)可以選擇合適的網(wǎng)絡(luò)或算法。這些網(wǎng)絡(luò)或算法已經(jīng)被諸多實(shí)踐證明其優(yōu)越性。

目前神經(jīng)網(wǎng)絡(luò)和遺傳算法已經(jīng)在語(yǔ)音識(shí)別、模式識(shí)別、圖像處理和工業(yè)控制等領(lǐng)域取得了顯著成效。雖然實(shí)踐已證明了其無(wú)比的優(yōu)越性，但在理論分析上，兩者都略有不足。BP算法和Hopfield網(wǎng)絡(luò)雖然給出了算法的執(zhí)行原理及過(guò)程，但其優(yōu)越性的理論仍不嚴(yán)格，即并未對(duì)不同情況定量說(shuō)明，為什么這種算法能夠快速收斂或快速求解。對(duì)遺傳算法來(lái)說(shuō)，早在Holland提出遺傳算法之初就提出了著名的模式定理和穩(wěn)并行性分析來(lái)定量說(shuō)明遺傳算法的優(yōu)越性，并長(zhǎng)期以來(lái)被人們所接受。但是模式定理只對(duì)簡(jiǎn)單遺傳算法有效，因?yàn)槠渥C明過(guò)程依賴(lài)于二進(jìn)制編碼，對(duì)非二進(jìn)制編碼收斂性的分析至今也未得出。除此之外，近年來(lái)，有很多著名學(xué)者也對(duì)模式定理的證明過(guò)程提出了質(zhì)疑。所以，找到神經(jīng)網(wǎng)絡(luò)和遺傳算法優(yōu)越性的理論基礎(chǔ)仍是一項(xiàng)艱巨的科研任務(wù)和課題。

(二)在算法的執(zhí)行過(guò)程中參數(shù)的確定都需要依賴(lài)于人的經(jīng)驗(yàn)。

建立一個(gè)神經(jīng)網(wǎng)絡(luò)需要首先確定它的基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則以及工作方式(前饋式還是演化式)，網(wǎng)絡(luò)結(jié)構(gòu)包括網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)即網(wǎng)絡(luò)中神經(jīng)元的連接方式和節(jié)點(diǎn)轉(zhuǎn)換函數(shù)兩部分。結(jié)構(gòu)的優(yōu)劣對(duì)網(wǎng)絡(luò)的處理能力有很大影響，一個(gè)好的結(jié)構(gòu)應(yīng)能圓滿(mǎn)解決問(wèn)題，同時(shí)不出現(xiàn)冗余節(jié)點(diǎn)和冗余連接，但不幸的是，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)基本上還依賴(lài)于人的經(jīng)驗(yàn)，尚沒(méi)有一個(gè)系統(tǒng)的方法來(lái)設(shè)計(jì)一個(gè)適當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu)。目前，人們?cè)谠O(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，只能或者預(yù)先指定?；蛘卟捎眠f增或遞減的探測(cè)方法。

對(duì)遺傳算法來(lái)說(shuō)，需要針對(duì)待解決的問(wèn)題而設(shè)計(jì)出編碼方案、三個(gè)算子(選擇、雜交、變異)、進(jìn)化機(jī)制以及各個(gè)概率參數(shù)，如雜交概率、變異概率等。參數(shù)的確定也沒(méi)有理論支持，只是人為地認(rèn)為雜交概率的值確定在(0.65，0，9)范圍內(nèi)，變異概率的值確定在(0.001.0.01)比較好，目前，在遺傳算法的實(shí)際執(zhí)行過(guò)程中一般需要預(yù)先指定這兩個(gè)參數(shù)，近來(lái)有學(xué)者提出在遺傳算法的執(zhí)行過(guò)程中動(dòng)態(tài)地改變這些參數(shù)的方法也取得了較好的效果。

第6篇：神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞： ATR2神經(jīng)網(wǎng)絡(luò)； 警戒值； 模式漂移； 模式識(shí)別

中圖分類(lèi)號(hào)： TN911?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2014）18?0041?03

An improved algorithm based on ART2 neural network

HU Xin， YE Qing， GUO Geng?shan

（Changsha University of Science and Technology， Changsha 410114， China）

Abstract： Aiming at the problems of setting vigilance parameter and pattern drift produced in the process of classification identification of the traditional ART2 neural network， a new ART2 neural network model based on modified algorithm is presen?

ted in this article to solve problems concerning analysis of pattern identification. Reasonable vigilance parameter needed by clustering is deduced through the processing of self?organization， weighting and iteration. In order to conduct reasonable classification of clustering objects， the measures of slowing learning rate which can be realized by modifying the weight training of ART2 neural network to reduce the speed of pattern drifting should be taken. The experimental results have proved that the new model is of high validity and feasibility.

Keywords： ATR2 neural network； security value； pattern drift； pattern recognition

0 引 言

ART2神經(jīng)網(wǎng)絡(luò)的輸入為任意模擬輸入矢量，所以它有非常廣泛的應(yīng)用范圍，通過(guò)對(duì)警戒值的調(diào)整，ART2神經(jīng)網(wǎng)絡(luò)可以對(duì)輸入的模擬矢量進(jìn)行不同精度的分類(lèi)。ART2是基于自適應(yīng)諧振理論的一種自組織神經(jīng)網(wǎng)絡(luò)，通過(guò)競(jìng)爭(zhēng)學(xué)習(xí)和自穩(wěn)機(jī)制原理實(shí)現(xiàn)分類(lèi)，它主要是為了解決下列問(wèn)題而提出的：設(shè)計(jì)一個(gè)學(xué)習(xí)系統(tǒng)，同時(shí)擁有穩(wěn)定性和可塑性，即系統(tǒng)在不斷學(xué)習(xí)新知識(shí)的時(shí)候能保持原有的知識(shí)[1?2]。

迄今為止，基于ART網(wǎng)絡(luò)的模式分類(lèi)方法有很大發(fā)展，其中具有代表性的就是S.Grossberg和A.carpenter提出的用于并行分類(lèi)和自適應(yīng)模式分類(lèi)方法[3?4]。

傳統(tǒng)的自適應(yīng)諧振神經(jīng)網(wǎng)絡(luò)也存在著一些缺陷，主要體現(xiàn)在：傳統(tǒng)的ART神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)訓(xùn)練前要給出警戒參數(shù)，該警戒參數(shù)對(duì)于網(wǎng)絡(luò)聚類(lèi)結(jié)果具有直接的影響。當(dāng)警戒參數(shù)較高時(shí)，ART系統(tǒng)對(duì)模式的相似性要求就越高，類(lèi)的劃分就越細(xì)，形成的類(lèi)別就越多；當(dāng)警戒參數(shù)較低時(shí)，網(wǎng)絡(luò)有較強(qiáng)的容錯(cuò)能力，因此就產(chǎn)生較少的分類(lèi)數(shù)目[5?6]。

由于傳統(tǒng)的ART2網(wǎng)絡(luò)在對(duì)輸入模式識(shí)別分類(lèi)時(shí)，會(huì)產(chǎn)生模式漂移現(xiàn)象，從而無(wú)法實(shí)現(xiàn)更準(zhǔn)確的分類(lèi)。對(duì)部分權(quán)值的修正放慢學(xué)習(xí)速度，將改善模式漂移現(xiàn)象。

1 ART2神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和原理

1.1 ART2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

ART2系統(tǒng)由定向子系統(tǒng)OS和注意子系統(tǒng)AS構(gòu)成，注意子系統(tǒng)AS由感受層SL和反應(yīng)層RL和控制增益GC組成，既有短時(shí)記憶[OS（t）]和[OR（t）]，又有長(zhǎng)時(shí)記憶，包括自低向上的長(zhǎng)時(shí)記憶[Ω（SR）]和自頂向下的長(zhǎng)時(shí)記憶[Ω（RS）]。作為神經(jīng)計(jì)算的模型，ART2系統(tǒng)是由人工神經(jīng)元形成的系統(tǒng)。感覺(jué)神經(jīng)元構(gòu)成了系統(tǒng)的感受層，而反應(yīng)神經(jīng)元構(gòu)成了系統(tǒng)的反應(yīng)層，ART2網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。

圖1 ART2神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

在系統(tǒng)中，各感覺(jué)神經(jīng)元之間的聯(lián)結(jié)關(guān)系包括：[Dab：SLaSLb]，[Dbc：SLbSLc]，[Dcd：SLcSLd]，[Dde：SLdSLe]，[Def：SLeSLf]，[Dda：SLdSLa]，[Dfc：SLfSLc]。各子集[SLk（V（S）k）（k∈{a，b，c，d，e，f}）]之間的聯(lián)結(jié)關(guān)系式對(duì)應(yīng)元素之間的聯(lián)結(jié)，因而，其聯(lián)結(jié)關(guān)系矩陣[Dij（i，j∈{a，b，c，d，e，f}）]均為對(duì)角矩陣。

在感受層SL中，只有子集[SLa（V（s）a）]可以接受外部輸入信號(hào)[x]，另外只有子集[SLe（V（S）e）]的狀態(tài)向量[OSe]能作為系統(tǒng)感受層SL的輸出，用于系統(tǒng)的反應(yīng)層RL[3]。

1.2 ART2神經(jīng)網(wǎng)絡(luò)的工作原理

1.2.1 參數(shù)及聯(lián)結(jié)權(quán)值初始化

所有神經(jīng)元的輸出置0向量，計(jì)數(shù)器初始值為[C=0]；SL層從下到上的長(zhǎng)時(shí)記憶初始為：

[Ω（SR）=0.5（1-α3）?mnm]

RL層從上到下的長(zhǎng)時(shí)記憶初始為：

[Ω（RS）=（0）mn]

各參數(shù)確定為：

[α1>0， α2>0，0

1.2.2 計(jì)算步驟

ART2網(wǎng)絡(luò)的運(yùn)行按照如下的步驟進(jìn)行：

（1） [SLa]運(yùn)算：

[O（S）a=x+α1O（S）d]

（2） [SLb]運(yùn)算：

[O（S）b=O（S）aε+O（S）a]

（3） [SLc]運(yùn)算：

[O（S）c=f（O（S）b）+α2f（O（S）f）]

式中：[x>α3]時(shí)[f（x）=x]，[x≤α3]時(shí)[f（x）=0]。

（4） [SLd]運(yùn)算：

[O（S）d=O（S）cε+O（S）c]…

（5） [SLe]運(yùn)算：

[O（S）e=O（S）d， C=0O（S）d+ω（RS）kα4， C>0]

（6） [SLf]運(yùn)算：

[O（S）f=O（S）eε+O（S）e]

（7） SL測(cè)試：如果短時(shí)記憶[O（S）i（i∈a，b，c，d，e，f）]沒(méi)有達(dá)到穩(wěn)定狀態(tài)，轉(zhuǎn)到步驟（11）。

（8） 計(jì)數(shù)和轉(zhuǎn)移：如果[C=0]，轉(zhuǎn)到步驟（11）。

（9） OS運(yùn)算：

[r=O（S）d+α4O（S）eε+O（S）d+α4O（S）e]

若[r

（10） 復(fù)位操作：如果復(fù)位信號(hào)[r=1]，則置[O（S）k=0]，抑制[v（R）k]到ART2系統(tǒng)達(dá)到“諧振”狀態(tài)，重置短時(shí)記憶[OS=0]和[C=0]，轉(zhuǎn)到步驟（1）；否則[r=0]，轉(zhuǎn)向步驟（14）。

（11） RL運(yùn)算：

[O（R）k=α4， ω（SR）TkO（S）e=maxω（SR）TiO（S）e0， 其他]

其中[O（R）k=α4] 的單元[v（R）k]記作競(jìng)爭(zhēng)獲勝單元。

（12） 引發(fā)期待：[Ω（RS）Tω（RS）k]。

（13） 計(jì)數(shù)和轉(zhuǎn)移：[C=C+1]，轉(zhuǎn)向步驟（5） 。

（14） 諧振：[r=1]說(shuō)明[x]與[ω（RS）k]匹配，ART2系統(tǒng)達(dá)到諧振狀態(tài)，ART2快速學(xué)習(xí)機(jī)制啟動(dòng)。

（15） 前饋學(xué)習(xí)：更新前饋聯(lián)結(jié)關(guān)系[Ω（SR）]的第[k]個(gè)列向量[ω（SR）k]：

[ω（SR）k=O（S）d1-α4]

（16） 反饋學(xué)習(xí)：更新反饋聯(lián)結(jié)關(guān)系[Ω（RS）]的第[k]個(gè)行向量[ω（RS）k]：

[ω（RS）k=O（S）d1-α4]

（17） 停機(jī)條件：若對(duì)于任意輸入[x]，[Ω（RS）]和[Ω（SR）]都是穩(wěn)定的，ART2系統(tǒng)停止運(yùn)行；否則刪除輸入模式，RL中所有被抑制的反應(yīng)神經(jīng)元恢復(fù)起始，重置短時(shí)記憶[OR=0]和[OS=0]，重置計(jì)數(shù)器[C=0]。

2 改進(jìn)的ART2神經(jīng)網(wǎng)絡(luò)

在上述傳統(tǒng)的ART2神經(jīng)網(wǎng)絡(luò)算法中對(duì)于警戒值[ρ]的選擇是根據(jù)經(jīng)驗(yàn)所得，這里提出了一種在神經(jīng)網(wǎng)絡(luò)計(jì)算前對(duì)[ρ]的選取算法。同時(shí)為了解決模式漂移的問(wèn)題，對(duì)ART2神經(jīng)網(wǎng)絡(luò)中F2至p層和p層至F2層的權(quán)值進(jìn)行修改，減緩學(xué)習(xí)速率，從而可以有效地減少模式漂移帶來(lái)的誤差[7]。

2.1 具體算法描述

（1） 設(shè)置警戒參數(shù)初值ρ，開(kāi)始設(shè)置接近l，在初始聚類(lèi)時(shí)，對(duì)于接近的輸人向量也會(huì)在這個(gè)過(guò)程進(jìn)行融合，每個(gè)差異較大的輸入向量就會(huì)產(chǎn)生一個(gè)類(lèi)別。

（2） 由于ART2模型的輸出端是一維陣列，可按神經(jīng)元模值將神經(jīng)元放置在x軸上，以模值大小順序?qū)敵鰧由窠?jīng)元的位置進(jìn)行重新排列，以模值為判斷依據(jù)，同時(shí)對(duì)自頂向下和自低向上權(quán)重矩陣進(jìn)行調(diào)整。

（3） 在解決漂移模式問(wèn)題中，模式漂移現(xiàn)象主要

原因是權(quán)值的修正方法不準(zhǔn)確引起的，在傳統(tǒng)的ART2算法中，權(quán)值修正公式在每次輸入模式結(jié)束時(shí)，權(quán)值都近似等于[O（S）d1-α4]，在學(xué)習(xí)新的模式之后容易遺忘已經(jīng)學(xué)過(guò)的輸入模式，權(quán)值總是向當(dāng)前的輸入數(shù)據(jù)靠近。所以對(duì)ART2神經(jīng)網(wǎng)絡(luò)中F2至p層和p層至F2層的權(quán)值進(jìn)行修改，減緩學(xué)習(xí)速率，修正后的權(quán)值為：

從F2層到p層的權(quán)值為：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]；

從p層到F2層的權(quán)值為：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]；

2.2 具體算法步驟

加入警戒值選擇和權(quán)值修改后的改進(jìn)ART2神經(jīng)網(wǎng)絡(luò)算法如下：

（1） ρ=ρ-del ；del為警戒參數(shù)遞減值；

（2） 將第k次迭代神經(jīng)網(wǎng)絡(luò)輸出層的每一個(gè)神經(jīng)元代表的類(lèi)別向量組成第k+1次迭代神經(jīng)網(wǎng)絡(luò)的輸入向量樣本集X（k+1）；

（3） 按序輸入X（k）樣本集中每個(gè)向量，訓(xùn)練的算法按照步驟（4）整個(gè)過(guò)程；

（4） 在傳統(tǒng)ART2神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的對(duì)步驟（15），步驟（16）進(jìn)行修改如下：

步驟（15） 前饋學(xué)習(xí)：更新前饋?zhàn)赃m應(yīng)聯(lián)結(jié)關(guān)系[Ω（SR）]的權(quán)值：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]

步驟（16） 反饋學(xué)習(xí)：更新反饋?zhàn)赃m應(yīng)聯(lián)結(jié)關(guān)系[Ω（RS）]的權(quán)值：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]停機(jī)條件不變。

3 實(shí)驗(yàn)及其結(jié)果分析

為了驗(yàn)證算法改進(jìn)后的分類(lèi)效果，對(duì)傳統(tǒng)ART?2神經(jīng)網(wǎng)絡(luò)算法和改進(jìn)后的算法進(jìn)行了實(shí)驗(yàn)比較[8?10]。本文采用實(shí)際數(shù)據(jù)做為測(cè)試數(shù)據(jù)。實(shí)際數(shù)據(jù)采用來(lái)自美國(guó)加州Irvine大學(xué)信息與計(jì)算機(jī)科學(xué)系中所提供的Glass數(shù)據(jù)。Glass數(shù)據(jù)是在記錄玻璃所包含的化學(xué)元素情況，記錄中包含了處理過(guò)與非處理過(guò)的建筑用窗戶(hù)、處理過(guò)與非處理過(guò)的貨車(chē)窗戶(hù)、容器、餐具以及車(chē)燈共7種類(lèi)別，而在G1ass數(shù)據(jù)中則有9種不同的化學(xué)元素，分別是鋯、鈉、鎂、鋁、硅、鉀、鈣、鋇、鐵九種屬性，Glass數(shù)據(jù)集一共是214組。在不同用途的玻璃中化學(xué)元素的含量不同，如表1所示。

表1 不同用途的玻璃中化學(xué)元素的含量

在進(jìn)行ART2神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)候，對(duì)于參數(shù)設(shè)為ρ=0.95，a=10，b=10，c=0.1，d=0.9，del=0.01。將神經(jīng)網(wǎng)絡(luò)程序運(yùn)行結(jié)果， 與數(shù)據(jù)集中正確分類(lèi)進(jìn)行對(duì)比之后，發(fā)現(xiàn)以前ART2網(wǎng)絡(luò)由于模式漂移和警戒參數(shù)人工設(shè)置問(wèn)題設(shè)置產(chǎn)生了10個(gè)分類(lèi)，產(chǎn)生了較大分錯(cuò)率。由改進(jìn)的ART2網(wǎng)絡(luò)下運(yùn)行結(jié)果顯示降低了這些問(wèn)題的影響，只產(chǎn)生了8個(gè)分類(lèi)，而且在每一類(lèi)的分類(lèi)中，改進(jìn)后的神經(jīng)網(wǎng)絡(luò)可以更好地對(duì)每一組數(shù)據(jù)進(jìn)行正確的分類(lèi)。如表2所示。

表2 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和改進(jìn)后神經(jīng)網(wǎng)絡(luò)的分類(lèi)比較

4 結(jié) 語(yǔ)

針對(duì)本文中摘要提出的警戒值選取問(wèn)題，在改進(jìn)的ART2神經(jīng)網(wǎng)絡(luò)聚類(lèi)算法中，利用以前警戒參數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)結(jié)果的基礎(chǔ)上迭代，改變了神經(jīng)網(wǎng)絡(luò)主觀設(shè)定警戒參數(shù)的問(wèn)題。針對(duì)模式漂移的問(wèn)題，通過(guò)改進(jìn)聯(lián)結(jié)權(quán)值，使改進(jìn)后的ART2神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)減慢了學(xué)習(xí)速率，近而降低了模式漂移的速度。實(shí)驗(yàn)證明，在改進(jìn)選取警戒值和對(duì)聯(lián)結(jié)權(quán)值修改后的ART2神經(jīng)網(wǎng)絡(luò)更好地實(shí)現(xiàn)了聚類(lèi)分類(lèi)，同時(shí)提高了模式識(shí)別的精度。

參考文獻(xiàn)

[1] 陳國(guó)燦，高茂庭.ATR2神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)[J].計(jì)算機(jī)工程與應(yīng)用，2013（4）：2?3.

[2] 沈艷超，葉青.車(chē)輛特征提取和分類(lèi)方法的研究[D].長(zhǎng)沙：長(zhǎng)沙理工大學(xué)，2010.

[3] 阮曉剛.神經(jīng)計(jì)算科學(xué)[M].北京：國(guó)防工業(yè)出版社，2006.

[4] CARPENTER G A， GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics， 1987， 26（l）： 4920?4927.

[5] 錢(qián)曉東，王正歐.基于算法改進(jìn)的ART2數(shù)據(jù)聚類(lèi)方法研究[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2006（9）：1549?1553.

[6] 錢(qián)曉東，王正歐.基于神經(jīng)網(wǎng)絡(luò)等技術(shù)的數(shù)據(jù)與文本聚分類(lèi)研究[D].天津：天津大學(xué)，2005.

[7] 譚錦華，鄺獻(xiàn)濤.基于ART2神經(jīng)網(wǎng)絡(luò)與動(dòng)態(tài)聚類(lèi)的分類(lèi)器[J].控制工程，2005（z1）：68?70.

[8] 姚光順.ART?2神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)及其改進(jìn)[J].儀器儀表用戶(hù)，2008（2）：117?118.

第7篇：神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵字：神經(jīng)網(wǎng)絡(luò)；粒子群；信息共享；全局搜索；尋優(yōu)

中圖法分類(lèi)號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-2163（2015）03-

Self-discipline Neural Network Equalization Algorithm Based on the Particle Swarm

ZHAO Huiqing

（Department of Information Science，Xinhua College of Sun Yat-sen University，Guangzhou 510520，China）

Abstract： Existing neural network has a large network error. In response to this problem， the paper puts forward self-discipline neural network equalization algorithm based on the particle swarm. The effect on neural network optimization is realized according to the information sharing and global search feature of particle swarm. And in order to maintain good accuracy， appropriate network constraints are also imposed. The results show that the experiment results are basically consistent with the expected results. It can maintain good accuracy at different channel.

Keywords： Neural Network； Particle Swarm； Information Sharing； Global Search； Optimization

0 引言

從20 世紀(jì) 80 年代中期以來(lái)，神經(jīng)網(wǎng)絡(luò)以其好的自組織與自學(xué)習(xí)的獨(dú)特優(yōu)勢(shì)，現(xiàn)已廣泛地應(yīng)用于通信領(lǐng)域[1-3]。但通過(guò)研究現(xiàn)有的神經(jīng)網(wǎng)絡(luò)則不難發(fā)現(xiàn)，該系統(tǒng)在實(shí)際運(yùn)用中過(guò)度依賴(lài)于訓(xùn)練算法與初始權(quán)值，從而導(dǎo)致算法陷入了局部的最優(yōu)化；為此，人們提出了許多解決方案[4-7]。其中，基于粒子群優(yōu)化算法的神經(jīng)網(wǎng)絡(luò)算法尤為突出；算法通過(guò)結(jié)合群體中粒子間的合作與競(jìng)爭(zhēng)關(guān)系，來(lái)促使網(wǎng)絡(luò)群體的智能尋優(yōu)；這在很大程度上解決了算法的局部最優(yōu)化問(wèn)題[8-9]。但在實(shí)際的運(yùn)用過(guò)程中，又進(jìn)一步發(fā)現(xiàn)，算法依然存在需要改進(jìn)的地方，即網(wǎng)絡(luò)的適用性較小且精度不高等問(wèn)題。

為此，本文提出了一種具有自我約束能力的粒子群神經(jīng)網(wǎng)絡(luò)均衡算法。算法依據(jù)神經(jīng)網(wǎng)絡(luò)與粒子群算法的特點(diǎn)[10]，將神經(jīng)網(wǎng)絡(luò)算法與粒子群算法有機(jī)地結(jié)合在一起，并通過(guò)兩者間的互補(bǔ)，來(lái)提高網(wǎng)絡(luò)的整體效率。研究中為了避免算法出現(xiàn)局部最優(yōu)化問(wèn)題，本文對(duì)網(wǎng)絡(luò)中的搜索粒子進(jìn)行了速度的約束；而后，為保證算法的穩(wěn)定性與精確性，又對(duì)網(wǎng)絡(luò)的搜索進(jìn)行了約束，由此而保障每一網(wǎng)絡(luò)路徑的有效暢通。經(jīng)由仿真實(shí)驗(yàn)，該算法能夠獲得相比其他算法更高的精度，且其實(shí)際應(yīng)用性也更強(qiáng)。

1. 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)通過(guò)模仿動(dòng)物的行為特征，進(jìn)而實(shí)現(xiàn)分布式并行信息處理；這一方法有效地解決了網(wǎng)絡(luò)的信息傳輸問(wèn)題，通過(guò)依靠網(wǎng)絡(luò)系統(tǒng)的復(fù)雜程度與各節(jié)點(diǎn)的連通性，實(shí)現(xiàn)了大量數(shù)據(jù)的傳輸問(wèn)題[11]。其中，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)大致可以分為三層，即輸入層，隱含層以及輸出層。

假設(shè) 為輸入層到隱層的連接權(quán)重， 為隱層到輸出層的連接權(quán)重，其中 ， 。其數(shù)據(jù)傳輸原理與結(jié)構(gòu)圖如圖1所示。

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig.1 Neural network structure diagram

在圖1的神經(jīng)網(wǎng)絡(luò)中，隱層函數(shù)如式（1）所示：

（1）

輸出層函數(shù)如式（2）所示：

（2）

其中， 為隱層的輸入，而 為隱層的輸出； 為輸出層的輸入，而 為輸出層的輸出。 表示輸出層的輸入與輸出間的傳遞函數(shù)，而 表示隱層的輸入信號(hào)進(jìn)行的小波變換。

2粒子群優(yōu)化的網(wǎng)絡(luò)均衡處理

2.1 初始化

初始化粒子在當(dāng)前網(wǎng)絡(luò)中的所在位置，令其在最初就以隨機(jī)分布的方向進(jìn)行定義，即 ，其中每個(gè)隨機(jī)產(chǎn)生的粒子 都代表一個(gè)均衡器的一個(gè)權(quán)向量。同時(shí)再令初始位置為 ，初始速度為 ；為了便于后文的計(jì)算，在此，定義 為當(dāng)前網(wǎng)絡(luò)中的局部極值；而 則是代表當(dāng)前網(wǎng)絡(luò)中的全局極值。

2.2 速度和位置更新

速度與位置的更新在粒子群優(yōu)化（PSO）算法中是至重要的參數(shù)指標(biāo)項(xiàng)。為此，本文提出一個(gè)局部與全局的最佳粒子的搜索信息傳遞速度與位置更新函數(shù)，如式（3）所示。

（3）

其中， 為粒子速度的n個(gè)維度， 為0到1之間的隨機(jī)數(shù)， 為比例因子，而 、 為局部最佳粒子 與全局最佳粒子 的擴(kuò)展因數(shù)?；诖?，為了保證其搜索的準(zhǔn)度，對(duì)粒子的速度進(jìn)行了限制，即當(dāng)搜索的粒子速度超過(guò)設(shè)計(jì)的限定速度時(shí)，將對(duì)速度進(jìn)行抑制，其方法的表達(dá)函數(shù)為：

（4）

2.3 網(wǎng)絡(luò)的約束

本文采用網(wǎng)絡(luò)的覆蓋概率和寬度間隔對(duì)當(dāng)前網(wǎng)絡(luò)進(jìn)行評(píng)價(jià)，具體求取方式論述如下。

2.3.1區(qū)間的覆蓋概率

網(wǎng)絡(luò)的覆蓋概率（ ）是衡量網(wǎng)絡(luò)適應(yīng)與否的指標(biāo)， 可做如下定義：

（5）

其中，m×n是樣品數(shù)量；當(dāng) ，目標(biāo) ；其他的情況下， ，而 、 則為目標(biāo)的最小值與最大值。

2.3.2 區(qū)間的寬度間隔

在時(shí)間間隔寬度足夠長(zhǎng)的情況下，網(wǎng)絡(luò)的覆蓋概率會(huì)較少。但如果其間隔過(guò)寬，卻又會(huì)導(dǎo)致資源的浪費(fèi)，為此，本文對(duì)預(yù)測(cè)區(qū)間內(nèi)的寬度間隔進(jìn)行定義，計(jì)算公式如下：

（6）

其中，R為潛在目標(biāo)的范圍。

而對(duì)于方根誤差，本文則是用于評(píng)價(jià)器成功演繹訓(xùn)練來(lái)的指標(biāo)，通過(guò)對(duì)預(yù)測(cè)區(qū)間內(nèi)歸一化的方根寬度進(jìn)行定義，來(lái)提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練的效果，其定義函數(shù)如下。

（7）

2.3.3 約束條件

在實(shí)際的運(yùn)用中，上述提及的覆蓋概率與寬度間隔存在一定的矛盾關(guān)聯(lián)，為此需要進(jìn)行制衡匹配，來(lái)提高網(wǎng)絡(luò)的整體處理效果。本文中，使用的寬度標(biāo)準(zhǔn)如下所示。

（8）

其中，訓(xùn)練滿(mǎn)足 ；但作為測(cè)試樣品時(shí)， 為階躍函數(shù)，并需滿(mǎn)足如下條件。

其中， 、 皆為常數(shù)，用于懲罰網(wǎng)絡(luò)覆蓋現(xiàn)象的發(fā)生。

3仿真算法

為驗(yàn)證算法的可行性，本文在Matlab 2014a 軟件環(huán)境下進(jìn)行測(cè)試，并進(jìn)行了多組實(shí)驗(yàn)。實(shí)驗(yàn)中選用的對(duì)比算法有傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法與文獻(xiàn)[12]中的算法；同時(shí)又選用兩種不同的信道進(jìn)行測(cè)試，具體傳輸函數(shù)如下所示。

電話(huà)信道：

普通信道：

為檢驗(yàn)算法的精度，本文選用誤碼率進(jìn)行算法的評(píng)價(jià)，通過(guò)采用上述指定的算法進(jìn)行測(cè)試，測(cè)試中以正方形曲線(xiàn)代表傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法，圓形曲線(xiàn)代表文獻(xiàn)算法，而三角形圖像代表本文算法。實(shí)驗(yàn)仿真結(jié)果如圖2、圖3所示。

圖2電話(huà)信道下的誤碼率

Fig.2 Bit error rate in telephone channel

圖3 普通信道下的誤碼率

Fig.3 Bit error rate under common channel

由圖2、圖3可看到，在兩種不同的信道下，本文算法的誤碼率曲線(xiàn)始終保持在另外兩種算法的下方；其中在電話(huà)信道下，本文算法隨著信噪比的不斷增強(qiáng)的影響，其誤碼率減少為了、最大；而在普通信道下，本文算法與文獻(xiàn)算法所測(cè)誤碼率相接近，但本文算法始終保持在其下方。由仿真測(cè)試可知，測(cè)試過(guò)程有效證明了算法精度，且與其他算法相比更加適用于信道較復(fù)雜的網(wǎng)絡(luò)。

4 結(jié)束語(yǔ)

提出了一種提升網(wǎng)絡(luò)精度的神經(jīng)網(wǎng)絡(luò)均衡算法，該算法通過(guò)結(jié)合粒子群的特性，利用粒子的速度來(lái)避免粒子速度過(guò)大的造成的數(shù)據(jù)丟失現(xiàn)象；最后，根據(jù)網(wǎng)絡(luò)的區(qū)間覆蓋率與間隔寬度等條件對(duì)網(wǎng)絡(luò)進(jìn)行尋優(yōu)約束；經(jīng)實(shí)驗(yàn)驗(yàn)證，該算法具有較好的搜索精度，但在算法的搜索效率方面仍有較大的提升空間，這將作為下一步的研究方向，用于開(kāi)展深入研究。

參考文獻(xiàn)

[1]RICHARDSON F， REYNOLDS D， DEHAK N. Deep Neural Network approaches to speaker and language recognition[J]. IEEE SIGNAL PROCESSING LETTERS，2015，22（10）： 1671-1675.

[2]WANG L B， MENG Z， SUN Y Z， et al. Design and analysis of a novel chaotic diagonal recurrent neural network[J]. COMMUNICATIONS IN NONLINEAR SCIENCE AND NUMERICAL SIMULATION， 2015，26（1-3）： 11-23.

[3]ZHOU X H， ZHOU W N， YANG J， et al. A novel scheme for synchronization control of stochastic neural networks with multiple time-varying delays[J]. NEUROCOMPUTING，2015，159： 50-57.

[4]SONG Q K， ZHAO Z J， LIU Y R. Stability analysis of complex-valued neural networks with probabilistic time-varying delays[J]. NEUROCOMPUTING， 2015，159： 96-104.

[5]LIU H， BAN X J. Clustering by growing incremental self-organizing neural network[J]. EXPERT SYSTEMS WITH APPLICATIONS， 2015，42（11）： 4965-4981.

[6]JIANG M H， MEI J， HU J H. New results on exponential synchronization of memristor-based chaotic neural networks[J]. NEUROCOMPUTING， 2015，156： 60-67.

[7]XIONG T， BAO Y K， HU Z Y， et al. Forecasting interval time series using a fully complex-valued RBF neural network with DPSO and PSO algorithms[J]. INFORMATION SCIENCES， 2015，305： 77-92.

[8]AGRAWAL R K， BAWANE N G. Multiobjective PSO based adaption of neural network topology for pixel classification in satellite imagery[J]. APPLIED SOFT COMPUTING，2015，28： 217-225.

[9]KRZYSZTOF P， ARKADIUSZ L. Encoding symbolic features in simple decision systems over ontological graphs for PSO and neural network based classifiers[J]. NEUROCOMPUTING， 2014，144： 338-345

[10]TU J J， ZHAN Y Z， HAN F. Radial basis function Neural Network optimized by Particle Swarm Optimization Algorithm coupling with prior information[J]. JOURNAL OF COMPUTATIONAL AND THEORETICAL NANOSCIENCE，2013，10（12）： 2866-2871.

第8篇：神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞 粒子群優(yōu)化算法;神經(jīng)網(wǎng)絡(luò);人工生命;群智能

1 引言

許多群體生物的自適應(yīng)優(yōu)化現(xiàn)象不斷給人類(lèi)以啟示,群居生物的群體行為使許多在人類(lèi)看起來(lái)高度復(fù)雜的問(wèn)題得到了完美的解決。自然界那些群居生物表現(xiàn)出來(lái)的智能讓人驚嘆不已,比如蜜蜂建造的巢穴結(jié)構(gòu)龐大、復(fù)雜而精美;螞蟻能夠完成覓食、清掃、搬運(yùn)等高效的工作等等。這種生物群體行為的奇妙之處在于個(gè)體都很簡(jiǎn)單,但他們卻能協(xié)同工作,依靠群體的能力,發(fā)揮超出個(gè)體的智能,表現(xiàn)出極其復(fù)雜而有序的行為。這些奇妙的現(xiàn)象吸引著越來(lái)越多的學(xué)者進(jìn)入到這個(gè)領(lǐng)域,研究這些簡(jiǎn)單的個(gè)體如何通過(guò)協(xié)作涌現(xiàn)出如此復(fù)雜而奇妙行為,通過(guò)計(jì)算機(jī)模擬來(lái)探索其中的可循規(guī)律,用于指導(dǎo)并解決一些常規(guī)方法沒(méi)有解決的傳統(tǒng)問(wèn)題以及實(shí)際應(yīng)用中出現(xiàn)的新問(wèn)題 [1-3] 。這些研究孕育并產(chǎn)生了一門(mén)新興的學(xué)科領(lǐng)域:群體智能(Swarm Intelligence)[1]。優(yōu)化技術(shù)是一種以各種形式的數(shù)學(xué)處理方法為基礎(chǔ),用于求解各種工程問(wèn)題優(yōu)化解的應(yīng)用技術(shù),在諸多工程領(lǐng)域得到普遍的應(yīng)用。鑒于實(shí)際工程問(wèn)題的復(fù)雜性、約束性、非線(xiàn)性、多局部極小和建模困難等特點(diǎn),尋找各種適合于工程實(shí)踐需求的新型智能優(yōu)化方法一直是許多學(xué)科的一個(gè)重要研究方向。群體智能作為一種新興的智能計(jì)算技術(shù)已成為越來(lái)越多研究者的關(guān)注焦點(diǎn),它與人工生命,特別是進(jìn)化策略以及遺傳算法有著特殊的聯(lián)系。群體智能使得在沒(méi)有集中控制且不提供全局模型的前提下,為尋找復(fù)雜的分布式問(wèn)題的解決方案提供了基礎(chǔ)。

2 PSO的產(chǎn)生與發(fā)展 2.1 微粒群算法的起源

微粒群算法[2]最初是為了圖形化地模擬鳥(niǎo)群優(yōu)美而不可預(yù)測(cè)的運(yùn)動(dòng)。自然界中,鳥(niǎo)群運(yùn)動(dòng)的主體是離散的,其排列看起來(lái)是隨機(jī)的,但整體的運(yùn)動(dòng)卻使它們保持著驚人的同步性,個(gè)體運(yùn)動(dòng)非常流暢而極富美感。研究者對(duì)鳥(niǎo)群的運(yùn)動(dòng)進(jìn)行了計(jì)算機(jī)仿真,他們通過(guò)對(duì)個(gè)體設(shè)定簡(jiǎn)單的運(yùn)動(dòng)規(guī)則,來(lái)模擬鳥(niǎo)群整體的復(fù)雜行為。例如,1986年Craig Reynolds提出了Boid模型用以模擬鳥(niǎo)類(lèi)聚集飛行的行為,通過(guò)對(duì)現(xiàn)實(shí)世界中這些群體運(yùn)動(dòng)的觀察在計(jì)算機(jī)中復(fù)制重建這些運(yùn)動(dòng)軌跡,并對(duì)這些運(yùn)動(dòng)進(jìn)行抽象建模以發(fā)現(xiàn)新的運(yùn)動(dòng)模式。上述模型關(guān)鍵在于對(duì)個(gè)體間距離的操作,即群體行為的同步性在于個(gè)體努力維持自身與鄰居之間的距離為最優(yōu),為此每個(gè)個(gè)體必須知道自身位置和鄰居的信息。生物社會(huì)學(xué)家Wilson E.O.認(rèn)為 “至少?gòu)睦碚撋?在搜索食物的過(guò)程中群體中的個(gè)體成員可以得益于所有其它成員的發(fā)現(xiàn)和先前的經(jīng)歷。當(dāng)食物源不可預(yù)測(cè)地零星分布時(shí),這種協(xié)作帶來(lái)的優(yōu)勢(shì)是決定性的,遠(yuǎn)大于對(duì)食物的競(jìng)爭(zhēng)帶來(lái)的劣勢(shì)。”以上兩例說(shuō)明,群體中個(gè)體之間信息的社會(huì)共享有助于進(jìn)化。受上述鳥(niǎo)群運(yùn)動(dòng)模型的影響,社會(huì)心理學(xué)博士JamesK Ennedy和電子工程學(xué)博士Russell Eberhart于1995年提出了微粒群算法,微粒群算法是一種演化計(jì)算技術(shù),在算法中,將鳥(niǎo)群運(yùn)動(dòng)模型中的棲息地類(lèi)比于所求問(wèn)題解空間中可能解的位置,通過(guò)個(gè)體間的信息傳遞,導(dǎo)引整個(gè)群體向可能解的方向移動(dòng),增加發(fā)現(xiàn)較好解的可能性。群體中的鳥(niǎo)被抽象為沒(méi)有質(zhì)量和體積的“微?！?通過(guò)這些“微粒”的相互協(xié)作和信息共享,其運(yùn)動(dòng)速度受到自身和群體的歷史運(yùn)動(dòng)狀態(tài)信息影響,以自身和群體的歷史最優(yōu)位置來(lái)對(duì)微粒當(dāng)前的運(yùn)動(dòng)方向和運(yùn)動(dòng)速度加以影響,較好地協(xié)調(diào)微粒本身和群體運(yùn)動(dòng)之間的關(guān)系,在復(fù)雜的解空間中尋找最優(yōu)解。

2.2 微粒群算法的發(fā)展

微粒群算法自提出以來(lái),已經(jīng)歷了許多變形和改進(jìn)。包括數(shù)學(xué)家、工程師、物理學(xué)家、生物化學(xué)家以及心理學(xué)家在內(nèi)的研究者對(duì)它進(jìn)行分析和實(shí)驗(yàn)。到目前為止,國(guó)內(nèi)外的研究者對(duì)微粒群算法的研究與發(fā)展,可以歸納為以下幾個(gè)方面:[3]

(1) 參數(shù)選擇與設(shè)計(jì):在微粒群算法中存在幾個(gè)顯參數(shù)和隱參數(shù),它們的值可被調(diào)整,以產(chǎn)生算法搜索問(wèn)題空間的方式的變化。

(2) 種群拓?fù)浣Y(jié)構(gòu):從19世紀(jì)40年代起的研究已經(jīng)表明,組內(nèi)的交流及最終組的性能要受社會(huì)網(wǎng)絡(luò)結(jié)構(gòu)的影響。于是,微粒群研究者提出了幾種簡(jiǎn)單的社會(huì)結(jié)構(gòu),并對(duì)幾種種群結(jié)構(gòu)模型進(jìn)行了分析與比較。全局最優(yōu)模型(Gbest)和局部最優(yōu)模型(Lbest) 是最常見(jiàn)的兩種類(lèi)型。

(3) 群體組織與進(jìn)化[4]:社會(huì)心理學(xué)研究表明。人們的態(tài)度、信仰和行為傾向于朝同伴的方向變化,他們會(huì)根據(jù)自己所處群體的規(guī)范選擇自己的意見(jiàn)和行為,受此啟發(fā),提出用簇來(lái)表示群體中的子種群,用簇中心代替最優(yōu)值的算法模式。此外,為了保證群體的多樣性,研究者將變異、繁殖和差異進(jìn)化等思想引入微粒群,并提出了很多改進(jìn)算法模式。

(4) 混合微粒群算法:將進(jìn)化計(jì)算中的選擇、交叉和變異等特性、混沌、免疫系統(tǒng)的免疫信息處理機(jī)制以及熱力學(xué)中熵的概念等與微粒群算法中的尋優(yōu)機(jī)制相結(jié)合,提出了相應(yīng)的混合算法。

(5) 離散微粒群算法:微粒群算法最初是用來(lái)對(duì)連續(xù)函數(shù)進(jìn)行優(yōu)化的。而實(shí)際中許多問(wèn)題是組合優(yōu)化問(wèn)題,因此,Kennedy和Eberhart博士在基本算法的基礎(chǔ)上提出了一種離散二進(jìn)制決策模型。

3 PSO的基本原理

PSO算法不像遺傳算法那樣對(duì)個(gè)體進(jìn)行選擇、交叉和變異操作,而是將群體中的每個(gè)個(gè)體視為多維搜索空間中一個(gè)沒(méi)有質(zhì)量和體積的粒子(點(diǎn)),這些粒子在搜索空間中以一定的速度飛行,并根據(jù)粒子本身的飛行經(jīng)驗(yàn)以及同伴的飛行經(jīng)驗(yàn)對(duì)自己的飛行速度進(jìn)行動(dòng)態(tài)調(diào)整,即每個(gè)粒子通過(guò)統(tǒng)計(jì)迭代過(guò)程中自身的最優(yōu)值和群體的最優(yōu)值來(lái)不斷地修正自己的前進(jìn)方向和速度大小,從而形成群體尋優(yōu)的正反饋機(jī)制。PSO算法就是這樣依據(jù)每個(gè)粒子對(duì)環(huán)境的適應(yīng)度將個(gè)體逐步移到較優(yōu)的區(qū)域,并最終搜索、尋找到問(wèn)題的最優(yōu)解。設(shè)在一個(gè)d維的目標(biāo)搜索空間中,有m個(gè)粒子組成一個(gè)群體,其中,在第t次迭代時(shí)粒子i的位置表示為Xi(t)=(xi1(t),xi2(t),...,xid(t)),相應(yīng)的飛行速度表示為Vi(t)

=(vi2(t),vi2(t), ...,vid(t))。開(kāi)始執(zhí)行PSO算法時(shí),首先隨機(jī)初始化m個(gè)粒子的位置和速度,然后通過(guò)迭代尋找最優(yōu)解,在每一次迭代中,粒子通過(guò)跟蹤兩個(gè)極值來(lái)更新自己的速度和位置:一個(gè)極值是粒子本身迄今搜索到的最優(yōu)解,稱(chēng)為個(gè)體極值,表示為Pi(t)=(pi1(t),pi2(t),...,pid (t));另一個(gè)極值是整個(gè)粒子群到目前為止找到的最優(yōu)解,稱(chēng)為全局極值,表示為Pg(t)=(pg1 (t),pg2(t),...,pgd(t))。在第(t+1)次迭代計(jì)算時(shí),粒子i根據(jù)下列規(guī)則來(lái)更新自己的速度和位置[5]:

Vik(t+l)=ωVik(t)+c1randl(Pik(t)-Xik(t))+c2rand2(Pgk(t)-Xik(t)) (1)

Xik(t+l)=Xik(t)+Vik(t+l) (2)

式中ω為慣性權(quán)重,ω取大值可使算法具有較強(qiáng)的全局搜索能力,ω取小值則算法傾向于局部搜索。一般的做法是將ω初始取0.9并使其隨迭代次數(shù)的增加而線(xiàn)性遞減至0.4,這樣就可以先側(cè)重于全局搜索,使搜索空間快速收斂于某一區(qū)域,然后采用局部精細(xì)搜索以獲得高精度的解;c1,c2為兩個(gè)學(xué)習(xí)因子,一般取為2;randl和rand2為兩個(gè)均勻分布在(0,l)之間的隨機(jī)數(shù);i=1,2,?,m; k=1,2,?,d。另外,粒子在每一維的速度Vi都被一個(gè)最大速度Vmax所限制。如果當(dāng)前粒子的加速度導(dǎo)致它在某一維的速度超過(guò)該維上的最大速度Vmax,則該維的速度被限制為最大速度。

4 PSO在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用

科學(xué)研究與工程實(shí)踐中有一些多目標(biāo)優(yōu)化問(wèn)題[5](Multi - objective Optimization Problems, MOPs)通常難以處理,實(shí)際問(wèn)題常由多個(gè)相互沖突的指標(biāo)組成,問(wèn)題的解一般不是單個(gè)的最優(yōu)解,而是一組非劣解,因而采用傳統(tǒng)多目標(biāo)優(yōu)化方法通常無(wú)法解決。由于PSO算法的生命力在于工程應(yīng)用,為此開(kāi)拓新的PSO算法的應(yīng)用領(lǐng)域特別是在解決多目標(biāo)優(yōu)化問(wèn)題上是一項(xiàng)很有意義的工作。

4.1 神經(jīng)網(wǎng)絡(luò)訓(xùn)練

PSO用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中[6],主要包含3個(gè)方面:連接權(quán)重、網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)及傳遞函數(shù)、學(xué)習(xí)算法。各粒子包含神經(jīng)網(wǎng)絡(luò)的所有參數(shù),通過(guò)迭代來(lái)優(yōu)化這些參數(shù),從而達(dá)到訓(xùn)練的目的。與BP 算法相比,使用PSO訓(xùn)練神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)在于不使用梯度信息,可使用一些不可微的傳遞函數(shù)。多數(shù)情況下其訓(xùn)練結(jié)果優(yōu)于BP 算法,而且訓(xùn)練速度非?？?。

PSO訓(xùn)練神經(jīng)網(wǎng)絡(luò)的流程圖

4. 2 參數(shù)優(yōu)化

PSO已廣泛應(yīng)用于各類(lèi)連續(xù)問(wèn)題和離散問(wèn)題的參數(shù)優(yōu)化。例如,在模糊控制器的設(shè)計(jì)、機(jī)器人路徑規(guī)劃、信號(hào)處理和模式識(shí)別等問(wèn)題上均取得了不錯(cuò)的效果。

4. 3 組合優(yōu)化

許多組合優(yōu)化問(wèn)題中存在序結(jié)構(gòu)如何表達(dá)以及約束條件如何處理等問(wèn)題,離散二進(jìn)制版PSO不能完全適用。研究者們根據(jù)問(wèn)題的不同,提出了相應(yīng)問(wèn)題的粒子表達(dá)方式,或通過(guò)“+ ”和“×”算子來(lái)解決不同問(wèn)題。目前,已提出了多種解決TSP、VRP、網(wǎng)絡(luò)路由選擇以及車(chē)間作業(yè)調(diào)度等問(wèn)題的方案。

4. 4 其它應(yīng)用

除了以上領(lǐng)域外, PSO在電力系統(tǒng)、集成電路設(shè)計(jì)、多目標(biāo)優(yōu)化、自動(dòng)目標(biāo)檢測(cè)、生物信號(hào)識(shí)別、智能決策調(diào)度、模糊系統(tǒng)辨識(shí)、計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)輔助設(shè)計(jì)以及游戲訓(xùn)練等方面也取得了一定的成果。特別在材料學(xué)中的應(yīng)用將是現(xiàn)在及未來(lái)大多數(shù)研究者們感興趣的方向,如磨具配方,各種材料的診斷等[7]。

5 未來(lái)的研究及對(duì)PSO的展望

PSO算法是一個(gè)新的基于群體智能的進(jìn)化算法,其研究剛剛開(kāi)始,遠(yuǎn)沒(méi)有像遺傳算法和模擬退火算法那樣形成系統(tǒng)的分析方法和一定的數(shù)學(xué)基礎(chǔ),有許多問(wèn)題還需要進(jìn)一步研究。

? (1) 算法分析與應(yīng)用。PSO在實(shí)際應(yīng)用中被證明是有效的, 但目前還沒(méi)有給出收斂性、收斂速度估計(jì)等方面的數(shù)學(xué)證明,已有的工作還遠(yuǎn)遠(yuǎn)不夠。

(2) 適用范圍。PSO算法應(yīng)用得最成功的是在進(jìn)化神經(jīng)網(wǎng)絡(luò)方面,其它的一些應(yīng)用許多還停留在研究階段。

(3) 粒子群拓?fù)浣Y(jié)構(gòu)。不同的粒子群鄰居拓?fù)浣Y(jié)構(gòu)是對(duì)不同類(lèi)型社會(huì)的模擬,研究不同拓?fù)浣Y(jié)構(gòu)的適用范圍,對(duì)PSO算法推廣和使用有重要意義。

(4) 參數(shù)選擇與優(yōu)化。PSO算法中參數(shù)的選擇依賴(lài)于具體問(wèn)題,設(shè)計(jì)合適的參數(shù)需要經(jīng)過(guò)多次試驗(yàn)。研究如何選擇和設(shè)計(jì)參數(shù),使其減少對(duì)具體問(wèn)題的依賴(lài),也將大大促進(jìn)PSO算法的發(fā)展和應(yīng)用。

(5) 與其它演化計(jì)算的融合。如何將其它演化的優(yōu)點(diǎn)和PSO的優(yōu)點(diǎn)相結(jié)合,構(gòu)造出有特色有實(shí)用價(jià)值的混合算法是當(dāng)前算法改進(jìn)的一個(gè)重要方向。

參考文獻(xiàn)

[1] 高 尚,楊靜宇. 群智能算法及其應(yīng)用.中國(guó)水利水電出版社,2006.

[2] 楊 維, 李歧強(qiáng). 粒子群優(yōu)化算法綜述[J].中國(guó)工程科學(xué),2004(6):87-94.

YANG Wei, LI Qi2qiang.Survey on particle swarm optimization algorithm [J]. Engineering Science, 2004(6): 87-94.

[3]李?lèi)?ài)國(guó), 覃 征, 鮑復(fù)民等. 粒子群優(yōu)化算法[J ].計(jì)算機(jī)工程應(yīng)用,2002(3) :1-3.

LI Aiguo, QIN Zheng, BAO Fumin,etal. Particle swarm op2timization algorithm [J]. Computation Eng Application, 2002(3):1-3.

[4] 王正志,薄 濤. 進(jìn)化算法[M].長(zhǎng)沙:國(guó)防科技大學(xué)出版社,2000.

WANG Z，！hengzhi, BO Tao. Manipulation algorithm [M].Changsha: National University of Defense Technology Publisher Press, 2000.

[5] Shi Y, Eberhart R C. A modified particle swarm optimizer [R] .IEEE International Conference of Evolutionary Computation, Anchorage, Alaska, May 1998.

第9篇：神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：計(jì)算機(jī)網(wǎng)絡(luò)連接；增強(qiáng)優(yōu)化；神經(jīng)網(wǎng)絡(luò)算法

中圖分類(lèi)號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）03-0146-01

在當(dāng)前的社會(huì)中計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)得到了極為快速的發(fā)展，被廣泛的應(yīng)用于人們生活和工作之中，為人們的生活和工作帶來(lái)了許多的方便，成為當(dāng)前社會(huì)中非常重要的一種科學(xué)技術(shù)。雖然從整體上看計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在我國(guó)已經(jīng)取得了較大的發(fā)展，但是我國(guó)在發(fā)展時(shí)間上仍舊較短，其中仍舊存在著較多的問(wèn)題，尤其是在計(jì)算機(jī)網(wǎng)絡(luò)連接上面。因此，針對(duì)這些存在問(wèn)題的地方還需要進(jìn)一步優(yōu)化，為人們提供健康的計(jì)算機(jī)網(wǎng)絡(luò)環(huán)境。

1 計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化

1.1 計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化的重要性

網(wǎng)絡(luò)正常連接對(duì)于計(jì)算機(jī)的運(yùn)行具有很大的作用，是計(jì)算機(jī)運(yùn)行的基本條件。如何使得計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化顯得尤為重要，特別是在現(xiàn)今這個(gè)網(wǎng)絡(luò)飛速發(fā)展的時(shí)代，人們對(duì)網(wǎng)絡(luò)的需求是越來(lái)越大，突然斷網(wǎng)對(duì)于任何人、任何企業(yè)來(lái)說(shuō)，損失都是巨大的。如網(wǎng)絡(luò)連接斷開(kāi)，計(jì)算機(jī)設(shè)備就無(wú)法與通信網(wǎng)絡(luò)展開(kāi)有效信息溝通。正是因?yàn)橐陨线@些情況，所以必須對(duì)計(jì)算機(jī)網(wǎng)絡(luò)連接進(jìn)行優(yōu)化，將計(jì)算機(jī)網(wǎng)絡(luò)不斷拓?fù)鋽U(kuò)展，促使信息交流更加有效于有序，從而有效將損失降低下來(lái)。網(wǎng)絡(luò)技術(shù)發(fā)展到現(xiàn)在，適當(dāng)?shù)丶尤虢Y(jié)點(diǎn)，可將計(jì)算機(jī)網(wǎng)絡(luò)連接有效率不斷完善，網(wǎng)絡(luò)容量也會(huì)在一定程度上得到提高，加強(qiáng)了信息媒介的相互傳播，使原有網(wǎng)絡(luò)得到延伸，在延伸網(wǎng)絡(luò)拓?fù)涞耐瑫r(shí)，也為計(jì)算機(jī)網(wǎng)絡(luò)的正常連接提供了重要的保障。截止到目前為止，提高計(jì)算機(jī)網(wǎng)絡(luò)連接效率的措施非常之多，必須采取適當(dāng)且合理的計(jì)算機(jī)網(wǎng)絡(luò)連接優(yōu)化措施，并且以最小經(jīng)濟(jì)支出增強(qiáng)優(yōu)化神經(jīng)網(wǎng)絡(luò)算法。

1.2 計(jì)算機(jī)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

計(jì)算機(jī)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是一種物理構(gòu)成模式，是由三方面組成，即網(wǎng)絡(luò)計(jì)算機(jī)或網(wǎng)絡(luò)設(shè)備、網(wǎng)絡(luò)傳輸媒介中的結(jié)點(diǎn)和線(xiàn)。計(jì)算機(jī)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的形成和產(chǎn)生與通信子網(wǎng)之間有著密切的聯(lián)系，該結(jié)構(gòu)的形成使得網(wǎng)絡(luò)信息數(shù)據(jù)系統(tǒng)更加的完整、可靠安全，其還包括實(shí)現(xiàn)數(shù)據(jù)內(nèi)容的互換、云共享等功能。一般計(jì)算機(jī)網(wǎng)絡(luò)是用G= 來(lái)表示，其中V是一個(gè)網(wǎng)絡(luò)結(jié)點(diǎn)集，E是一個(gè)鏈路集。如用Va表示增加結(jié)構(gòu)中結(jié)點(diǎn)集，用Eb表示增加結(jié)構(gòu)中連接集，那么就可以得出計(jì)算機(jī)網(wǎng)絡(luò)的結(jié)構(gòu)是：G’=。

2 基于計(jì)算機(jī)網(wǎng)絡(luò)連接優(yōu)化中的神經(jīng)網(wǎng)絡(luò)算法

2.1 神經(jīng)網(wǎng)絡(luò)算法

在思維學(xué)中有著這樣一種看法，大腦思維包括三種基本方式，分別是形象思維、抽象思維與靈感思維。抽象思維是邏輯化的一種思想，形象思維是直觀化的一種思想，靈感思維是頓悟性和創(chuàng)造性的一種思想。神經(jīng)網(wǎng)絡(luò)思維與大腦思維類(lèi)似，其建立在理論實(shí)踐基礎(chǔ)之上，通過(guò)分析總結(jié)，模擬出人類(lèi)的大腦思S，這實(shí)質(zhì)上也可以看作另一種思維表達(dá)方式。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)基于非線(xiàn)性動(dòng)力學(xué)理論的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，其主要特色可以歸結(jié)為兩點(diǎn)：信息存儲(chǔ)的分布式和并行處理的協(xié)同性。通常情況下對(duì)于單個(gè)的神經(jīng)元結(jié)構(gòu)而言是非常簡(jiǎn)單的，這種神經(jīng)元結(jié)構(gòu)的功能也相對(duì)較為簡(jiǎn)單，但如果是網(wǎng)絡(luò)系統(tǒng)由大量神經(jīng)元構(gòu)成，也就是將眾多的簡(jiǎn)單功能組合在一起，可以讓其功能顯得特別的強(qiáng)大，其中的實(shí)現(xiàn)行為也會(huì)變得更加的豐富多彩。如果再在此基礎(chǔ)上配置上合適的網(wǎng)絡(luò)算法和網(wǎng)絡(luò)模型，對(duì)網(wǎng)絡(luò)信號(hào)的正確處理等功能，那么就會(huì)讓該系統(tǒng)實(shí)現(xiàn)智能化。

處于如今這一階段，在社會(huì)中，應(yīng)用人工神經(jīng)網(wǎng)絡(luò)的領(lǐng)域是越來(lái)越廣，可以說(shuō)在實(shí)際生活生產(chǎn)中具有很好的效果。因此，人工網(wǎng)絡(luò)算法也受到了人們的廣泛關(guān)注，隨著社會(huì)經(jīng)濟(jì)的發(fā)展，網(wǎng)絡(luò)算法也再不斷的優(yōu)化中，發(fā)揮著監(jiān)管的作用。也會(huì)影響計(jì)算機(jī)網(wǎng)絡(luò)的連接效果。

2.2 均場(chǎng)神經(jīng)網(wǎng)路算法

在建立科學(xué)合理場(chǎng)均神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，可以有效增強(qiáng)優(yōu)化計(jì)算機(jī)網(wǎng)絡(luò)連接，在已優(yōu)化的網(wǎng)絡(luò)連接中研究均場(chǎng)神經(jīng)網(wǎng)絡(luò)算法，之后就可以對(duì)網(wǎng)絡(luò)效果進(jìn)行相關(guān)評(píng)判。特別注意，采用函數(shù)法來(lái)構(gòu)建相關(guān)模型，最重要的是重視構(gòu)建目標(biāo)函數(shù)工作，在實(shí)際操作時(shí)，可采取以下方式對(duì)模型構(gòu)建進(jìn)行表達(dá)，具體如下：其中用Fi來(lái)表示Hopfield計(jì)算網(wǎng)絡(luò)神經(jīng)元的狀態(tài)，當(dāng)Fi=1，就表示網(wǎng)絡(luò)此時(shí)選擇連接的是i，且可正常進(jìn)行連接；當(dāng)Fi=0，就表示網(wǎng)絡(luò)對(duì)于i沒(méi)有選中，且不能正常進(jìn)行連接。這時(shí)就可利用罰函數(shù)法所構(gòu)建結(jié)構(gòu)來(lái)對(duì)網(wǎng)絡(luò)模型進(jìn)行創(chuàng)建，但必須保證Z=max（ΣPi*Xi）與ΣMi*Xi≤A是能夠成立的，并且有效控制目標(biāo)函數(shù)，目標(biāo)函數(shù)主要包括：I =γ/2*[ΣρiFi]2+ψ/2*[aΣmifi ]2，在該表達(dá)式中，a=（γripi-ψmimi）d，Ii=βami，γ和ψ是Lagrange參數(shù)，所構(gòu)造的Lyapunov能量函數(shù)如下：E =1/2*ΣΣAiFiFiΣIiFi，Hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如下：Fi=1/2*[1+tanh（Bi/T）]，Bi=ΣAiFi+I。均退火技術(shù)被充分利用，就可以實(shí)現(xiàn)將隨機(jī)變量函數(shù)均值轉(zhuǎn)變成函數(shù)，即得出：〈Fi〉=1/2*[1+tanh{}]，〈Bi〉=〈ΣAiFi+Ii〉=ΣAiFi +Ii。當(dāng)隨機(jī)變量均值〈Fi〉變換成均場(chǎng)變量Ri時(shí)，就能得到均場(chǎng)網(wǎng)絡(luò)結(jié)構(gòu)：Ri=1/2[1+tanh（ΣAiRi+Ii/T）]，均場(chǎng)網(wǎng)絡(luò)能量函數(shù)即是：E（v）=1/2ΣΣAiRiRiΣIiRi。簡(jiǎn)單分析算法步驟發(fā)現(xiàn)：首先，參數(shù)設(shè)置必須建立在充分考慮問(wèn)題基礎(chǔ)上；其次，進(jìn)行初始化時(shí)，Ri=rand（d，1-d），其中i是可以為大于零整數(shù)的；最后，以上操作重復(fù)進(jìn)行，直到滿(mǎn)足條件后為止。

3 計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化中的神經(jīng)網(wǎng)絡(luò)算法優(yōu)勢(shì)總結(jié)性分析

使用神經(jīng)網(wǎng)絡(luò)算法對(duì)計(jì)算機(jī)網(wǎng)絡(luò)連接進(jìn)行優(yōu)化的優(yōu)勢(shì)是顯而易見(jiàn)的，首先，其有效提升了計(jì)算機(jī)網(wǎng)絡(luò)的連接效率，使得網(wǎng)絡(luò)運(yùn)行速度更快；其次，有效降低了優(yōu)化計(jì)算機(jī)網(wǎng)絡(luò)連接所帶來(lái)的資金投入增加問(wèn)題，將資金利用效率最大化，即用最少的資金獲得最好的優(yōu)化效果；再者，將復(fù)雜的取均值運(yùn)算轉(zhuǎn)變?yōu)楹瘮?shù)式規(guī)律運(yùn)算，大大節(jié)省了計(jì)算時(shí)間，實(shí)現(xiàn)網(wǎng)絡(luò)信息數(shù)據(jù)的更好交互；最后神經(jīng)網(wǎng)絡(luò)算法增加了彌補(bǔ)漏洞模型，一旦Hopfield無(wú)法達(dá)到目標(biāo)函數(shù)要求，就可以用罰函數(shù)法結(jié)構(gòu)來(lái)進(jìn)行對(duì)目標(biāo)函數(shù)的控制，這樣大大減少的誤差率，使得后續(xù)網(wǎng)絡(luò)維護(hù)工作更加方便。

4 結(jié)語(yǔ)

綜上所述，計(jì)算機(jī)已經(jīng)滲透在人們生活中的各個(gè)領(lǐng)域中，具有十分重要的意義。如果計(jì)算機(jī)網(wǎng)絡(luò)出現(xiàn)故障，將威脅到相關(guān)企業(yè)的工作以及一些設(shè)備的正常運(yùn)轉(zhuǎn)，有損其經(jīng)濟(jì)效益。正因如此，必須加強(qiáng)重視計(jì)算機(jī)網(wǎng)絡(luò)連接的程度，盡可能采取有效措施對(duì)計(jì)算機(jī)網(wǎng)絡(luò)進(jìn)行優(yōu)化，不斷完善連接效率，使得網(wǎng)絡(luò)連接更加體現(xiàn)出可靠性與穩(wěn)定性，促進(jìn)計(jì)算機(jī)網(wǎng)絡(luò)更長(zhǎng)久且穩(wěn)定的發(fā)展，為未來(lái)整個(gè)計(jì)算機(jī)事業(yè)的可持續(xù)性發(fā)展奠定基礎(chǔ)，更加方便人們的生活，提高個(gè)人與企業(yè)收益。

參考文獻(xiàn)

[1]朱云.計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化中的神經(jīng)網(wǎng)絡(luò)算法[J].煤炭技術(shù)，2012（04）：203-204.

[2]李霞.計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化中的神經(jīng)網(wǎng)絡(luò)算法[J].電子技術(shù)與軟件工程，2016（03）：25.

[3]王穎華，金愛(ài)花.計(jì)算機(jī)網(wǎng)絡(luò)連接增強(qiáng)優(yōu)化中的均場(chǎng)神經(jīng)網(wǎng)絡(luò)算法[J].硅谷，2013（08）：61-62.