人工神經網絡

神經元

　　a1~an為輸入向量的各個分量

　　w1~wn為神經元各個突觸的權值

　　b為偏置

　　f為傳遞函數，通常為非線性函數。以下默認為hardlim()

　　t為神經元輸出

　　數學表示 t=f(WA'+b)

　　W為權向量

　　A為輸入向量，A'為A向量的轉置

　　b為偏置

　　f為傳遞函數

　　可見，一個神經元的功能是求得輸入向量與權向量的內積后，經一個非線性傳遞函數得到一個標量結果。

　　單個神經元的作用：把一個n維向量空間用一個超平面分割成兩部分（稱之為判斷邊界），給定一個輸入向量，神經元可以判斷出這個向量位于超平面的哪一邊。

　　該超平面的方程: Wp+b=0

　　W權向量

　　b偏置

　　p超平面上的向量

基本特征

　　人工神經網絡是由大量處理單元互聯組成的非線性、自適應信息處理系統。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網絡處理、記憶信息的方式進行信息處理。人工神經網絡具有四個基本特征：

　?。?）非線性 非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處于激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性

　　關系。具有閾值的神經元構成的網絡具有更好的性能，可以提高容錯性和存儲容量。

　?。?）非局限性 一個神經網絡通常由多個神經元廣泛連接而成。一個系統的整體行為不僅取決于單個神經元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯想記憶是非局限性的典型例子。

　?。?）非常定性 人工神經網絡具有自適應、自組織、自學習能力。神經網絡不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統本身也在不斷變化。經常采用迭代過程描寫動力系統的演化過程。

　?。?）非凸性 一個系統的演化方向，在一定條件下將取決于某個特定的狀態函數。例如能量函數，它的極值相應于系統比較穩定的狀態。非凸性是指這種函數有多個極值，故系統具有多個較穩定的平衡態，這將導致系統演化的多樣性。

　　人工神經網絡中，神經元處理單元可表示不同的對象，例如特征、字母、概念，或者一些有意義的抽象模式。網絡中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據；輸出單元實現系統處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能

　　由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度，信息的表示和處理體現在網絡處理單元的連接關系中。人工神經網絡是一種非程序化、適應性、大腦風格的信息處理 ，其本質是通過網絡的變換和動力學行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經系統的信息處理功能。它是涉及神經科學、思維科學、人工智能、計算機科學等多個領域的交叉學科。

　　人工神經網絡是并行分布式系統，采用了與傳統人工智能和信息處理技術完全不同的機理，克服了傳統的基于邏輯符號的人工智能在處理直覺、非結構化信息方面的缺陷，具有自適應、自組織和實時學習的特點。[1]

發展歷史

　　1943年，心理學家W.S.McCulloch和數理邏輯學家W.Pitts建立了神經網絡和數學模型，稱為MP模型。他們通過MP模型提出了神經元的形式化數學描述和網絡結構方法，證明了單個神經元能執行邏輯功能，從而開創了人工神經網絡研究的時代。1949年，心理學家提出了突觸聯系強度可變的設想。60年代，人工神經網絡得到了進一步發展，更完善的神經網絡模型被提出

　　，其中包括感知器和自適應線性元件等。M.Minsky等仔細分析了以感知器為代表的神經網絡系統的功能及局限后，于1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點極大地影響了神經網絡的研究，加之當時串行計算機和人工智能所取得的成就，掩蓋了發展新型計算機和人工智能新途徑的必要性和迫切性，使人工神經網絡的研究處于低潮。在此期間，一些人工神經網絡的研究者仍然致力于這一研究，提出了適應諧振理論（ART網）、自組織映射、認知機網絡，同時進行了神經網絡數學理論的研究。以上研究為神經網絡的研究和發展奠定了基礎。1982年，美國加州工學院物理學家J.J.Hopfield提出了Hopfield神經網格模型，引入了“計算能量”概念，給出了網絡穩定性判斷。 1984年，他又提出了連續時間Hopfield神經網絡模型，為神經計算機的研究做了開拓性的工作，開創了神經網絡用于聯想記憶和優化計算的新途徑，有力地推動了神經網絡的研究，1985年，又有學者提出了波耳茲曼模型，在學習中采用統計熱力學模擬退火技術，保證整個系統趨于全局穩定點。1986年進行認知微觀結構地研究，提出了并行分布處理的理論。1986年，Rumelhart, Hinton, Williams發展了BP算法。Rumelhart和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》。迄今，BP算法已被用于解決大量實際問題。1988年，Linsker對感知機網絡提出了新的自組織理論，并在Shanon信息論的基礎上形成了最大互信息理論，從而點燃了基于NN的信息應用理論的光芒。1988年，Broomhead和Lowe用徑向基函數(Radial basis function, RBF)提出分層網絡的設計方法，從而將NN的設計與數值分析和線性適應濾波相掛鉤。90年代初，Vapnik等提出了支持向量機(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)維數的概念。人工神經網絡的研究受到了各個發達國家的重視，美國國會通過決議將1990年1月5日開始的十年定為“腦的十年”，國際研究組織號召它的成員國將“腦的十年”變為全球行為。在日本的“真實世界計算（RWC）”項目中，人工智能的研究成了一個重要的組成部分。
　　特點優點編輯

　　人工神經網絡的特點和優越性，主要表現在三個方面：

　　第一，具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網絡，網絡就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對于預測有特別重要的意義。預期未來的人工神經網絡計算機將為人類提供經濟預測、市場預測、效益預測，其應用前途是很遠大的。

　　第二，具有聯想存儲功能。用人工神經網絡的反饋網絡就可以實現這種聯想。

　　第三，具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網絡，發揮計算機的高速運算能力，可能很快找到優化解。

研究方向

　　神經網絡的研究可以分為理論研究和應用研究兩大方面。

　　理論研究可分為以下兩類：[4]

　　1、利用神經生理與認知科學研究人類思維以及智能機理。

　　2、利用神經基礎理論的研究成果，用數理方法探索功能更加完善、性能更加優

　　越的神經網絡模型，深入研究網絡算法和性能，如：穩定性、收斂性、容錯性、魯棒性等；開發新的網絡數理理論，如：神經網絡動力學、非線性神經場等。

　　應用研究可分為以下兩類：

　　1、神經網絡的軟件模擬和硬件實現的研究。

　　2、神經網絡在各個領域中應用的研究。這些領域主要包括

　?。耗Ｊ阶R別、信號處理、知識工程、專家系統、優化組合、機器人控制等。隨著神經網絡理論本身以及相關理論、相關技術的不斷發展，神經網絡的應用定將更加深入。

發展趨勢

　　人工神經網絡特有的非線性適應性信息處理能力，克服了傳統人工智能方法對于直覺，如模式、語音識別、非結構化信息處理方面的缺陷，使之在神經專家系統、模式識別、智能控制、組合優化、預測等領域得到成功應用。人工神經網絡與其它傳統方法相結合，將推動人工智能和信息處理技術不斷發展。近年來，人工神經網絡正向模擬人類認知的道路上更加深入發展，與模糊系統、遺傳算法、進化機制等結合，形成計算智能，成為人工智能的一個重要方向，將在實際應用中得到發展。將信息幾何應用于人工神經網絡的研究，為人工神經網絡的理論研究開辟了新的途徑。神經計算機的研究發展很快，已有產品進入市場。光電結合的神經計算機為人工神經網絡的發展提供了良好條件。

　　神經網絡在很多領域已得到了很好的應用，但其需要研究的方面還很多。其中，具有分布存儲、并行處理、自學習、自組織以及非線性映射等優點的神經網絡與其他技術的結合以及由此而來的混合方法和混合系統，已經成為一大研究熱點。由于其他方法也有它們各自的優點，所以將神經網絡與其他方法相結合，取長補短，繼而可以獲得更好的應用效果。目前這方面工作有神經網絡與模糊邏輯、專家系統、遺傳算法、小波分析、混沌、粗集理論、分形理論、證據理論和灰色系統等的融合。

　　下面主要就神經網絡與小波分析、混沌、粗集理論、分形理論的融合進行分析。

　　與小波分析的結合

　　1981年，法國地質學家Morlet在尋求地質數據時，通過對Fourier變換與加窗Fourier變換的異同、特點及函數構造進行創造性的研究，首次提出了"小波分析"的概念，建立了以他的名字命名的Morlet小波。1986年以來由于YMeyer、S.Mallat及IDaubechies等的奠基工作，小波分析迅速發展成為一門新興學科。Meyer所著的"小波與算子"，Daubechies所著的"小波十講"是小波研究領域最權威的著作。

　　小波變換是對Fourier分析方法的突破。它不但在時域和頻域同時具有良好的局部化性質，而且對低頻信號在頻域和對高頻信號在時域里都有很好的分辨率，從而可以聚集到對象的任意細節。小波分析相當于一個數學顯微鏡，具有放大、縮小和平移功能，通過檢查不同放大倍數下的變化來研究信號的動態特性。因此，小波分析已成為地球物理、信號處理、圖像處理、理論物理等諸多領域的強有力工具。

　　小波神經網絡將小波變換良好的時頻局域化特性和神經網絡的自學習功能相結合，因而具有較強的逼近能力和容錯能力。在結合方法上，可以將小波函數作為基函數構造神經網絡形成小波網絡，或者小波變換作為前饋神經網絡的輸入前置處理工具，即以小波變換的多分辨率特性對過程狀態信號進行處理，實現信噪分離，并提取出對加工誤差影響最大的狀態特性，作為神經網絡的輸入。

　　小波神經網絡在電機故障診斷、高壓電網故障信號處理與保護研究、軸承等機械故障診斷以及許多方面都有應用，將小波神經網絡用于感應伺服電機的智能控制，使該系統具有良好的跟蹤控制性能，以及好的魯棒性，利用小波包神經網絡進行心血管疾病的智能診斷，小波層進行時頻域的自適應特征提取，前向神經網絡用來進行分類，正確分類率達到94%。

　　小波神經網絡雖然應用于很多方面，但仍存在一些不足。從提取精度和小波變換實時性的要求出發，有必要根據實際情況構造一些適應應用需求的特殊小波基，以便在應用中取得更好的效果。另外，在應用中的實時性要求，也需要結合DSP的發展，開發專門的處理芯片，從而滿足這方面的要求。

　　混沌神經網絡

　　混沌第一個定義是上世紀70年代才被Li-Yorke第一次提出的。由于它具有廣泛的應用價值，自它出現以來就受到各方面的普遍關注?；煦缡且环N確定的系統中出現的無規則的運動，混沌是存在于非線性系統中的一種較為普遍的現象，混沌運動具有遍歷性、隨機性等特點，能在一定的范圍內按其自身規律不重復地遍歷所有狀態?；煦缋碚撍鶝Q定的是非線性動力學混沌，目的是揭示貌似隨機的現象背后可能隱藏的簡單規律，以求發現一大類復雜問題普遍遵循的共同規律。

　　1990年Kaihara、T.Takabe和M.Toyoda等人根據生物神經元的混沌特性首次提出混沌神經網絡模型，將混沌學引入神經網絡中，使得人工神經網絡具有混沌行為，更加接近實際的人腦神經網絡，因而混沌神經網絡被認為是可實現其真實世界計算的智能信息處理系統之一，成為神經網絡的主要研究方向之一。

　　與常規的離散型Hopfield神經網絡相比較，混沌神經網絡具有更豐富的非線性動力學特性，主要表現如下：在神經網絡中引入混沌動力學行為；混沌神經網絡的同步特性；混沌神經網絡的吸引子。

　　當神經網絡實際應用中，網絡輸入發生較大變異時，應用網絡的固有容錯能力往往感到不足，經常會發生失憶現象?；煦缟窠浘W絡動態記憶屬于確定性動力學運動，記憶發生在混沌吸引子的軌跡上，通過不斷地運動(回憶過程)一一聯想到記憶模式，特別對于那些狀態空間分布的較接近或者發生部分重疊的記憶模式，混沌神經網絡總能通過動態聯想記憶加以重現和辨識，而不發生混淆，這是混沌神經網絡所特有的性能，它將大大改善Hopfield神經網絡的記憶能力?；煦缥拥奈虼嬖?，形成了混沌神經網絡固有容錯功能。這將對復雜的模式識別、圖像處理等工程應用發揮重要作用。

　　混沌神經網絡受到關注的另一個原因是混沌存在于生物體真實神經元及神經網絡中，并且起到一定的作用，動物學的電生理實驗已證實了這一點。

　　混沌神經網絡由于其復雜的動力學特性，在動態聯想記憶、系統優化、信息處理、人工智能等領域受到人們極大的關注。針對混沌神經網絡具有聯想記憶功能，但其搜索過程不穩定，提出了一種控制方法可以對混沌神經網絡中的混沌現象進行控制。研究了混沌神經網絡在組合優化問題中的應用。

　　為了更好的應用混沌神經網絡的動力學特性，并對其存在的混沌現象進行有效的控制，仍需要對混沌神經網絡的結構進行進一步的改進和調整，以及混沌神經網絡算法的進一步研究。

　　基于粗集理論

　　粗糙集(Rough Sets)理論是1982年由波蘭華沙理工大學教授Z.Pawlak首先提出，它是一個分析數據的數學理論，研究不完整數據、不精確知識的表達、學習、歸納等方法。粗糙集理論是一種新的處理模糊和不確定性知識的數學工具，其主要思想就是在保持分類能力不變的前提下，通過知識約簡，導出問題的決策或分類規則。目前，粗糙集理論已被成功應用于機器學習、決策分析、過程控制、模式識別與數據挖掘等領域。

　　粗集和神經網絡的共同點是都能在自然環境下很好的工作，但是，粗集理論方法模擬人類的抽象邏輯思維，而神經網絡方法模擬形象直覺思維，因而二者又具有不同特點。粗集理論方法以各種更接近人們對事物的描述方式的定性、定量或者混合性信息為輸入，輸入空間與輸出空間的映射關系是通過簡單的決策表簡化得到的，它考慮知識表達中不同屬性的重要性確定哪些知識是冗余的，哪些知識是有用的，神經網絡則是利用非線性映射的思想和并行處理的方法，用神經網絡本身結構表達輸入與輸出關聯知識的隱函數編碼。

　　在粗集理論方法和神經網絡方法處理信息中，兩者存在很大的兩個區別：其一是神經網絡處理信息一般不能將輸入信息空間維數簡化，當輸入信息空間維數較大時，網絡不僅結構復雜，而且訓練時間也很長；而粗集方法卻能通過發現數據間的關系，不僅可以去掉冗余輸入信息，而且可以簡化輸入信息的表達空間維數。其二是粗集方法在實際問題的處理中對噪聲較敏感，因而用無噪聲的訓練樣本學習推理的結果在有噪聲的環境中應用效果不佳。而神經網絡方法有較好的抑制噪聲干擾的能力。

　　因此將兩者結合起來，用粗集方法先對信息進行預處理，即把粗集網絡作為前置系統，再根據粗集方法預處理后的信息結構，構成神經網絡信息處理系統。通過二者的結合，不但可減少信息表達的屬性數量，減小神經網絡構成系統的復雜性，而且具有較強的容錯及抗干擾能力，為處理不確定、不完整信息提供了一條強有力的途徑。

　　目前粗集與神經網絡的結合已應用于語音識別、專家系統、數據挖掘、故障診斷等領域，將神經網絡和粗集用于聲源位置的自動識別，將神經網絡和粗集用于專家系統的知識獲取中，取得比傳統專家系統更好的效果，其中粗集進行不確定和不精確數據的處理，神經網絡進行分類工作。

　　雖然粗集與神經網絡的結合已應用于許多領域的研究，為使這一方法發揮更大的作用還需考慮如下問題：模擬人類抽象邏輯思維的粗集理論方法和模擬形象直覺思維的神經網絡方法更加有效的結合；二者集成的軟件和硬件平臺的開發，提高其實用性。

　　與分形理論的結合

　　自從美國哈佛大學數學系教授Benoit B. Mandelbrot于20世紀70年代中期引入分形這一概念，分形幾何學(Fractal geometry)已經發展成為科學的方法論--分形理論，且被譽為開創了20世紀數學重要階段?，F已被廣泛應用于自然科學和社會科學的幾乎所有領域，成為現今國際上許多學科的前沿研究課題之一。

　　由于在許多學科中的迅速發展，分形已成為一門描述自然界中許多不規則事物的規律性的學科。它已被廣泛應用在生物學、地球地理學、天文學、計算機圖形學等各個領域。

　　用分形理論來解釋自然界中那些不規則、不穩定和具有高度復雜結構的現象，可以收到顯著的效果，而將神經網絡與分形理論相結合，充分利用神經網絡非線性映射、計算能力、自適應等優點，可以取得更好的效果。

　　分形神經網絡的應用領域有圖像識別、圖像編碼、圖像壓縮，以及機械設備系統的故障診斷等。分形圖像壓縮/解壓縮方法有著高壓縮率和低遺失率的優點，但運算能力不強，由于神經網絡具有并行運算的特點，將神經網絡用于分形圖像壓縮/解壓縮中，提高了原有方法的運算能力。將神經網絡與分形相結合用于果實形狀的識別，首先利用分形得到幾種水果輪廓數據的不規則性，然后利用3層神經網絡對這些數據進行辨識，繼而對其不規則性進行評價。

　　分形神經網絡已取得了許多應用，但仍有些問題值得進一步研究：分形維數的物理意義；分形的計算機仿真和實際應用研究。隨著研究的不斷深入，分形神經網絡必將得到不斷的完善，并取得更好的應用效果。