AI的人工神經網絡

人工智能，深度學習和機器學習，不論你現在是否能夠理解這些概念，你都應該學習。否則三年內，你就會像滅絕的恐龍一樣被社會淘汰。

——馬克·庫班（NBA小牛隊老板，億萬富翁）

我們正經歷一場大革命，這場革命就是由大數據和強大電腦計算能力發(fā)起的。

人工智能的底層模型是"神經網絡"（neural network）。許多復雜的應用（比如模式識別、自動控制）和高級模型（比如深度學習）都基于它。學習人工智能，一定是從它開始。

人工神經網絡

人工神經網絡是模擬人和動物的神經網絡的某種結構和功能的模擬，所以要了解神經網絡的工作原理，所以我們首先要了解生物神經元。其結構如下圖所示：

從上圖可看出生物神經元它包括，細胞體：由細胞核、細胞質與細胞膜組成；

軸突：

是從細胞體向外伸出的細長部分，也就是神經纖維。軸突是神經細胞的輸出端，通過它向外傳出神經沖動；

樹突：

是細胞體向外伸出的許多較短的樹枝狀分支。它們是細胞的輸入端，接受來自其它神經元的沖動；

突觸：

神經元之間相互連接的地方，既是神經末梢與樹突相接觸的交界面。

對于從同一樹突先后傳入的神經沖動，以及同一時間從不同樹突輸入的神經沖動，神經細胞均可加以綜合處理，處理的結果可使細胞膜電位升高；當膜電位升高到一閥值（約40mV），細胞進入興奮狀態(tài)，產生神經沖動，并由軸突輸出神經沖動；當輸入的沖動減小，綜合處理的結果使膜電位下降，當下降到閥值時。細胞進入抑制狀態(tài)，此時無神經沖動輸出?！芭d奮”和“抑制”，神經細胞必呈其一。

突觸界面具有脈沖/電位信號轉換功能，即類似于D/A轉換功能。沿軸突和樹突傳遞的是等幅、恒寬、編碼的離散電脈沖信號。細胞中膜電位是連續(xù)的模擬量。

神經沖動信號的傳導速度在1～150m/s之間，隨纖維的粗細，髓鞘的有無而不同。

神經細胞的重要特點是具有學習功能并有遺忘和疲勞效應?？傊?，隨著對生物神經元的深入研究，揭示出神經元不是簡單的雙穩(wěn)邏輯元件而是微型生物信息處理機制和控制機。

而人工神經網絡的基本原理也就是對生物神經元進行盡可能的模擬，當然，以目前的理論水平，制造水平，和應用水平，還與人腦神經網絡的有著很大的差別，它只是對人腦神經網絡有選擇的，單一的，簡化的構造和性能模擬，從而形成了不同功能的，多種類型的，不同層次的神經網絡模型。

人工神經網絡具有四個基本特征：

（1）非線性非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處于激活或抑制二種不同的狀態(tài)，這種行為在數學上表現為一種非線性關系。具有閾值的神經元構成的網絡具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性一個神經網絡通常由多個神經元廣泛連接而成。

一個系統(tǒng)的整體行為不僅取決于單個神經元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯想記憶是非局限性的典型例子。

（3）非常定性人工神經網絡具有自適應、自組織、自學習能力。

神經網絡不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統(tǒng)本身也在不斷變化。經常采用迭代過程描寫動力系統(tǒng)的演化過程。

（4）非凸性一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài)函數。

例如能量函數，它的極值相應于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導致系統(tǒng)演化的多樣性。

人工神經網絡是一種非程序化、適應性、大腦風格的信息處理，其本質是通過網絡的變換和動力學行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經系統(tǒng)的信息處理功能。它是涉及神經科學、思維科學、人工智能、計算機科學等多個領域的交叉學科。

人工神經網絡是并行分布式系統(tǒng)，采用了與傳統(tǒng)人工智能和信息處理技術完全不同的機理，克服了傳統(tǒng)的基于邏輯符號的人工智能在處理直覺、非結構化信息方面的缺陷，具有自適應、自組織和實時學習的特點。

典型神經網絡

當前最常見的幾種神經網絡分別是感知器網絡、BP網絡、柯荷倫網絡、競爭網絡，這幾種網絡各具特點。

1、感知器

感知器的工作原理是使用直線、平面等切割平面或立體空間，將這些平面或空間分成若干不同的區(qū)域 ，以達到對輸入信號進行分類的目的。感知器在使用前，需要先進行訓練。訓練感知器的主要目的是調整它的權值。訓練感知器時，通過選擇典型的輸入類型，這些輸入需要能代表所有的輸入類型，然后將這些數據輸入到感知器中對感知器進行訓練。訓練之后，感知器網絡的節(jié)點數及權值得到了調整。當感知器訓練完成之后，就可以進行工作了。

2、BP 網絡

BP 網絡是當前使用得最多的一種神經網絡，它的主要功能是對非線性有理函數進行逼近，以滿足對非線性系統(tǒng)的控制作用。一般使用最速下降法對 BP 網絡進行訓練，將誤差反向傳播，當有大量的數據通過 BP 網絡時，網絡的權值和閾值得到調整，并使得網絡的誤差系數降低到最小 。下式是不含反饋的神經網絡的輸入與輸出關系：

以上表達式不能表示具有反饋方式的神經網絡，如果需要表示 BP 網絡，還需要對上式加入反饋部分，如下式所示：

當訓練結束之后，此神經網絡即是 BP 網絡，它就可用于對非線性系統(tǒng)的控制。它將輸出反饋到輸入，作為輸入的一部分，以達到對系統(tǒng)權值的持續(xù)調整，消除非線性影響的作用。

3、競爭網絡

競爭網絡一般用于對大量具有典型特征的數據進行分類，它是一種單層網絡，包括輸入層和競爭層，輸入層和競爭層共用一個權值函數。競爭網絡的訓練和工作并未像其它神經網絡那樣明確分開，而是在工作的過程中實現對網絡的訓練。它的訓練方式是無監(jiān)督式的，訓練過程是通過競爭，將獲勝節(jié)點的權值進行調整，從而使網絡的輸出于輸入間的誤差逐漸減小，在這個競爭過程中，就可以通過輸出的不同，而將輸入分成不同的類型，以實現自動分類的功能。

4、柯荷倫網絡

為了實現對具有概率分布模式的數據進行分類，可以利用柯荷倫網絡模型?？潞蓚惥W絡網絡模型與普通的網絡模型很相似，它的不同之處在與它在訓練過程中對節(jié)點的調整方法的區(qū)別?？潞蓚惥W絡模型對節(jié)點的調節(jié)方式與競爭網絡的比較相似，都是通過競爭來確定需要調整的網絡節(jié)點，競爭網絡只需要調整競爭獲勝的節(jié)點，而柯荷倫網絡除了需要調整競爭獲勝的網絡節(jié)點，還需要調整獲勝節(jié)點的臨近節(jié)點。

BP 網絡在智能系統(tǒng)中的應用

1、聯想記憶

在信號處理、語音和圖像識別等領域，當輸入數據具有干擾或需要網絡具有糾錯能力時，就需要網絡能夠識別出這種錯誤，并將其糾正過來。為了能得到具有這種功能的神經網絡，可以先將識別對象轉換成網絡的平衡節(jié)點，通過調整節(jié)點的權值，使其記住這些目標。然后再通過不斷對網絡輸入學習數據，使其不斷進行聯想，最終使目標模型的特征收斂到網絡的平衡節(jié)點上。例如在進行文字處理時，為了能是神經網絡具有識別出錯誤文字的功能，可先將特定模型的文字轉化成網絡平衡節(jié)點，然后在對網絡輸入正確的文字，在不斷的訓練過程中，網絡就能實現對錯誤輸入的識別作用。

2、優(yōu)化計算

霍普菲爾德的網絡穩(wěn)定性判別函數以能量為基礎。當系統(tǒng)不穩(wěn)定時，能量會逐漸減小，并最終趨于穩(wěn)定。在大規(guī)模電力線路的設計過程中，為了使設計的電子線路系統(tǒng)最優(yōu)，就需要對設計不斷進行優(yōu)化。通過對系統(tǒng)網絡進行分析，求解出網絡的最優(yōu)參數之后，將這些參數轉換成神經網絡中的平衡節(jié)點。在對神經網絡進行訓練之后，網絡就可以通過不斷循環(huán)優(yōu)化，最終設計出一個最優(yōu)電子線路系統(tǒng)。

3、影像處理

在人造成像系統(tǒng)中，無論是光學成像，還是聲波成像，以及電磁波成像，由于在對影像進行采集和處理的系統(tǒng)一般是數字系統(tǒng)，并且數字信號本身比模擬信號具有更強的抗噪能力，在采集和處理過程中，必須先對影像資料進行數字化處理，將模擬信號轉換成數字信號。因此，最終采集到的影像資料都是不連續(xù)的。

當前對影像數據的處理主要包括：處理因焦距問題而產生的影像模糊；影像噪聲含量較多時將噪聲處理掉；使用邊緣檢測的方法，得到圖像的特殊屬性。影像處理所涉及的領域也非常寬廣，如對影像進行分類、在醫(yī)學中對藥物反應的影像進行分析等。

在對圖像處理的研究中，主要出現過線性鑒別、遺傳網絡、counter-propagation network 三種主要的處理方法 ，經過比較其處理結果，發(fā)現利用遺傳網絡進行處理的性能最好。

神經網絡對圖像進行處理的步驟如下：將原始圖像輸入到網絡中；利用特征提取的方法得到圖像自身的屬性；對圖像特征進行分類；將這些處理結果作為訓練資料或數據輸入到神經網絡中，通過神經網絡的自動分辨功能，分辨出圖形結果。

在實際使用時，先對神經網絡進行訓練，再將神經網絡投入到實際應用中。利用神經網絡進行圖像處理具有諸多實際應用意義，也是當前研究的一個熱點方向。在Google 地圖、對天文圖像的處理及網絡圖像分析等領域，由于資料十分龐大，利用人工進行處理，顯然是不切實際的。為了能快速的得到所需的圖像特征，查找出需要的圖像資料，利用神經網絡進行圖像處理，無疑是最好的選擇。
 

神經網絡是一門重要的機器學習技術。它是目前最為火熱的研究方向–深度學習的基礎。學習神經網絡不僅可以讓你掌握一門強大的機器學習方法，同時也可以更好地幫助你理解深度學習技術。

- END -