Adaline神經(jīng)網(wǎng)絡(luò)隨機(jī)逼近LMS算法的仿真研究

1 引言
人工神經(jīng)網(wǎng)絡(luò)最重要的功能之一是分類。對(duì)于線性可分問(wèn)題，采用硬限幅函數(shù)的單個(gè)神經(jīng)元，通過(guò)簡(jiǎn)單的學(xué)習(xí)算法就可成功實(shí)現(xiàn)分類。即對(duì)于兩個(gè)不同類中的輸入矢量，神經(jīng)元的輸出值為0或1。但對(duì)于大多數(shù)非線性可分類，硬限幅神經(jīng)元?jiǎng)t無(wú)法完成分類功能。自適應(yīng)線性元件Adaline(Adap-tive LiIlear Element)是一種具有線性功能函數(shù)的神繹元，在實(shí)際輸出與理想預(yù)期值的最小二乘LMS(Least Mean Square)的統(tǒng)計(jì)意義下進(jìn)行學(xué)習(xí)，可以實(shí)現(xiàn)最佳的非線性可分集合的分類，即按照最小二乘的統(tǒng)計(jì)意義要求，實(shí)際輸出值與理想預(yù)期值之間的誤差均方值為最小，能夠?qū)崿F(xiàn)這一目的算法即稱為最小二乘學(xué)習(xí)算法或LMS算法。

2 Adaline的LMS算法原理
設(shè)輸入矢量X=[x1，x2，…，xn]，加權(quán)矢量W=[ω1，ω2，…，ωn]，則神經(jīng)元的輸出為：

定義ε(k)是理想輸出值d(k)與實(shí)際輸出值y(k)之間的誤差，即ε(k)=d(k)-y(k)，其均方值記作E[ε2(k)]，令ζ(k)=E[ε2(k)]，則：

由式(2)可知必定存在最佳的加權(quán)矢量W*，使ζ(k)達(dá)到最小，此時(shí)ζ(k)相對(duì)于W的梯度等于零，從而可以得到：

式(3)雖然給出了求最佳加權(quán)矢量的方法，但需要大量的統(tǒng)計(jì)計(jì)算，而且當(dāng)輸入矢量X的維數(shù)很大時(shí)，需要解決高階矩陣求逆問(wèn)題，這些在數(shù)學(xué)計(jì)算上都是非常閑難的。

3 隨機(jī)逼近LMS學(xué)習(xí)算法的提出
為了解決式(3)存在的問(wèn)題，有學(xué)者提出LMS學(xué)習(xí)問(wèn)題的嚴(yán)格遞推算法和隨機(jī)逼近算法，這里簡(jiǎn)要描述其算法原理。LMS學(xué)習(xí)問(wèn)題的嚴(yán)格遞推算法是在任意設(shè)置初始加權(quán)矢量W(0)時(shí)，對(duì)于每一個(gè)時(shí)序變量k，對(duì)W調(diào)整：

用這種方法可以保證求得嚴(yán)格的最佳解，而且避開(kāi)矩陣求逆。但學(xué)習(xí)過(guò)程的每一步仍需大量的統(tǒng)計(jì)計(jì)算，仍需解決統(tǒng)計(jì)計(jì)算困難。