從數學概念入手,一文帶你理解感知機是什麼

ADVERTISEMENT

雷鋒網AI科技評論按:神經網路已經成為了人工智慧最火的領域,是源於大腦結構的計算模型。 屬於資訊處理結構,其最重要的屬性是其從資料中學習的能力。 這些技術在營銷、工程等諸多領域取得了巨大的成功。

感知機是一種人工神經網路,由Frank Rosenblatt於1957年發明,他也提出了相應的感知機學習演算法。

神經網路類型眾多,其中最為重要的是多層感知機。 多層感知機中的特徵神經元模型稱為感知機。本文將解釋從數學概念上理解感知機模型,雷鋒網()編譯。

感知機元件

神經元是神經網路的主要組成部分,感知機是最常用的模型。 如下圖所示。

輸入(x1 ,...,xn )。

偏移b和突觸權重(w1 ,...,wn )。

組合函數c(·)。

啟用函數a(·)。

輸出y。

如下圖所示的神經元有三個輸入。 它將輸入集合x =(x1 ,x2 ,x3 )變換為單個輸出y。

上圖中的神經元,包含下列元素:

輸入(x1 ,x2 ,x3 )。

神經元參數,為集合b = -0.5和w =(1.0,-0.75,0.25)。

組合函數c(·),將輸入與偏移和突觸權重合併。

ADVERTISEMENT

啟用函數設定為雙曲正切tanh(·),通過該組合生成神經元輸出。

輸出y。

神經元參數

神經元參數由偏移和一組突觸權重組成。

偏置b是實數。

突觸權重w =(w1 ,...,wn )是大小為輸入數量的向量。

因此,該神經元模型中的參數的總數是1 + n,其中n是神經元中輸入的數量。

上圖所示的感知機。 其神經元模型包含1個偏移和3個突觸權重:

偏移為b = -0.5。

突觸權重向量是w =(1.0,-0.75,0.25)。

該神經元參數數量為1 + 3 = 4。

組合功能

組合函數通過輸入向量x生成組合值或淨輸入c。 感知機中,組合由偏移加上突觸權重和輸入的線性組合計算得到,

c = b +Σwi·x i i = 1,...,n。

注意,偏置對啟用函數淨輸入的增減取決於其正負。 偏移有時被表示為連線到固定為+1的輸入的突觸權重。

上例中的神經元,輸入向量x =(-0.8,0.2,-0.4)的感知機的組合值為

ADVERTISEMENT

c = -0.5 +(1.0·-0.8)+(-0.75·0.2)+(0.25·-0.4)

= -1.55

啟用功能

啟用函數通過組合來定義神經元的輸出。實踐當中,可以考慮多種適用的啟用函數。 三個最常用的是邏輯,雙曲正切和線性函數。 在此不考慮不可匯出的其他啟用函數,如閾值。

邏輯函數具有S形形狀。 該啟用是單調的新月形函數,其線上性和非線性行為之間表現出良好的平衡。 定義為

a = 1 /(1 + exp(-c))

邏輯函數如下圖所示。

邏輯函數的取值區間為(0,1)。 特別適合分類應用,因為輸出可以根據概率解釋。

雙曲正切也是神經網路領域中常用的S形函數。 它非常類似於邏輯函數。 主要區別是雙曲正切的取值區間為(-1,1)。 雙曲正切由

a = tanh(c)

雙曲正切如下圖所示。

超實體正切函數非常適用於近似應用。

線性啟用函數滿足下列等式

a = c

ADVERTISEMENT

因此,具有線性啟用函數的神經元的輸出等於其組合。 線性啟用函數圖形如下圖所示。

線性啟用函數也非常適用於近似應用。

本文給出的例子中,組合值為c = -1.55。 因該函數為雙曲正切,所以該神經元的啟用如下:

a = tanh(-1.55)

= -0.91

輸出功能

輸出計算是感知機中最重要的功能。 對於特定的一組神經元輸入訊號,通過組合生成輸出訊號。 輸出函數以組合和啟用函數的組成表示。 下圖說明瞭感知機中資訊是如何傳播的。

因此,神經元的輸出最終表述為其輸入的函數

y = a(b + w·x)

本文中的感知機, 如果輸入x =(-0.8,0.2,-0.4),輸出y如下

y = tanh(-0.5 +(1.0·-0.8)+(-0.75·0.2)+(0.25·-0.4))

= tanh(-1.55)

= -0.91

顯而易見,輸出函數合併了組合和啟用函數。

結論

神經元是生物神經系統中單個神經元行為的數學模型。

單個神經元可以完成一些非常簡單的學習任務,但是許多神經元構成的網路威力巨大。人工神經網路的結構是指神經元的數量和它們之間的連線關係。 下圖顯示了神經元的前饋網路架構。

雖然通過本文讀者能夠瞭解感知機的功能,但是存在特徵各異並且用途不同的神經元模型。如可伸縮神經元,主成分神經元,非伸縮神經元或概率神經元。上圖中,可伸縮神經元為黃色,非伸縮神經元為紅色。

via neuraldesigner,雷鋒網編譯

雷鋒網版權文章,未經授權禁止轉載。詳情見轉載須知。

» 雷鋒網

ADVERTISEMENT