激勵函數(Activation function)

keyword：深度學習deep learning，類神經網路Neural Network，激勵函數Activation function，轉移函數Transfer function。

這個篇章主要講每一種激勵函數，
基本上因為還有很多新的激勵函數被提出，
所以會一直更新喔~~

原本要自己打的，不過wiki有很棒的圖XDD，
要的話當然是用最好的，
不過往後會陸續更新，譬如說：ReLU的好處之類的。

圖片來源：https://en.wikipedia.org/wiki/Activation_function



留言

張貼留言

這個網誌中的熱門文章

Deep Learning的起源︰第一章-Neural Network

圖片
keyword：深度學習deep learning，類神經網路Neural Network。 在談到Deep Learning前我們都要先談Neural Network， Neural Network直譯的話就是神經網路，較多數人說的是 ： 類神經網路 類神經網路是科學家們藉由觀察人類神經並將其數學化的成果， 如上圖我們可以看到是人類的神經網路， 而下圖是類神經網路的架構圖，我們可以發現跟人類的神經有幾分相似， 寫成數學式如下： $a={b+{w}_{1}}{{x}_{1}}+{{w}_{2}}{{x}_{2}}+\cdots +{{w}_{n}}{{x}_{n}}=b+\sum\limits_{i=1}^{n}{{{w}_{i}}{{x}_{i}}}$ $y=f\left( a \right)$  x是輸入(input) ：模仿細胞間傳遞時的訊號，可以是很多個。 w是權重(weight) ：模仿細胞的樹突，對應著每個輸入(input)，輸入有幾個權重就有幾個。 b是偏權值(bias) ：有點閥值的意義，後面會做解釋。 a是還未經過激勵函數的輸出。 f是激勵函數(activation function)也可稱為轉移函數(transfer function)：詳細的激勵函數會另外開一章做講解。 y是輸出(output) 。 我們可以將神經傳導的過程解讀為： 輸入訊號(x) -> 權重(w) 看輸入的訊號哪個重要 -> 偏權值(b) 給予門檻 ->激勵函數(f)分辨是否超過門檻 -> 輸出訊號(output) 舉兩個例子就能理解了 假設有一個神經元 $\left[ {{w}_{1}},{{w}_{2}},{{w}_{3}} \right]=\left[ 0,1,1 \right]$ $b=-3$ $f\left( a \right)$  設定為︰ $y=1,a\ge 0$  $y=0,a<0$ 我們先了解權重(weight)的意義 假設神經元輸入(input)為兩組不同的訊號 第一組 $\left[ x_{1}^{1},x_{2}^{1},x_{3}
繼續閱讀

Deep Learning的起源︰第二章-Neural Network的空間意義

圖片
keyword：深度學習deep learning，類神經網路Neural Network。 前言： 前一章我們已經將基本的類神經網路解釋完畢了，我們也了解到weight和bias的使用以及意義，然而可能有些人對數學式可能比較沒感覺(我就是QQ)，所以我們這章將解釋NN(Neural Network)在空間上的意義。 Neural Network的空間意義 首先我們舉一個蘋果跟香蕉的分類問題， 特徵  ${x_{1}}$ 代表是不是圓的，是的話=1，不是的話=-1。 特徵  ${{x}_{2}}$ 代表是不是硬的，是的話=1，不是的話=-1。 蘋果 又圓 又硬： $\left[ x_{1}^{a},x_{2}^{a} \right]=\left[ 1,1 \right]$   香蕉 又長 又軟： $\left[ x_{1}^{b},x_{2}^{b} \right]=\left[ -1,-1 \right]$ 所以我們可以將上面的蘋果和香蕉畫在圖上： 接著我們假設$[{{w}_{1}},{{w}_{2}}]=[1,1]$，$b=-1$也就是： ${{w}_{1}}{{x}_{1}}+{{w}_{2}}{{x}_{2}}+b$ $1{{x}_{1}}+1{{x}_{2}}-1$ 從上式我們可以注意到其實這就是一個 直線方程式 L1， 將它繪在蘋果和香蕉的圖上就像： 聰明的你有沒有發現一件事－ 這條直線方程式剛好分開了蘋果和香蕉 ， 而L1的 法向量 正是$[{{w}_{1}},{{w}_{2}}]$， ${{x}_{1}}$ 截距 是$\frac{-b}{{{w}_{1}}}$， ${{x}_{2}}$ 截距 是$\frac{-b}{{{w}_{2}}}$， 我們可以從截距的式子了解到 對於線到原點的距離 $b$ 做著調控的腳色 ， 假若說$b=0$那L1就會經過原點。 接著我們設定 $f$為$\text{hardlim(binarystep)}$ 分別試算蘋果和香蕉的答案： ${{y}^{a}}=f\left( 1\times 1+1\times 1-1 \right)=1$ ${{y}^{b}}=f\left( 1\times -1+1\times -1-1 \ri
繼續閱讀