發表文章

Deep Learning的起源︰第二章-Neural Network的空間意義

圖片
keyword:深度學習deep learning,類神經網路Neural Network。 前言: 前一章我們已經將基本的類神經網路解釋完畢了,我們也了解到weight和bias的使用以及意義,然而可能有些人對數學式可能比較沒感覺(我就是QQ),所以我們這章將解釋NN(Neural Network)在空間上的意義。 Neural Network的空間意義 首先我們舉一個蘋果跟香蕉的分類問題, 特徵  ${x_{1}}$ 代表是不是圓的,是的話=1,不是的話=-1。 特徵  ${{x}_{2}}$ 代表是不是硬的,是的話=1,不是的話=-1。 蘋果 又圓 又硬: $\left[ x_{1}^{a},x_{2}^{a} \right]=\left[ 1,1 \right]$   香蕉 又長 又軟: $\left[ x_{1}^{b},x_{2}^{b} \right]=\left[ -1,-1 \right]$ 所以我們可以將上面的蘋果和香蕉畫在圖上: 接著我們假設$[{{w}_{1}},{{w}_{2}}]=[1,1]$,$b=-1$也就是: ${{w}_{1}}{{x}_{1}}+{{w}_{2}}{{x}_{2}}+b$ $1{{x}_{1}}+1{{x}_{2}}-1$ 從上式我們可以注意到其實這就是一個 直線方程式 L1, 將它繪在蘋果和香蕉的圖上就像: 聰明的你有沒有發現一件事- 這條直線方程式剛好分開了蘋果和香蕉 , 而L1的 法向量 正是$[{{w}_{1}},{{w}_{2}}]$, ${{x}_{1}}$ 截距 是$\frac{-b}{{{w}_{1}}}$, ${{x}_{2}}$ 截距 是$\frac{-b}{{{w}_{2}}}$, 我們可以從截距的式子了解到 對於線到原點的距離 $b$ 做著調控的腳色 , 假若說$b=0$那L1就會經過原點。 接著我們設定 $f$為$\text{hardlim(binarystep)}$ 分別試算蘋果和香蕉的答案: ${{y}^{a}}=f\left( 1\times 1+1\times 1-1 \right)=1$ ${{y}^{b}}=f\left( 1\times -1+1\times -1-1 \ri

激勵函數(Activation function)

圖片
keyword:深度學習deep learning,類神經網路Neural Network,激勵函數Activation function,轉移函數Transfer function。 這個篇章主要講每一種激勵函數, 基本上因為還有很多新的激勵函數被提出, 所以會一直更新喔~~ 原本要自己打的,不過wiki有很棒的圖XDD, 要的話當然是用最好的, 不過往後 會陸續更新 ,譬如說:ReLU的好處之類的。 圖片來源:https://en.wikipedia.org/wiki/Activation_function

Deep Learning的起源︰第一章-Neural Network

圖片
keyword:深度學習deep learning,類神經網路Neural Network。 在談到Deep Learning前我們都要先談Neural Network, Neural Network直譯的話就是神經網路,較多數人說的是 : 類神經網路 類神經網路是科學家們藉由觀察人類神經並將其數學化的成果, 如上圖我們可以看到是人類的神經網路, 而下圖是類神經網路的架構圖,我們可以發現跟人類的神經有幾分相似, 寫成數學式如下: $a={b+{w}_{1}}{{x}_{1}}+{{w}_{2}}{{x}_{2}}+\cdots +{{w}_{n}}{{x}_{n}}=b+\sum\limits_{i=1}^{n}{{{w}_{i}}{{x}_{i}}}$ $y=f\left( a \right)$  x是輸入(input) :模仿細胞間傳遞時的訊號,可以是很多個。 w是權重(weight) :模仿細胞的樹突,對應著每個輸入(input),輸入有幾個權重就有幾個。 b是偏權值(bias) :有點閥值的意義,後面會做解釋。 a是還未經過激勵函數的輸出。 f是激勵函數(activation function)也可稱為轉移函數(transfer function):詳細的激勵函數會另外開一章做講解。 y是輸出(output) 。 我們可以將神經傳導的過程解讀為: 輸入訊號(x) -> 權重(w) 看輸入的訊號哪個重要 -> 偏權值(b) 給予門檻 ->激勵函數(f)分辨是否超過門檻 -> 輸出訊號(output) 舉兩個例子就能理解了 假設有一個神經元 $\left[ {{w}_{1}},{{w}_{2}},{{w}_{3}} \right]=\left[ 0,1,1 \right]$ $b=-3$ $f\left( a \right)$  設定為︰ $y=1,a\ge 0$  $y=0,a<0$ 我們先了解權重(weight)的意義 假設神經元輸入(input)為兩組不同的訊號 第一組 $\left[ x_{1}^{1},x_{2}^{1},x_{3}

關於這個Blog和我

目前我是一個Deep learning的研究者 寫這篇的時候還是碩一 主要專攻的領域是影像的部份 設立這個Blog主要是因為 想紀錄一下自己的學習過程 讓自己更扎實 想和別人一起討論或被糾正 希望未來的其他初學者也能因為這個網站獲益良多 這個Blog未來主要會是幾個方向︰ Deep learning的基本概念 通用類型的論文 影像類的論文 聲音類的論文(應該幾乎沒有) 強化學習(Reinforcement Learning)類的論文 競爭式網路(Generative Adversarial Networks)類的論文 其他類(DL框架、一些日常) 至於會不會放上code就再說了 然後希望能週更 也可能會更新一些自己在學習的東西 以上