關於這個Blog和我

目前我是一個Deep learning的研究者
寫這篇的時候還是碩一
主要專攻的領域是影像的部份

設立這個Blog主要是因為
想紀錄一下自己的學習過程 讓自己更扎實
想和別人一起討論或被糾正
希望未來的其他初學者也能因為這個網站獲益良多

這個Blog未來主要會是幾個方向︰
Deep learning的基本概念
通用類型的論文
影像類的論文
聲音類的論文(應該幾乎沒有)
強化學習(Reinforcement Learning)類的論文
競爭式網路(Generative Adversarial Networks)類的論文
其他類(DL框架、一些日常)

至於會不會放上code就再說了
然後希望能週更
也可能會更新一些自己在學習的東西
以上




留言

張貼留言

這個網誌中的熱門文章

Deep Learning的起源︰第一章-Neural Network

圖片
keyword：深度學習deep learning，類神經網路Neural Network。 在談到Deep Learning前我們都要先談Neural Network， Neural Network直譯的話就是神經網路，較多數人說的是 ： 類神經網路 類神經網路是科學家們藉由觀察人類神經並將其數學化的成果， 如上圖我們可以看到是人類的神經網路， 而下圖是類神經網路的架構圖，我們可以發現跟人類的神經有幾分相似， 寫成數學式如下： $a={b+{w}_{1}}{{x}_{1}}+{{w}_{2}}{{x}_{2}}+\cdots +{{w}_{n}}{{x}_{n}}=b+\sum\limits_{i=1}^{n}{{{w}_{i}}{{x}_{i}}}$ $y=f\left( a \right)$  x是輸入(input) ：模仿細胞間傳遞時的訊號，可以是很多個。 w是權重(weight) ：模仿細胞的樹突，對應著每個輸入(input)，輸入有幾個權重就有幾個。 b是偏權值(bias) ：有點閥值的意義，後面會做解釋。 a是還未經過激勵函數的輸出。 f是激勵函數(activation function)也可稱為轉移函數(transfer function)：詳細的激勵函數會另外開一章做講解。 y是輸出(output) 。 我們可以將神經傳導的過程解讀為： 輸入訊號(x) -> 權重(w) 看輸入的訊號哪個重要 -> 偏權值(b) 給予門檻 ->激勵函數(f)分辨是否超過門檻 -> 輸出訊號(output) 舉兩個例子就能理解了 假設有一個神經元 $\left[ {{w}_{1}},{{w}_{2}},{{w}_{3}} \right]=\left[ 0,1,1 \right]$ $b=-3$ $f\left( a \right)$  設定為︰ $y=1,a\ge 0$  $y=0,a<0$ 我們先了解權重(weight)的意義 假設神經元輸入(input)為兩組不同的訊號 第一組 $\left[ x_{1}^{1},x...
繼續閱讀

Deep Learning的起源︰第二章-Neural Network的空間意義

圖片
keyword：深度學習deep learning，類神經網路Neural Network。 前言： 前一章我們已經將基本的類神經網路解釋完畢了，我們也了解到weight和bias的使用以及意義，然而可能有些人對數學式可能比較沒感覺(我就是QQ)，所以我們這章將解釋NN(Neural Network)在空間上的意義。 Neural Network的空間意義 首先我們舉一個蘋果跟香蕉的分類問題， 特徵  ${x_{1}}$ 代表是不是圓的，是的話=1，不是的話=-1。 特徵  ${{x}_{2}}$ 代表是不是硬的，是的話=1，不是的話=-1。 蘋果 又圓 又硬： $\left[ x_{1}^{a},x_{2}^{a} \right]=\left[ 1,1 \right]$   香蕉 又長 又軟： $\left[ x_{1}^{b},x_{2}^{b} \right]=\left[ -1,-1 \right]$ 所以我們可以將上面的蘋果和香蕉畫在圖上： 接著我們假設$[{{w}_{1}},{{w}_{2}}]=[1,1]$，$b=-1$也就是： ${{w}_{1}}{{x}_{1}}+{{w}_{2}}{{x}_{2}}+b$ $1{{x}_{1}}+1{{x}_{2}}-1$ 從上式我們可以注意到其實這就是一個 直線方程式 L1， 將它繪在蘋果和香蕉的圖上就像： 聰明的你有沒有發現一件事－ 這條直線方程式剛好分開了蘋果和香蕉 ， 而L1的 法向量 正是$[{{w}_{1}},{{w}_{2}}]$， ${{x}_{1}}$ 截距 是$\frac{-b}{{{w}_{1}}}$， ${{x}_{2}}$ 截距 是$\frac{-b}{{{w}_{2}}}$， 我們可以從截距的式子了解到 對於線到原點的距離 $b$ 做著調控的腳色 ， 假若說$b=0$那L1就會經過原點。 接著我們設定 $f$為$\text{hardlim(binarystep)}$ 分別試算蘋果和香蕉的答案： ${{y}^{a}}=f\left( 1\times 1+1\times 1-1 \right)=1$ ${{y}^{b}}=f\left( 1\times -1+1\...
繼續閱讀

激勵函數(Activation function)

圖片
keyword：深度學習deep learning，類神經網路Neural Network，激勵函數Activation function，轉移函數Transfer function。 這個篇章主要講每一種激勵函數， 基本上因為還有很多新的激勵函數被提出， 所以會一直更新喔~~ 原本要自己打的，不過wiki有很棒的圖XDD， 要的話當然是用最好的， 不過往後 會陸續更新 ，譬如說：ReLU的好處之類的。 圖片來源：https://en.wikipedia.org/wiki/Activation_function
繼續閱讀