CourseraのML Specializationを毎週分まとめていく(week 1 : Neural Networks and Deep Learning)
3行でまとめると
- ニューラルネットワークの層が増えたものがディープラーニング
- ディープラーニングにはCNNやRNNなどの手法のパターンがあり、画像認識や自然言語処理など用途によって使い分けられる
- ここ数年で解析対象のデータが増え、大量のデータがあれば高精度が望めることが要因となってDLが普及している
What is a neural network?
- 最もシンプルなニューラルネットワークの概念図
- 右側の、家のサイズに対して価格を決定するロジック部分をnodeという
- グラフのように、一定間隔0が続いて、その後上昇するグラフをReLUという
- より複雑になったニューラルネットワークのイメージ
- シンプルな時と同じくそれぞれの○がnodeであり、ReLUになりうる
- サイズとベッドの数によって住める人数が決まり、郵便番号によってアクセス性が決まり....という感じで、最終的に価格が決まる
- 一番左の4つがxにあたり、一番右がyにあたる
- 真ん中の層は隠れそうと呼ばれる
Supervised Learning with Neural Networks
- 機械学習の多くは教師あり
- 画像認識系のディープラーニングではCNNが使われることが多い
- 音声など、時系列のあるシーケンスデータではRNNが使われることが多い
- 各種のニューラルネットワークのイメージはこんな感じ(この時点ではよくわからない)
- ディープラーニングは構造化データと非構造化データの両方に使える
- 構造化データとは、データベースに入っているようなデータ
- 非構造化データとは、音声や画像のように、そのままでは扱えないデータ
- ここ数年で、猫の認識や翻訳などの非構造化データの分野が発展したが、ビジネスの世界では、広告などの短期的に効果の出やすい構造化データの分野が人気
Why is Deep Learning taking off?
- ニューラルネットワークはデータが多いほど効果を発揮する
- SVMなどの手法では、赤線のように一定以上のデータをうまく扱えない
- ニューラルネットワークは、パラメータや隠し層が増えるごとに、データが多い時の効果が上がっていく
- データが少ないと、手法による違いは出にくい
- 近年ニューラルネットワークが注目されているのは、データが増えたことと、処理が早くなったことが理由
- 処理がスケールしだした理由は、アルゴリズムの改良もある
- 左のシグモイド関数では、傾きが0になる部分が多い
- 右のReLUでは、0を超えたら常に傾きは1
- ニューラルネットワークではReLUがよく使われる