CourseraのML Specializationを毎週分まとめていく(week 3 : Shallow Neural Network)
Neural Networks Overview
- この週はニューラルネットワークを構成する方法を学んでいく
- この章では、その概観が説明される
- これまでに使っていた computing graph はこんな感じ
- computing graph をニューラルネットワークの図にするとこんな感じになる
- この場合、インプットから出ている矢印にwやbが含まれている
- 計算の流れはこういう感じになる
- また、バックプロパゲーションは赤字の流れでする
Neural Network Representation
- この章では、ニューラルネットネットワーク図のレイヤーやノードのラベリングを学んでいく
- x を input layer、シグモイド関数に通した後のレイヤーを output layer という
- また、input と output に挟まれたレイヤーを hidden layer といい、hidden layer は複数層ある場合もある
- トレーニングセットには input layer と output layer を入れておくと学習ができる
- 各レイヤーのすべての要素は a で表すことができるようになっている
- 上付の数字でレイヤーの深さを、下付きの数字でレイヤー内での要素番号が表されている
- ちなみに、input layer は そのまま x が a になる
- また、ニューラルネットネットワークの層には input layer は含まれないので、この図の場合には 2層のニューラルネットネットワークということになる
- この場合、wは(4, 3)の行列になり、bは(4, 1)の行列になる
Computing a Neural Network's Output
- この章では、ニューラルネットワークが out put をどのように計算しているかを見ていく
- hidden layer が1つのニューラルネットネットワークを図にするとこんな感じ
- この時、Z(シグモイド関数に通す式)と、aは右の式で計算できる
- Zをまとめて行列として計算するとこういう感じになる