CourseraのML Specializationを毎週分まとめていく(week 3 : Shallow Neural Network)

Neural Networks Overview

  • この週はニューラルネットワークを構成する方法を学んでいく
  • この章では、その概観が説明される
  • f:id:solt0723:20180820214533p:plain
  • これまでに使っていた computing graph はこんな感じ
  • f:id:solt0723:20180820214623p:plain

  • computing graph をニューラルネットワークの図にするとこんな感じになる
  • この場合、インプットから出ている矢印にwやbが含まれている
  • f:id:solt0723:20180820214852p:plain

  • 計算の流れはこういう感じになる
  • また、バックプロパゲーションは赤字の流れでする

Neural Network Representation

  • この章では、ニューラルネットネットワーク図のレイヤーやノードのラベリングを学んでいく
  • f:id:solt0723:20180820221003p:plain

  • x を input layer、シグモイド関数に通した後のレイヤーを output layer という
  • また、input と output に挟まれたレイヤーを hidden layer といい、hidden layer は複数層ある場合もある
  • トレーニングセットには input layer と output layer を入れておくと学習ができる
  • f:id:solt0723:20180820222405p:plain

  • 各レイヤーのすべての要素は a で表すことができるようになっている
  • 上付の数字でレイヤーの深さを、下付きの数字でレイヤー内での要素番号が表されている
  • ちなみに、input layer は そのまま x が a になる
  • また、ニューラルネットネットワークの層には input layer は含まれないので、この図の場合には 2層のニューラルネットネットワークということになる
  • この場合、wは(4, 3)の行列になり、bは(4, 1)の行列になる

Computing a Neural Network's Output