勾配消失問題・勾配爆発問題 (in ディープラーニング) とその対処法リスト．

1. 勾配消失問題の概要と，記事の構成について勾配消失問題(vanishing gradient problem)とは，(ディープ)ニューラルネットワークの誤差逆伝搬において，DNN内の活性化関数の勾配が，手前の方の層続きを読む…

転移学習 (transfer learning) [深層学習・CNNむけ]

1. 転移学習 (transfer learning) とは [概要] 転移学習 (transfer learning)とは，事前学習済みの予測モデルを，下流タスク用のデータセットで再度学習して調整することにより，「控え続きを読む…

1. ファイン・チューニング (fine-tuning, 精密調整) とは [概要] ファイン・チューニング (fine-tuning)とは，大規模データセットから事前学習済みのディープニューラルネットワークを初期パラメ続きを読む…

1. スクラッチからの学習 (learn from scratch) とは [概要] スクラッチからの学習 (train from scratch)とは，大規模なディープニューラルネットワーク (DNN)の学習において，続きを読む…

1. end-to-end learning (端対端学習) とは [概要] end-to-end learning (端対端学習) とは，ディープラーニングにおいて，1つの問題やタスクに対して，ネットワーク中の入力層( 続きを読む…

1. 重み初期化 (weight initialization)とは [概要] 重み初期化 (weight initialization)は，ディープニューラルネットワーク(DNN)において，各線形層のパラメータを学習す続きを読む…