活性化関数(activation function)[ディープラーニング向け]
1. 活性化関数とは [概要] 活性化関数(activation function)とは，ニューラルネットワーク中の１つのニューロンにおいて，複数ノードの和を入力として，その出力を最終決定する関数である．名前の通り「小さ 続きを読む…
タグ: ReLU
ReLU とその発展型の活性化関数【GELU, Swish, Mish など】
1. ReLU とは [概要] ReLU (Rectified Linear Units, 整流化線形ユニット)は，ディープニューラルネットワークにおいて広く用いられる活性化関数である [Nair et al., 201 続きを読む…
AlexNet: 大規模な画像認識CNNの元祖
1. AlexNetとは [概要] AlexNetとは，Geoffrey Hinton 研究室の Alex Krizhevsky と，その指導役であった Ilya Sutskever (Wikipedia)の3人により提 続きを読む…