GELU (Gaussian Error Linear Unit) [活性化関数]

1. GELU とは [概要] GELU(Gaussian Error Linear Unit) とは，Google DeepMindから提案された，ランダム正則化の機能も持つReLU系活性化関数である [Hendryc 続きを読む…

tanh 関数 [活性化関数]

1. tanh 関数とは [概要] tanh関数 (Hyperbolic tangent function, 双曲線正接関数) とは，ニューラルネットワークにおいて，隠れ層に用いられる活性化関数の１つである．シグモイド関続きを読む…

1. シグモイド関数 (sigmoid function)とは [概要] シグモイド関数(sigmoid function)とは，機械学習の「2クラス識別モデル」において，確率的なベクトル出力をする際によく用いられる活性続きを読む…

1. softmax 関数とは [概要] softmax関数とは，機械学習の「多クラス識別モデル」において，確率的なベクトル出力をする際によく用いられる，活性化関数の1種である．softmax関数は，(2クラス0~1での続きを読む…

1. ReLU とは [概要] ReLU (Rectified Linear Units, 整流化線形ユニット)は，ディープニューラルネットワークにおいて広く用いられる活性化関数である [Nair et al., 201 続きを読む…