GELU (Gaussian Error Linear Unit) [活性化関数]
1. GELU とは [概要] GELU(Gaussian Error Linear Unit) とは,Google DeepMindから提案された,ランダム正則化の機能も持つReLU系活性化関数である [Hendryc 続きを読む…
1. GELU とは [概要] GELU(Gaussian Error Linear Unit) とは,Google DeepMindから提案された,ランダム正則化の機能も持つReLU系活性化関数である [Hendryc 続きを読む…
1. tanh 関数とは [概要] tanh関数 (Hyperbolic tangent function, 双曲線正接関数) とは,ニューラルネットワークにおいて,隠れ層に用いられる活性化関数の1つである.シグモイド関 続きを読む…
1. シグモイド関数 (sigmoid function)とは [概要] シグモイド関数(sigmoid function)とは,機械学習の「2クラス識別モデル」において,確率的なベクトル出力をする際によく用いられる活性 続きを読む…
1. softmax 関数とは [概要] softmax関数とは,機械学習の「多クラス識別モデル」において,確率的なベクトル出力をする際によく用いられる,活性化関数の1種である.softmax関数は,(2クラス0~1での 続きを読む…
1. ReLU とは [概要] ReLU (Rectified Linear Units, 整流化線形ユニット)は,ディープニューラルネットワークにおいて広く用いられる活性化関数である [Nair et al., 201 続きを読む…