
GELU (Gaussian Error Linear Unit) [Transformer系モデルでよく使用]
1. GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット)とは [概要] GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット) とは,入力値 続きを読む…
1. GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット)とは [概要] GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット) とは,入力値 続きを読む…
1. tanh 関数とは [概要] tanh関数 (Hyperbolic tangent function, 双曲線正接関数) とは,ニューラルネットワークにおいて,隠れ層に用いられる活性化関数の1つである.シグモイド関 続きを読む…
1. シグモイド関数 (sigmoid function)とは [概要] シグモイド関数(sigmoid function)とは,機械学習の「2クラス識別モデル」において,確率的なベクトル出力をする際によく用いられる活性 続きを読む…
1. softmax 関数 (ソフトマックス関数)とは [概要] softmax 関数とは,機械学習の「多クラス識別モデル」において,確率的なベクトル出力をする際によく用いられる,Maxをソフトに行う出力が行える活性化関 続きを読む…
1. ReLU (Rectified Linear Units) 型の活性化関数 とは [概要] ReLU (Rectified Linear Units, 整流化線形ユニット)は,ディープニューラルネットワークにおいて 続きを読む…