GELU (Gaussian Error Linear Unit) [Transformer 系モデルでよく使用]
1. GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット)とは [概要] GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット) とは，入力値 続きを読む…
カテゴリー: 活性化関数
tanh 関数 [活性化関数]
1. tanh 関数とは [概要] tanh関数 (Hyperbolic tangent function, 双曲線正接関数) とは，ニューラルネットワークにおいて，隠れ層に用いられる活性化関数の１つである．シグモイド関 続きを読む…
シグモイド関数(sigmoid function)
1. シグモイド関数 (sigmoid function)とは [概要] シグモイド関数(sigmoid function)とは，機械学習の「2クラス識別モデル」において，確率的なベクトル出力をする際によく用いられる活性 続きを読む…
softmax 関数 (ソフトマックス関数) [活性化関数]
1. softmax 関数 (ソフトマックス関数)とは [概要] softmax 関数とは，機械学習の「多クラス識別モデル」において，確率的なベクトル出力をする際によく用いられる，Maxをソフトに行う出力が行える活性化関 続きを読む…
ReLU とその発展型 [GELU, Swish, Mish など]
1. ReLU(Rectified Linear Units) 型の活性化関数 とは [概要] ReLU (Rectified Linear Units, 整流化線形ユニット)は，ディープニューラルネットワークにおいて広 続きを読む…