GELU (Gaussian Error Linear Unit) [Transformer系モデルでよく使用]
1. GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット)とは [概要] GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット) とは，入力値 続きを読む…
タグ: GELU
![Transformerによる系列変換の概略図 [機械翻訳むけ]](https://cvml-expertguide.net/wp-content/uploads/2022/01/6a3865c04a18587685c965a4408b7040-778x438.png)
Transformer: アテンションが主要部品の系列変換モデル [深層学習]
1. Transformer とは [概要] Transformer とはアテンションを主要部品として用いた，深層学習むけの(トークン)系列変換モデルである．従来の系列変換モデルの定番であった「seq2seq with 続きを読む…
ReLU とその発展型の活性化関数 [GELU, Swish, Mish など]
1. ReLU (Rectified Linear Units) 型の活性化関数 とは [概要] ReLU (Rectified Linear Units, 整流化線形ユニット)は，ディープニューラルネットワークにおいて 続きを読む…