GELU (Gaussian Error Linear Unit) [Transformer系モデルでよく使用]
1. GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット)とは [概要] GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット) とは，入力値 続きを読む…
タグ: BERT
![Transformerによる系列変換の概略図 [機械翻訳むけ]](https://cvml-expertguide.net/wp-content/uploads/2022/01/6a3865c04a18587685c965a4408b7040-778x438.png)
Transformer : 系列変換モデル向けEncoder-Decoder [深層学習]
1. Transformer (深層学習)とは [概要] Transformer とは，機械翻訳などの系列変換モデルの深層学習に用いる，マルチヘッドアテンションを主部品として用いるDeep Encoder-Decoder 続きを読む…