マルチヘッドアテンション (Multi-head Attention) [Transformerの部品]

1. マルチヘッドアテンション (Multi-head Attention) とは [概要] マルチヘッドアテンション (Multi-head Attention) とは，Transformerで提案された，複数のアテン続きを読む…

Transformer とseq2seq with attention の違いは？[系列変換モデル]【Q and A 記事】

1. Question 系列変換モデルであるTransformer と seq2seq with atteniton の違いは？という疑問について，管理人なりの回答(もとい両者の比較)を答えたい．つまり，新旧2つの系続きを読む…

1. Transformer (深層学習)とは [概要] Transformer とは，機械翻訳などの系列変換モデルの深層学習に用いる，マルチヘッドアテンションを主部品として用いるDeep Encoder-Decoder 続きを読む…

1. softmax 関数 (ソフトマックス関数)とは [概要] softmax 関数とは，機械学習の「多クラス識別モデル」において，確率的なベクトル出力をする際によく用いられる，Maxをソフトに行う出力が行える活性化関続きを読む…

1. seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は，seq2seqにアテンション機構を追加して拡張することで，変換精続きを読む…