マルチヘッドアテンション (Multi-head Attention) [Transformerの部品]

1. マルチヘッドアテンション (Multi-head Attention) とは [概要] マルチヘッドアテンション (Multi-head Attention) とは，Transformerで提案された，複数のアテン続きを読む…

Transformer と seq2seq with attention の違いは？[系列変換モデル]【Q and A 記事】

1. Question 系列変換モデルであるTransformer と seq2seq with atteniton の違いは？という疑問について，管理人なりの回答(もとい両者の比較)を答えたい．つまり，新旧2つの系続きを読む…

1. Transformer とは [概要] Transformer とはアテンションを主要部品として用いた，深層学習むけの(トークン)系列変換モデルである．この記事では，機械翻訳むけのTransformer [Vasw 続きを読む…

1. softmax 関数 (ソフトマックス関数)とは [概要] softmax 関数とは，機械学習の「多クラス識別モデル」において，確率的なベクトル出力をする際によく用いられる，Maxをソフトに行う出力が行える活性化関続きを読む…

1. seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は，seq2seqにアテンション機構を追加して拡張することで，変換精続きを読む…