Transformer と seq2seq with attention の違いは？[系列変換モデル]【Q and A 記事】

1. Question 系列変換モデルであるTransformer と seq2seq with atteniton の違いは？という疑問について，管理人なりの回答(もとい両者の比較)を答えたい．つまり，新旧2つの系続きを読む…

系列変換モデルとアテンション機構 [seq2seq から Transformer まで]

1. 系列変換モデルとアテンション機構の概要系列変換モデルとアテンション機構について，この記事では２つ同時に解説する．また，系列変換モデルのうち，seq2seqの応用・発展を、登場順に以下の3節を通じて解説する． 2節続きを読む…

1. seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は，seq2seqにアテンション機構を追加して拡張することで，変換精続きを読む…

1. ラベル平滑化 (Label Smoothing) とは [ 概要] ラベル平滑化 (Label Smoothing)とは，ディープニューラルネットワークむけの，クラス識別損失に対する正則化手法の１つである [Sze 続きを読む…

1. Encoder-Decoder ネットワークとは [概要] Encoder-Decoder ネットワーク (構造)とは，オートエンコーダ以降のディープニューラルネットワークでよく用いられる「入出力を端として，中央部続きを読む…