Transformer とseq2seq with attention の違いは？[系列変換モデル]【Q and A 記事】

1. Question 系列変換モデルであるTransformer と seq2seq with atteniton の違いは？という疑問について，管理人なりの回答(もとい両者の比較)を答えたい．つまり，新旧2つの系続きを読む…

系列変換モデルとアテンション機構 [seq2seq から Transformer まで]

1. 系列変換モデルとアテンション機構 [概要] 系列変換モデルとアテンション機構について，この記事では同時に解説する．系列変換モデルのうち，seq2seqの応用・発展として登場した順どおりに，以下の3つについて解説続きを読む…

1. seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は，seq2seqにアテンション機構を追加して拡張することで，変換精続きを読む…

1. ラベル平滑化 (Label Smoothing) とは [ 概要] ラベル平滑化 (Label Smoothing)とは，ディープニューラルネットワークむけの，クラス識別損失に対する正則化手法の１つである [Sze 続きを読む…

1. Encoder-Decoder ネットワークとは [概要] Encoder-Decoder ネットワークとは，オートエンコーダ以降のディープニューラルネットワークでよく用いられる「入出力を端として，中央部の次元を低続きを読む…