Transformer とseq2seq with attention の違いは?[系列変換モデル]【Q and A 記事】
1. Question 系列変換モデルであるTransformer と seq2seq with atteniton の違いは? という疑問について,管理人なりの回答(もとい両者の比較)を答えたい. つまり,新旧2つの系 続きを読む…
1. Question 系列変換モデルであるTransformer と seq2seq with atteniton の違いは? という疑問について,管理人なりの回答(もとい両者の比較)を答えたい. つまり,新旧2つの系 続きを読む…
1. 系列変換モデル と アテンション機構 [概要] 系列変換モデルとアテンション機構について,この記事では同時に解説する.系列変換モデルのうち,seq2seqの応用・発展として登場した順どおりに,以下の3つについて解説 続きを読む…
1. seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は,seq2seqにアテンション機構を追加して拡張することで,変換精 続きを読む…
1. ラベル平滑化 (Label Smoothing) とは [ 概要] ラベル平滑化 (Label Smoothing)とは,ディープニューラルネットワークむけの,クラス識別損失に対する正則化手法の1つである [Sze 続きを読む…
1. Encoder-Decoder ネットワークとは [概要] Encoder-Decoder ネットワークとは,オートエンコーダ以降のディープニューラルネットワークでよく用いられる「入出力を端として,中央部の次元を低 続きを読む…