Transformer と seq2seq with attention の違いは？【Q&A記事】
Question 「 Transformer と seq2seq with atteniton の違いは？」という疑問について，この記事では著者なりに答えたい． Answer まず，以下の図1，図2に，Transform 続きを読む…
タグ: seq2seq with attention
アテンション機構(attention)と系列対系列変換 [seq2seq~Transformer]
1. アテンション機構(attention) と 系列対系列変換とは [概要] アテンション機構 (Attention Mechanism, 注意機構) とは，入力ベクトル系列(or 集合)の重みづけベクトルを，追加コン 続きを読む…
seq2seq with attention
1 seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は，機械翻訳向けに提案された系列対系列変換モデルであり，seq2seq 続きを読む…
ラベル平滑化(Label Smoothing)による正則化
1. ラベル平滑化(Label Smoothing) とは [ 概要] ラベル平滑化(Label Smoothing)とは，ディープニューラルネットワークむけの，クラス識別損失に対する正則化手法の１つである [Szege 続きを読む…