アテンション機構(attention)と系列対系列変換 [seq2seq~Transformer]
1. 系列対系列変換と attention 機構の概要 アテンション機構 (Attention Mechanism, 注意機構) は，入力ベクトル系列（or 集合）の重みづけベクトルを，追加コンテキストベクトルとして作成 続きを読む…
タグ: seq2seq with attention
seq2seq with attention
1 seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は，機械翻訳向けに提案された系列対系列変換モデルであり，seq2seq 続きを読む…
ラベル平滑化(Label Smoothing)による正則化
1 概要 ラベル平滑化(Label Smoothing) [Szegedy et al., 2016]とは，ディープニューラルネットワークむけの，クラス識別損失に対する正則化（regularization）手法である．ハ 続きを読む…