Transformer と seq2seq with attention の違いは？【Q&A記事】
Question 「 Transformer と seq2seq with atteniton の違いは？」という疑問について，この記事では著者なりに答えたい． Answer まず，以下の図1，図2に，Transform 続きを読む…
タグ: Transformer
アテンション機構(attention)と系列対系列変換 [seq2seq~Transformer]
1. アテンション機構(attention) と 系列対系列変換とは [概要] アテンション機構 (Attention Mechanism, 注意機構) とは，入力ベクトル系列(or 集合)の重みづけベクトルを，追加コン 続きを読む…
Transformer: マルチヘッドアテンションを主部品とする系列対系列変換ネットワーク
1. Transformer とは [概要] Transformer は，機械翻訳などの系列対系列変換問題向けの，マルチヘッドアテンションを主部品に用いた，残差接続型のニューラルネットワークである [Vaswani et 続きを読む…
ラベル平滑化(Label Smoothing)による正則化
1. 概要 ラベル平滑化(Label Smoothing)とは，ディープニューラルネットワークむけの，クラス識別損失に対する正則化（regularization）手法である [Szegedy et al., 2016]． 続きを読む…