アテンション機構(attention)と系列対系列変換 [seq2seq~Transformer]

1. アテンション機構(attention) と 系列対系列変換とは [概要] アテンション機構 (Attention Mechanism, 注意機構) とは,入力ベクトル系列(or 集合)の重みづけベクトルを,追加コン 続きを読む…

SNSでシェアやブックマークを行う

Transformer: マルチヘッドアテンションを主部品とする系列対系列変換ネットワーク

1. Transformer とは [概要] Transformer は,機械翻訳などの系列対系列変換問題向けの,マルチヘッドアテンションを主部品に用いた,残差接続型のニューラルネットワークである [Vaswani et 続きを読む…

SNSでシェアやブックマークを行う

ラベル平滑化(Label Smoothing)による正則化

1. 概要 ラベル平滑化(Label Smoothing)とは,ディープニューラルネットワークむけの,クラス識別損失に対する正則化(regularization)手法である [Szegedy et al., 2016]. 続きを読む…

SNSでシェアやブックマークを行う