Transformer と seq2seq with attention の違いは?【Q&A記事】
Question 「 Transformer と seq2seq with atteniton の違いは?」という疑問について,この記事では著者なりに答えたい. Answer まず,以下の図1,図2に,Transform 続きを読む…
Question 「 Transformer と seq2seq with atteniton の違いは?」という疑問について,この記事では著者なりに答えたい. Answer まず,以下の図1,図2に,Transform 続きを読む…
1. アテンション機構(attention) と 系列対系列変換とは [概要] アテンション機構 (Attention Mechanism, 注意機構) とは,入力ベクトル系列(or 集合)の重みづけベクトルを,追加コン 続きを読む…
1. Transformer とは [概要] Transformer は,機械翻訳などの系列対系列変換問題向けの,マルチヘッドアテンションを主部品に用いた,残差接続型のニューラルネットワークである [Vaswani et 続きを読む…
1. 概要 ラベル平滑化(Label Smoothing)とは,ディープニューラルネットワークむけの,クラス識別損失に対する正則化(regularization)手法である [Szegedy et al., 2016]. 続きを読む…