Transformer と seq2seq with attention の違いは?【Q&A記事】
Question 「 Transformer と seq2seq with atteniton の違いは?」という疑問について,この記事では著者なりに答えたい. Answer まず,以下の図1,図2に,Transform 続きを読む…
Question 「 Transformer と seq2seq with atteniton の違いは?」という疑問について,この記事では著者なりに答えたい. Answer まず,以下の図1,図2に,Transform 続きを読む…
1. アテンション機構(attention) と 系列対系列変換とは [概要] アテンション機構 (Attention Mechanism, 注意機構) とは,入力ベクトル系列(or 集合)の重みづけベクトルを,追加コン 続きを読む…
1 seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は,機械翻訳向けに提案された系列対系列変換モデルであり,seq2seq 続きを読む…
1. ラベル平滑化(Label Smoothing) とは [ 概要] ラベル平滑化(Label Smoothing)とは,ディープニューラルネットワークむけの,クラス識別損失に対する正則化手法の1つである [Szege 続きを読む…