Transformer と seq2seq with attention の違いは？[系列変換モデル]【Q and A 記事】

1. Question 系列変換モデルであるTransformer と seq2seq with atteniton の違いは？という疑問について，管理人なりの回答(もとい両者の比較)を答えたい．つまり，新旧2つの系続きを読む…

系列変換モデルとアテンション機構 [seq2seq から Transformer まで]

1. 系列変換モデルとアテンション機構の概要系列変換モデルとアテンション機構について，この記事では２つ同時に解説する．また，系列変換モデルのうち，seq2seqの応用・発展を、登場順に以下の3節を通じて解説する． 2節続きを読む…

1. Transformer とは [概要] Transformer とはアテンションを主要部品として用いた，深層学習むけの(トークン)系列変換モデルである．この記事では，機械翻訳むけのTransformer [Vasw 続きを読む…

1. 残差接続 (residual connection)とは [概要] 残差接続 (residual connection)とは，CNNの1種である ResNet [He et al., 2016a], [He et 続きを読む…

1. ラベル平滑化 (Label Smoothing) とは [ 概要] ラベル平滑化 (Label Smoothing)とは，ディープニューラルネットワークむけの，クラス識別損失に対する正則化手法の１つである [Sze 続きを読む…

1. ResNet (Residual Neural Networks)とは [概要] ResNet (Residual Neural Networks)とは，残差接続 (スキップ接続)を活用した残差ブロックを直列に多数続きを読む…

1. Encoder-Decoder ネットワークとは [概要] Encoder-Decoder ネットワーク (構造)とは，オートエンコーダ以降のディープニューラルネットワークでよく用いられる「入出力を端として，中央部続きを読む…