位置符号化 (Positional Encoding, 位置エンコーディング) [Transformer]
1. 位置符号化 (Positional Encoding, 位置エンコーディング) とは [概要] 位置符号化(Positional Encoding, 位置エンコーディング)とは，各トークンが「系列中の何番目の位置( 続きを読む…
カテゴリー: 系列対系列変換
マルチヘッドアテンション (Multi-head Attention) [Transformer]
1. マルチヘッドアテンション (Multi-head Attention) とは [概要] マルチヘッドアテンション (Multi-head Attention) とは，Transformerで提案された，複数のアテン 続きを読む…
Transformer : スタック化したアテンション群で構成された系列変換ネットワーク
1. Transformer とは [概要] Transformer (変換器) とは，マルチヘッドアテンションを主用部品として何度もスタックして用いる，系列対系列変換向けの，巨大な残差接続つきのEncoder-Deco 続きを読む…
seq2seq with attention
1. seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は，seq2seqにアテンション機構を追加して拡張することで，変換精 続きを読む…
seq2seq(sequence-to-sequence)
1 seq2seqとは (概要) seq2seq(sequence-to-sequence) とは，機械翻訳で初めに用いられた，テキストなど系列データ同士の変換モデルをRNN２つから構成されるRNN Encoder-De 続きを読む…