アテンション機構(attention)と系列対系列変換 [seq2seq~Transformer]
1. アテンション機構(attention) と 系列対系列変換とは [概要] アテンション機構 (Attention Mechanism, 注意機構) とは，入力ベクトル系列(or 集合)の重みづけベクトルを，追加コン 続きを読む…
カテゴリー: 系列対系列変換
Transformer: マルチヘッドアテンションを主部品とする系列対系列変換ネットワーク
1. Transformer とは [概要] Transformer は，機械翻訳などの系列対系列変換問題向けの，マルチヘッドアテンションを主部品に用いた，残差接続型のニューラルネットワークである [Vaswani et 続きを読む…
seq2seq with attention
1 seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は，機械翻訳向けに提案された系列対系列変換モデルであり，seq2seq 続きを読む…
seq2seq(sequence-to-sequence)
1 seq2seqとは (概要) seq2seq(sequence-to-sequence) とは，機械翻訳で初めに用いられた，テキストなど系列データ同士の変換モデルをRNN２つから構成されるRNN Encoder-De 続きを読む…