位置符号化 (Positional Encoding, 位置エンコーディング) [Transformer の部品]
1. 位置符号化 (Positional Encoding, 位置エンコーディング) とは [概要] 位置符号化(Positional Encoding, 位置エンコーディング)とは，各トークンが「系列中の何番目の位置( 続きを読む…
カテゴリー: 系列対系列変換
マルチヘッドアテンション (Multi-head Attention) [Transformer]
1. マルチヘッドアテンション (Multi-head Attention) とは [概要] マルチヘッドアテンション (Multi-head Attention) とは，Transformerで提案された，複数のアテン 続きを読む…
Transformer (機械学習) : アテンション中心構成の系列変換むけEncoder-Decoder
1. Transformerとは [概要] Transformer とは，自然言語処理由来の，アテンションを主部品として採用した，トークン入力系列変換問題むけのEncoder-Decoderである．Transformer 続きを読む…
seq2seq with attention
1. seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は，seq2seqにアテンション機構を追加して拡張することで，変換精 続きを読む…
seq2seq (sequence-to-sequence)
1. seq2seq (sequence-to-sequence)とは [概要] seq2seq (sequence-to-sequence) とは，機械翻訳で初めに用いられた，テキストなど系列データ同士の系列変換モデル 続きを読む…