位置符号化 (Positional Encoding, 位置エンコーディング) [Transformer の部品]
1. 位置符号化 (Positional Encoding, 位置エンコーディング) とは [概要] 位置符号化(Positional Encoding, 位置エンコーディング)とは,各トークンが「系列中の何番目の位置( 続きを読む…
1. 位置符号化 (Positional Encoding, 位置エンコーディング) とは [概要] 位置符号化(Positional Encoding, 位置エンコーディング)とは,各トークンが「系列中の何番目の位置( 続きを読む…
1. マルチヘッドアテンション (Multi-head Attention) とは [概要] マルチヘッドアテンション (Multi-head Attention) とは,Transformerで提案された,複数のアテン 続きを読む…
1. Transformerとは [概要] Transformer とは,自然言語処理由来の,アテンションを主部品として採用した,トークン入力系列変換問題むけのEncoder-Decoderである.Transformer 続きを読む…
1. seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は,seq2seqにアテンション機構を追加して拡張することで,変換精 続きを読む…
1. seq2seq (sequence-to-sequence)とは [概要] seq2seq (sequence-to-sequence) とは,機械翻訳で初めに用いられた,テキストなど系列データ同士の系列変換モデル 続きを読む…