位置符号化 (Positional Encoding) [Transformerの部品]

1. 位置符号化 (Positional Encoding) とは [概要] 位置符号化(Positional Encoding, 位置エンコーディング)とは，各トークンが「系列中の何番目の位置(i)にあるか」を一意に区続きを読む…

マルチヘッドアテンション (Multi-head Attention) [Transformerの部品]

1. マルチヘッドアテンション (Multi-head Attention) とは [概要] マルチヘッドアテンション (Multi-head Attention) とは，Transformerで提案された，複数のアテン続きを読む…

1. 系列変換モデルとアテンション機構の概要系列変換モデルとアテンション機構について，この記事では２つ同時に解説する．また，系列変換モデルのうち，seq2seqの応用・発展を、登場順に以下の3節を通じて解説する． 2節続きを読む…

1. Transformer とは [概要] Transformer とはアテンションを主要部品として用いた，深層学習むけの(トークン)系列変換モデルである．この記事では，機械翻訳むけのTransformer [Vasw 続きを読む…

1. seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は，seq2seqにアテンション機構を追加して拡張することで，変換精続きを読む…

1. seq2seq (sequence-to-sequence) for 機械翻訳 [概要] seq2seq (sequence-to-sequence) とは，機械翻訳で初めに用いられた，テキストなど系列データ同士の続きを読む…