
位置符号化 (Positional Encoding) [Transformerの部品]
1. 位置符号化 (Positional Encoding) とは [概要] 位置符号化(Positional Encoding, 位置エンコーディング)とは,各トークンが「系列中の何番目の位置(i)にあるか」を一意に区 続きを読む…
1. 位置符号化 (Positional Encoding) とは [概要] 位置符号化(Positional Encoding, 位置エンコーディング)とは,各トークンが「系列中の何番目の位置(i)にあるか」を一意に区 続きを読む…
1. マルチヘッドアテンション (Multi-head Attention) とは [概要] マルチヘッドアテンション (Multi-head Attention) とは,Transformerで提案された,複数のアテン 続きを読む…
1. Transformer とは [概要] Transformer とはアテンションを主要部品として用いた,深層学習むけの(トークン)系列変換モデルである.従来の系列変換モデルの定番であった「seq2seq with 続きを読む…