位置符号化 (Positional Encoding) [Transformerの部品]
1. 位置符号化 (Positional Encoding) とは [概要] 位置符号化(Positional Encoding, 位置エンコーディング)とは，各トークンが「系列中の何番目の位置(i)にあるか」を一意に区 続きを読む…
カテゴリー: Transformer
マルチヘッドアテンション (Multi-head Attention) [Transformerの部品]
1. マルチヘッドアテンション (Multi-head Attention) とは [概要] マルチヘッドアテンション (Multi-head Attention) とは，Transformerで提案された，複数のアテン 続きを読む…
![Transformerによる系列変換の概略図 [機械翻訳むけ]](https://cvml-expertguide.net/wp-content/uploads/2022/01/6a3865c04a18587685c965a4408b7040-778x438.png)
Transformer: アテンションが主要部品の系列変換モデル [深層学習]
1. Transformer とは [概要] Transformer とはアテンションを主要部品として用いた，深層学習むけの(トークン)系列変換モデルである．従来の系列変換モデルの定番であった「seq2seq with 続きを読む…