スキップ接続(Skip connection)
1. スキップ接続 (skip connection)とは [概要] スキップ接続 (skip connection)とは，ディープニューラルネットワークにおいて，途中の複数層をN層分スキップして先の層へとつなげる迂回パ 続きを読む…
タグ: Transformer
位置符号化 (Positional Encoding, 位置エンコーディング) [Transformer]
1. 位置符号化 (Positional Encoding, 位置エンコーディング) とは [概要] 位置符号化(Positional Encoding, 位置エンコーディング)とは，各トークンが「系列中の何番目の位置( 続きを読む…
埋め込み層 (Embedding Layer) [自然言語処理の文脈で]
1. 埋め込み層(Embedding Layer)とは [概要] 埋め込み層(Embedding Layer)とは，入力の単語・トークンのone-hotベクトル表現(K次元=数万語の辞書)を，自然言語処理ネットワークが扱 続きを読む…
全結合層(fully-connected layer)
1. 全結合層(fully-connected layer)とは [概要] 全結合層(fully-connected layer)とは，ニューラルネットワークにおいて，前後の層と密に全て接続する層である．全結合層の役割は 続きを読む…
マルチヘッドアテンション (Multi-head Attention) [Transformer]
1. マルチヘッドアテンション (Multi-head Attention) とは [概要] マルチヘッドアテンション (Multi-head Attention) とは，Transformerで提案された，複数のアテン 続きを読む…