タグ: Transformer
コンピュータビジョン(Computer Vision)
1. コンピュータビジョン (Computer Vision)とは [概要] コンピュータビジョン (Computer Vision)とは，「計算機(Computer)が実行する視覚(Vision)的システムの技術」を取 続きを読む…
スキップ接続 (Skip connection)
1. スキップ接続 (skip connection)とは [概要] スキップ接続 (skip connection)とは，ディープニューラルネットワークにおいて，途中の複数層をN層分スキップして先の層へとつなげる迂回パ 続きを読む…
位置符号化 (Positional Encoding) [Transformerの部品]
1. 位置符号化 (Positional Encoding) とは [概要] 位置符号化(Positional Encoding, 位置エンコーディング)とは，各トークンが「系列中の何番目の位置(i)にあるか」を一意に区 続きを読む…
埋め込み層 (Embedding Layer) [自然言語処理の文脈で]
1. 埋め込み層 (Embedding Layer)とは [概要] 埋め込み層(Embedding Layer)とは，入力のトークンのone-hotベクトル表現(K次元=数万語の辞書)を，自然言語処理ネットワークが扱いや 続きを読む…
全結合層 (fully-connected layer) [線形層]
1. 全結合層 (fully-connected layer)とは [概要] 全結合層 (fully-connected layer, 全连接层)とは，ニューラルネットワークにおいて，前後の層と密に全てのニューロン同士が 続きを読む…
マルチヘッドアテンション (Multi-head Attention) [Transformerの部品]
1. マルチヘッドアテンション (Multi-head Attention) とは [概要] マルチヘッドアテンション (Multi-head Attention) とは，Transformerで提案された，複数のアテン 続きを読む…
GELU (Gaussian Error Linear Unit) [Transformer系モデルでよく使用]
1. GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット)とは [概要] GELU (Gaussian Error Linear Unit, ガウス誤差線形ユニット) とは，入力値 続きを読む…
one-hot ベクトル [ディープラーニングの文脈で]
1. one-hot ベクトルとは [概要] one-hot ベクトル とは，K次元ベクトルのうち1つの次元だけが1であり，他の次元の値は全て0であるベクトル表現である．ベクトルは略して，one-hot 表現 (one- 続きを読む…
Transformer と seq2seq with attention の違いは？[系列変換モデル]【Q and A 記事】
1. Question 系列変換モデルであるTransformer と seq2seq with atteniton の違いは？ という疑問について，管理人なりの回答(もとい両者の比較)を答えたい． つまり，新旧2つの系 続きを読む…