アテンション機構(attention)と系列対系列変換 [seq2seq~Transformer]

1. 系列対系列変換と attention 機構の概要アテンション機構 (Attention Mechanism, 注意機構) は，入力ベクトル系列（or 集合）の重みづけベクトルを，追加コンテキストベクトルとして作成続きを読む…

Transformer: アテンションを主部品とする系列変換ネットワーク

1. はじめに Transformer は，機械翻訳などの系列対系列変換問題向けの，マルチヘッドアテンションを主部品に用いたディープニューラルネットワークである [Vaswani et al., 2017]．この記事で続きを読む…

1. autoencoder の概要オートエンコーダ（ Autoencoder ）は，画像データベクトルの「教師なし次元削減」をニューラルネットワークの学習を通じて行う手法である [Hinton and Salakhu 続きを読む…

1. softmax関数の概要 softmax 関数は，機械学習の「多クラス識別モデル」において，確率的なベクトル出力をする際によく用いられる，出力の活性化関数である．softargmax 関数としても知られており，on 続きを読む…

1. 残差接続の概要残差接続(residual connection)とは，CNNの1種である ResNet（Residual Network）[He et al., 2016a], [He et al., 2016 続きを読む…

1 概要活性化関数（ activation function ）とは，ニューラルネットワーク中の１つのニューロンにおいて，複数ノードの和を入力として，その出力を最終決定する関数である．名前の通り「小さな入力値を活性化さ続きを読む…

1 重み初期化（Weight Initialization）の概要重み初期化（weight initialization）は，ディープニューラルネットワーク（DNN）各層の重みを，順・逆伝搬中にも重みの分布に偏りが起き続きを読む…