系列変換モデルとアテンション機構 [seq2seq から Transformer まで]

1. 系列変換モデルとアテンション機構の概要 系列変換モデルとアテンション機構について,この記事では2つ同時に解説する.また,系列変換モデルのうち,seq2seqの応用・発展を、登場順に以下の3節を通じて解説する. 2節 続きを読む…

Transformer : アテンションが主要部品の系列変換モデル

1. Transformer とは [概要] Transformer とはアテンションを主要部品として用いた,深層学習むけの(トークン)系列変換モデルである.この記事では,機械翻訳むけのTransformer [Vasw 続きを読む…

softmax 関数 (ソフトマックス関数) [活性化関数]

1. softmax 関数 (ソフトマックス関数)とは [概要] softmax 関数とは,機械学習の「多クラス識別モデル」において,確率的なベクトル出力をする際によく用いられる,Maxをソフトに行う出力が行える活性化関 続きを読む…

活性化関数(activation function) [深層学習向け]

1. 活性化関数とは [概要] 活性化関数 (activation function)とは,ニューラルネットワーク中の1つのニューロンにおいて,複数ノードの和を入力として,その出力を最終決定する関数である.名前の通り「小 続きを読む…

Rethinking 論文 (再考研究) 【CVML 論文の検索キーワード 2】

1. Rethinking 論文とは [概要] この記事では【🔍CVML 論文のタイトル検索キーワード】の2回目として,論文タイトル検索に使えるキーワードとして, Rethinking 論文 (再考研究)について紹介する 続きを読む…