
系列変換モデルとアテンション機構 [seq2seq から Transformer まで]
1. 系列変換モデルとアテンション機構の概要 系列変換モデルとアテンション機構について,この記事では2つ同時に解説する.また,系列変換モデルのうち,seq2seqの応用・発展を、登場順に以下の3節を通じて解説する. 2節 続きを読む…
1. 系列変換モデルとアテンション機構の概要 系列変換モデルとアテンション機構について,この記事では2つ同時に解説する.また,系列変換モデルのうち,seq2seqの応用・発展を、登場順に以下の3節を通じて解説する. 2節 続きを読む…
1. Transformer とは [概要] Transformer とはアテンションを主要部品として用いた,深層学習むけの(トークン)系列変換モデルである.この記事では,機械翻訳むけのTransformer [Vasw 続きを読む…
1. オートエンコーダ (autoencoder)とは [概要] オートエンコーダ(Autoencoder)とは,画像データベクトルの「教師なし次元削減」をニューラルネットワークの学習を通じて行う手法である [Hinto 続きを読む…
1. softmax 関数 (ソフトマックス関数)とは [概要] softmax 関数とは,機械学習の「多クラス識別モデル」において,確率的なベクトル出力をする際によく用いられる,Maxをソフトに行う出力が行える活性化関 続きを読む…
1. 残差接続 (residual connection)とは [概要] 残差接続 (residual connection)とは,CNNの1種である ResNet [He et al., 2016a], [He et 続きを読む…
1. 活性化関数とは [概要] 活性化関数 (activation function)とは,ニューラルネットワーク中の1つのニューロンにおいて,複数ノードの和を入力として,その出力を最終決定する関数である.名前の通り「小 続きを読む…
1. 重み初期化 (weight initialization)とは [概要] 重み初期化 (weight initialization)は,ディープニューラルネットワーク(DNN)において,各線形層のパラメータを学習す 続きを読む…
1. Question 「Epipolar(エピポーラ)とはどういう意味か?」という質問に,この記事では,管理人なりの答えを提示する. カテゴリのトップ記事:❓Q and A (Q and A 記事の,あいうえお順一覧) 続きを読む…
1. seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は,seq2seqにアテンション機構を追加して拡張することで,変換精 続きを読む…
1. Rethinking 論文とは [概要] この記事では【🔍CVML 論文のタイトル検索キーワード】の2回目として,論文タイトル検索に使えるキーワードとして, Rethinking 論文 (再考研究)について紹介する 続きを読む…