活性化関数(activation function) [深層学習向け]

1. 活性化関数とは [概要] 活性化関数 (activation function)とは，ニューラルネットワーク中の１つのニューロンにおいて，複数ノードの和を入力として，その出力を最終決定する関数である．名前の通り「小続きを読む…

重み初期化 (weight initialization): Xavier初期化とHe初期化

1. 重み初期化 (weight initialization)とは [概要] 重み初期化 (weight initialization)は，ディープニューラルネットワーク(DNN)において，各線形層のパラメータを学習す続きを読む…

1. seq2seq with attention の概要 seq2seq with attention [Bahdanau et al. 2015] は，seq2seqにアテンション機構を追加して拡張することで，変換精続きを読む…

1. ラベル平滑化 (Label Smoothing) とは [ 概要] ラベル平滑化 (Label Smoothing)とは，ディープニューラルネットワークむけの，クラス識別損失に対する正則化手法の１つである [Sze 続きを読む…

1. SSD (Single Shot multibox Detector)とは [概要] SSD (Single Shot multibox Detector)とは，アンカーベースの1ステージ型のCNN物体検出ネットワ続きを読む…

1 概要局所応答正規化(Local Response Normalization, LRN)とは，特徴マップの局所コントラストの強調を行う，画像認識用のCNNにおいて，中間層の応答に対して行う局所正規化（Local N 続きを読む…

1. seq2seq (sequence-to-sequence) for 機械翻訳 [概要] seq2seq (sequence-to-sequence) とは，機械翻訳で初めに用いられた，テキストなど系列データ同士の続きを読む…

1 概要設計選択(design choice)とは工学全般において，ある問題を解くために考えうる解放の設計の中から，特定の設計を選択することを指す．特に，このサイトのテーマである近年のコンピュータサイエンスや機械学習続きを読む…

1. RNNLM (再帰型ニューラル言語モデル)の概要再帰型ニューラル言語モデル (Recurrent Neural Language Model, RNLM) (もしくは RNN言語モデル(RNNLM)とも呼ぶ) [ 続きを読む…

1. InceptionNet とは [概要] InceptionNet (Inception Network, 別名 GoogLeNet) とは，Googleの研究チームが考案したCNN (畳み込みニューラルネットワー続きを読む…