アテンション機構(attention)と系列対系列変換 [seq2seq~Transformer]

1. 系列対系列変換と attention 機構の概要 アテンション機構 (Attention Mechanism, 注意機構) は,入力ベクトル系列(or 集合)の重みづけベクトルを,追加コンテキストベクトルとして作成 続きを読む…

softmax関数 [活性化関数]

1. softmax関数の概要 softmax 関数は,機械学習の「多クラス識別モデル」において,確率的なベクトル出力をする際によく用いられる,出力の活性化関数である.softargmax 関数としても知られており,on 続きを読む…

活性化関数(activation function)[ディープラーニング向け]

1 概要 活性化関数( activation function )とは,ニューラルネットワーク中の1つのニューロンにおいて,複数ノードの和を入力として,その出力を最終決定する関数である.名前の通り「小さな入力値を活性化さ 続きを読む…