Transformer と seq2seq with attention の違いは?[系列変換]【Q and A 記事】

1. Question 「Transformer と seq2seq with atteniton の違いは?」という疑問について,管理人なりの回答(もとい両者の比較)を答えたい. つまり,新旧2つの系列対系列変換ネット 続きを読む…

Transformer(詳細解説): アテンション中心の系列変換 Encoder-Decoder

1. Transformer とは [概要] Transformer とは,自然言語処理由来の,アテンションを主部品として採用したトークン入力系列変換むけのEncoder-Decoderネットワークである.Transfo 続きを読む…

softmax 関数 (ソフトマックス関数) [活性化関数]

1. softmax 関数 (ソフトマックス関数)とは [概要] softmax 関数とは,機械学習の「多クラス識別モデル」において,確率的なベクトル出力をする際によく用いられる,Maxをソフトに行う出力が行える活性化関 続きを読む…