【用語】ディープニューラルネットワークにおける Encoder-Decoder Model

概要 Encoder-Decoder Modelとは,ディープニューラルネットワークによく用いられる,対称型のネットワーク構造である.End-to-Endネットワークにおいて,真ん中の層で表現の次元数が一番低くなり,前半 続きを読む…

アテンション( Attention ) 機構 : seq2seqから Transformer

1 概要 アテンション機構 (Attention Mechanism)は,視覚注意 (visual attention) にインスパイアされて発展してきた,ディープニューラルネットの拡張機構である.seq2seq / 識 続きを読む…

Feature Pyramid Networks などの Feature Aggregation (特徴集約)

1. はじめに Feature Aggregation (特徴集約)とは,画像のlocal 特徴やmid-level特徴を集約し,新たな特徴(ベクトル)を生成することである.この記事ではDeep Learning登場後に 続きを読む…