スキップ接続 (Skip connection)

1. スキップ接続 (skip connection)とは [概要] スキップ接続 (skip connection)とは,ディープニューラルネットワークにおいて,途中の複数層をN層分スキップして先の層へとつなげる迂回パ 続きを読む…

位置符号化 (Positional Encoding, 位置エンコーディング) [Transformer の部品]

1. 位置符号化 (Positional Encoding, 位置エンコーディング) とは [概要] 位置符号化(Positional Encoding, 位置エンコーディング)とは,各トークンが「系列中の何番目の位置( 続きを読む…