このページでは📚用語wikiの「自然言語処理」カテゴリに属する用語記事へのリンクを,階層的に示します.
1. 単語表現
- one-hotベクトル
- ワード単位の分散表現(単語埋め込み)
- 単語埋め込み (word2vec)
- GloVe (Gloval Vectors)
- fastText
2. 統語解析 (Syntactic)
2.1 品詞解析
- 品詞タグ付け(Part-of-Speech Tagging)
- 係り受け解析(Dependency Parsing)
3. トークナイザ・形態素解析
3.1 トークナイゼーション(英語など,空白で文節を区切れる言語むけ)
- サブワードまで分割するトークナイザ
- BPE
- WordPiece
- SentencePiece
3.2 形態素解析(主に日本語向けのものについて)
- ディープ以前の日本語形態素解析モデル(公開ツール)
- Juman
- MeCab
- ディープ以降の形態素解析モデル
3. 系列対系列変換モデル
- 系列変換モデルとアテンション機構
- seq2seq
- seq2seq with atteniton
- Transformer
- 位置符号化
- マルチヘッドアテンション
- RNNLM(再帰型ニューラル言語モデル)
- 言語モデル・翻訳モデルの評価
- パープレキシティ
- BLEU