自然言語処理の用語記事の一覧

記事を共有する:

このページでは📚用語wikiの「自然言語処理」カテゴリに属する用語記事へのリンクを,階層的に示します.

1. 単語表現

2. 統語解析 (Syntactic)

2.1 品詞解析

  • 品詞タグ付け(Part-of-Speech Tagging)
  • 係り受け解析(Dependency Parsing)

3. トークナイザ・形態素解析

3.1 トークナイゼーション(英語など,空白で文節を区切れる言語むけ)

  • サブワードまで分割するトークナイザ
    • BPE
    • WordPiece
    • SentencePiece

3.2 形態素解析(主に日本語向けのものについて)

  • ディープ以前の日本語形態素解析モデル(公開ツール)
    • Juman
    • MeCab
  • ディープ以降の形態素解析モデル

3. 系列対系列変換モデル