目次
1. バニラ(vanilla) [接頭語]とは [概要]
バニラ(vanilla) とは，機械学習でよく用いられる接頭語である．機械学習において，あるアルゴリズムやモデル・ネットワークが「何も操作されていない」「提案された設計のままの」「元論文どおりの」状態のものを示したいtときに，論文等でよく出てくる言い回しである．
例えば 「vanilla Transformer 」と書けば，Transformerの元論文 の [Vaswani et al., 2017] とおりモデルから加工していないTransformerのことを表わす．つまりは「元の○○を，一切加工していないバージョン」のことを「vanilla ○○」と書く．
英語のうち，アメリカ英語(の口語)では「あきりたりな」「平凡な(＝つまらない)」の意味でもvanilla を使う．しかし，そうではなく，IT業界用語の「拡張機能がない．まっさらな(プレーンな) [ウィズダム英和] 」の”vanilla” が，機械学習で定番フレーズ化した．どちらの意味も「バニラ味 (vanilla flavor)」のアイスやソフトクリームが，標準的な「普通の味(プレーン)」である点から意味が出てきていると考えればわかりやすい．
よって，「vanilla Transformer (バニラ味 Transformer)」は「plain Transformer(プレーンなのTransformer)」と書いても，意味は同じである．しかし，機械学習・ディープラーニング界隈「vanilla Transformer」の方が，業界用語っぽくて聞いていてしっくり来る言い回しになり，みんな「vanilla ○○」好んで使うようになったわけである．
1.1 「vanilla ○○」の例
私の文献管理ソフトにある論文のうち，ここ10年くらいの論文で「vanilla」を本文検索すると，例えば以下のようなものがヒットした：
- the vanilla implementation of beam search
- vanilla pre-training method
- vanilla detector
- vanilla RNN
- vanilla GAN
- vanilla VAE
- vanilla ViT
- vanilla BERT
- vanilla NetVLAD
ディープラーニングの論文からの例を多く挙げたが，そもそもこれは機械学習業界全般で見られる言いまわしである．以前の2010年代のデータサイエンスブームの頃からも「vanilla ○○」という言い回しはよく目にする慣用句・専門用語であった．それが，ディープラーニング流行後の論文数爆発で，目にする頻度が非常に多くなっていった言い回しであるとも言える．
1.2 抽象度が高すぎると使わない傾向
ディープラーニング登場初期の頃には，ディープラーニング3層MLPのことをvanilla neural networkと呼んだりしていた．ただ，最近は，AI関連の各業界の論文などだと，抽象度が高すぎる単語(例 modelとかneural netとかdetectorなど)には，vanilla とつけることはなくなってきていて，固有名詞が名付けられた，(もう１段階抽象度が下位の)アルゴリズム・ネットワークにのみvanilla とつけることが多い．
つまり，最近は，「vanilla VAE」「vanilla Transformer」「vanilla ViT」など，「元提案論文 + 個別名がある抽象度階層のネットワーク・アルゴリズム」に対して「vanilla ○○」を使うのが主になってきたというのが，個人的な印象である．
関連書籍
- 深層学習 改訂第2版 (機械学習プロフェッショナルシリーズ) 岡谷貴之，講談社，2022.
- Probabilistic Machine Learning: An Introduction, Kevin Patrick Murphy , MIT Press, 2022.
- 画像認識(機械学習プロフェッショナルシリーズ)，原田達也，講談社，2017．
References
- [Vaswani et al., 2017] Ashish Vaswani, et al. Attention is all you need. In NIPS, 2017.
- [ウィズダム英和] ウィズダム英和辞典 第4版 三省堂