1. アブレーション(ablation)の概要
アブレーション(ablation) とは,機械学習の予測モデル(特に人工ニューラルネットワーク)において,構成要素の一部分を取り除いて実験を行い,結果を比較することを指す.
昨今のディープニューラルネットにおいては,マルチパスで,マルチタスクなネットワークを設計することが多い.その際に「複数構成要素の合成で作られたネットワーク(例:VAE + GANなど)」の各要素の有効性を示す際に,提案ネットワークの一部を削除して,要素ありと要素なしのネットワーク間で性能を比較するアブレーション研究(ablation study)を実施することが多い.
アブレーション研究を行うことにより,部分モジュールを削除した各モデルや完全体の元モデルの間で性能差を確認することができる.これにより,削除した部分モジュールが,提案ネットワークの性能に本当に寄与しているかどうかを,(帰納的に)確かめることが可能となる.
1.1 ablation の由来
元々は生物学の用語の「アブレーション」を,人工知能モデル向けに同等の意味でアレン・ニューウェル(Wikipedia)が使い始めたことが,人工知能•機械学習(特にモジュール性の高いニューラルネット)でもablation という用語が定着したはじまりだそうである(Wikipediaより).
References
- Meyes, Richard; Lu, Melanie; de Puiseau, Constantin Waubert; Meisen, Tobias (2019-01-24). “Ablation Studies in Artificial Neural Networks”. arXiv:1901.08644