non-deep learning (非Deep Leaning)な手法

1. non-deep learning とは

non-deep learning とは,「ディープラーニングを用いないない機械学習やパターン認識手法」について区別や強調して述べたい場合に,「非 Deep Learningな」という意味で使われる言い回しである.

「Deep learningを使用しないが,機械学習を使う従来手法や過去手法」や「古典的なルールベースで解く手法」「古く手法ではないが.deep learning以外の機械学習や組み合わせ最適化などで解く手法」などを,別途まとめて分類・グループ化したい場合に,「non-deep learning methods」と呼んで区別することが多い.

あなたの論文データベース内でも,「non-deep learning」で検索してもらうと,各論文中の「non-deep leaning手法を言及している部分や,そういう節のタイトル」がヒットするはずである.

2. コンピュービジョンの例で,deep 手法/non-deep手法を比較

図1 non deep learning手法とdeep learning手法の比較リスト コンピュービジョンでの例

図1. はnon-deep learning手法を,「問題設定が同じで手段だけがdeep化されている」deep learning手法と対比しやすくした図である(あくまで一部だけを提示したことに注意)

図1右側の冒頭にあるような「古典的な画像処理(特にフィルタリング)」については,カメラアプリ・画像編集などで,現在でもdeep 化していないまま使うことも多いのは,皆さんご存知のとりである.次のコーナー検出(SIFTやSURFの検出なども)やライン検出なども,いちいちdeep 化した手法を使ったりはしない(ただし,deep手法はあるが).

次に青枠のオプティカルフローステレオデプス推定は,deep手法も,non-deepな古典手法も存在する.non-deep手法では,どちらも「画像場の対応付けを最適化(optimization)」で解こうとしていたが,それがdeep だと画像認識問題として「学習・予測する」ように変わった.

また,赤枠の画像認識物体認識 物体検出 セマンティックセグメンテーション(領域分割)」の3つは,non-deep learningでもSVM/Random ForestやSIFT/Bag-of-Visual Featuresで頑張って解かれていた問題設定だが,インスタンスセグメンテーションに関しては,deep learning登場で初めて解けるようになった.

以下の2つの用語集トップページの「deep用語リスト」「non-deep 用語リスト」も,比較の参考になるはずである:

3. 当サイトでの「non-deep」の定義

昔のパターン認識システムは,それを構成する部品である「特徴量の抽出・計算」や「特徴の統計処理」「機械学習モデル」などの各部品が,独立・分離されており,経験や勘でそれらを組み合わせてシステム化していた.つまり,信号処理や画像フィルタリングに,局所コーナー検出やエッジ抽出も「パターン認識の一部品」であり,これらのそれぞれも(パターン認識システムとしてかんせいしていないが)non-deepな手法と呼ぶことがある.

当サイトでは,面倒なので,deepでない手法は画像フィルタリングとか映像符号化など,パターン認識手法だけでなく,画像処理などの古典手法も含めていっしょくたにnon-deepと言いたいと思う (音処理や自然言語処理でも同様).

実際,さきほど2節でリンクをおいた, ✳️ディープラーニングの用語wiki記事リストと📷 コンピュータビジョン(non-deep 中心)の用語wiki記事リスト も),パターン認識手法でないものも全部含めて,deep手法 とそれ以外(non-deep中心)と分類して,このサイトでは整理している.このほうが,「non-deep=パターン認識システムに限らず,古典手法全て」の意味で使えて,現代(deep)とそれ以前(non-deep時代)の2つに綺麗にわけられてすっきりするからである.

そもそも,論文などで「non-deep」 と言ってるときには,「① deep learningを用いていない,それ以前の(SVMやBoostingなどの)古典的なパターン認識・機械学習手法や特徴検出/記述」なのか,それとも「② deepパターン認識手法ではない,他の全ての手法」なのかが,やや曖昧である.当サイトでは,②の「deep learningを使っていない=non-deep learning」と定義することにした.

ただし,普段の論文や教科書などで「non-deep learning method」と言う際には,「non-deepなパターン認識手法」の意味であることがほとんどで,つまりは「認識のシステム全体」を指す意味でも,よく使われていていることには注意されたい.

3. non-deep learning手法を「知る・知っている人も復習や調査する」ことで,新しい学びや閃きにつながる.

ディープラーニングで大規模学習に取組むだけでは,新たにできることが(特に研究では)減ってきている最近のコンピュータビジョンやその他パターン認識において,過去の手法や,昔からあるnon-deep leaning手法をふりかえることは,学びや新しい発見・閃きにつながるはずである.

例えば,発売から1年が経ったので2025年5月頃(※)から,当サイトでも紹介・推薦を始めた以下の教科書「Foundations of Computer Vision」も,non-deep learningな過去の技術や考え方が,かなり重視され深掘りもされている.

Foundations of Computer Vision (kindle版) 」 MIT press , Antonio Torralba , P. Isola(pix2pixの人), William T. Freeman【📖 書籍サイト

(※)「2024年4月」の本書発売から1年が経ち,分厚い本書の内容をしっかり把握した上で,オススメできるようになったのと,Amazonなどでの評判が揃ったことも理由.近々,レビュー記事も書きたい.

執筆者のうち,Antonio Torralba先生 と William Freeman先生が,ベテランで大御所であることも,non-deep leaningな,昔からの話も本書ではきちんとカバーされている要因といえる.(ビジョン分野の場合は,撮像系に光学的・フォトメトリ的な話も出てくるので,そもそもdeep learningでは取組みづらい話も多い).

また,もうすぐ開催の今年のMIRU2025でも,若手向けプログラムが「MIRU2025若手プログラム Non-deepを深掘る」と題して,参加者が興味のあるnon-deep learning手法を調べて発表することを行なう模様である.

(※私は著作権侵害問題がありで,そもそも研究開発での使用を一切避けているが)大規模生成AIや基盤モデルの登場あり,(問いを新たに立てるのが上手い人でないと)新たに(後追い・性能改善の)研究やビジネス開発では,できる事は更に少なくなっており,「non-deepな過去手法や過去の問題設定に回帰」したくなるのは,当然の帰結でもあるが.

Foundations of Computer Visionの「53節 How to write papers」のintroductionでも「(AI系)論文でインパクトだせるのはほんの一握り」の話が紹介されているが,今後は「アイデア力のあり,大きなインパクトを残す論文」を発表するのが,novelty出し難くなったいま,更に難しくなるのでは? (机上の)研究で成果出すより,応用・実用の研究や開発で,社会のお役に立てて・社会を幸福にする仕事を選ぶことが,今後更に重要になると思います.

2.1 このサイトでも「 non-deep learningな手法・過去の手法」は重視.

そもそも (現在40代半ばの)管理人の私も,non-deep learningの頃からコンピュータビジョン・画像認識に触れてきたのもあり,これまでの普段の研究開発の仕事や育成仕事や,本サイト「CVMLエキスパートガイド」でも,non-deep learningな手法や手段を重視している.

ディープラーニングの用語wiki記事の一覧でも,冒頭に書いているように,「non-deep leaningな過去の手法・技術」を区別してコンピュータビジョンの用語wiki記事自然言語処理の用語wiki記事でも,現時点でもある程度充実させているつもりである.

※ deep以前の過去手法は,「初心者向けで,(前述のFoundations of Computer Vision (kindle版) など)代大学教科書で出てきて学ぶ」というパターンが多いので,今後は,「中級者以上がターゲットのコノサイト以外」の「初心者や他分野専門の方むけの動画コンテンツ・講義/書籍」などで,(カジュアルに)展開していきたい.とはいえ,「当サイト内にも書いてあるほうが,用語wikiの見通しがよくなるコンピュータビジョンの用語wikiの記事」については,今後サイト内にも(簡単な解説・紹介に留めるが)用語wiki記事は執筆していく予定である (例:HOG特徴/ Visual-Wordsや,基礎的な画像処理/画像編集やカメラ/レンズまわりに,Multi-View Stereo(MVS)基礎など).