1. 画像のクロップ (Image Cropping) とは [概要]
画像のクロップ (Image Cropping) とは，元のデジタル画像から，中心のROI矩形領域のみの部分画像の切り出しを行い，不要な周辺部分を取り除いた画像を作成する画像変換である．
この記事では，コンピュータビジョン・画像処理における「画像のクロップ」処理について，その処理の概要と動機・目的を示す(1節)．また，クロップ処理の使われどころを「画像のデータ拡張 (2節)」の観点においても整理する．
クロップは，デジタル画像編集用途で，一般ユーザーもよく使用する処理であるが，画像処理やコンピュータビジョンでも，積極的に前処理として使用することが多い．一方，近年のディープラーニングで用いられる，画像のデータ拡張では，(ランダムな)クロップ処理が使用されることが多い(2節)．
1.1 記事の構成
以降は，以下の構成である：
- 1節 概要
- 1.2 画像のクロップの内容と動機
- 2節 「画像のデータ拡張」におけるクロップの使用
- 3節 クロップ処理の自動化
1.2 画像のクロップ(Image Cropping) の処理と動機
画像のクロップは，元画像から周辺の捨てる部分を破棄して，新画像を作るためのサブ矩形領域(=バウンディングボックス)のみを切り取った画像を，新たに作成する処理である(図1)．たとえば，スマートフォンで横向きで撮影したワイドな元画像のうち，中心部分の正方形領域に映っている部分だけを選択的に切り取った画像を，ブログやSNSに載せたいといった場合に，後処理的として(画像編集ソフトウェア上で)撮影した画像のクロップを行う．
※ 以前はInstagramが正方形サイズ画像しかアップロードを受け付けなかったので，この「ワイド or 縦長 画像」→「正方形」の編集ニーズが当時は高かった．また各カメラアプリは，Instagram向けに「正方形撮影モード」も用意していた．
クロップで選択する領域は，図1のような2つの編集意図に大別できる：
- 物体中心(Object-centric)のクロップ (図1-a)：
- クロップ後の中心に配置したい物体と，その回り少しを含んだ矩形を切り抜く．
- シーン中心(Scenet-centric)のクロップ (図1-b)
- シーン全体の構図がよくなるように，中心部の矩形を切り抜く．
スマートフォン普及以前の時代から，Adobe Photoshopなどに代表されるデジタル画像編集ソフトウェアでは，興味のあるROI矩形領域のみをクロップし，更に水平傾き補正やレンズ歪み補正を行い，最終的な「不要な周辺部分を削除した，編集済み画像」を作成することが多い．
※ 図1も，それぞれ右側画像は，Adobe illustratorの画像のクロップ機能でクロップしたものである．
近年のスマホ向け写真編集アプリや，Instagramなどの写真・動画系のSNSでも同様である．カメラで撮影した生の画像データから，「不要な背景領域はカット(クロップ)して，(中心に打つっている)大量物体・人物だけをズームした写真を作りたい」「SNSに載せたい，(物体中心 or シーン中心の) ROI領域(バウンディングボックス)部分だけを切り抜きたい」場合に，アプリ上に用意されているクロップ処理ツールで，クロップした画像を最終的に使用する．
2. 「画像のデータ拡張」におけるクロップの使用
T.B.D
関連書籍
- 深層学習 改訂第2版 (機械学習プロフェッショナルシリーズ) 岡谷貴之，講談社，2022.
- Probabilistic Machine Learning: An Introduction, Kevin Patrick Murphy , MIT Press, 2022.
- 画像認識(機械学習プロフェッショナルシリーズ)，原田達也，講談社，2017．