関心領域(ROI, Region of Interest)

1. 関心領域(ROI, Region of Interest) とは

関心領域(ROI, Region of Interest)とは,画像処理やコンピュータビジョンにおいて,フィルタ処理や認識処理を適用したい「画像中の部分的な関心領域」のことをさす.

画像処理・画像認識における関心領域(ROI)は,『1つの物体の長方形領域(=バウンディンボックス)』であったり,『背景図形や建物の,輪郭を囲って閉じた領域(=前景マスク)』であることが多い.とりわけ,各種の画像認識では,関心領域とは「境界で区切られた,関心の1物体の全領域」であることが通例である.

ただし,本義では,1物体領域に限らず「部分的な境界で区切られた関心のある領域」のことを関心領域と呼ぶので,1物体としてまとまっていない領域でも,関心対象としてグループ化すれば,(例:画像の背景領域全体が,ユーザーの関心領域である場合など).

現在でこそ,ディープラーニングでそのように後処理を行うための関心領域や分割領域の抽出が自動化されてきているが,昔は高精度な物体検出や分割ツールはなかった.そこで,手作業で関心領域を指定していた.例えば,医用業界や生物業界では,その後に画像処理をしたい「細胞群や臓器群」の関心領域(のマスク)を,ツール上で手作業で指定することが行われていた.

以下の動画は,細胞画像中のROI領域(緑色)を,画像処理ソフトウェア上で指定している例である:

この時、対象物体(例:レントゲン画像上での肝臓の領域)の輪郭を関心領域に指定したい場合に,医師やオペレータがソフトウェアツール上で,関心領域の輪郭を手動で綺麗になぞっていき,手動で分割も行う.その後,関心領域の範囲内にフィルタリングや他の処理を行うという感じである.

2. バウンディングボックスROIを通じた領域指定

近年のスマートフォンカメラのカメラアプリでは,ROIバウンディングボックスの位置を指定することで,焦点をあてたい関心領域「周辺」を,バウンディングボックスによって指定するインターフェースが用意されていることが多い.また,超高解像度カメラの場合だと,ズームしてその周辺のみを表示した関心領域の周辺矩形を,バウンディングボックスとして設定することも多い.このように,Iバウンディングボックス矩形によって,関心領域を指定するようなアプリケーションは巷には多いわけである.

ただ,OpenCVのROIクラスでも,同じようにバウンディングボックスでROIを指定するので勘違いしやすいが,ROIはボックス領域だけを指すのではない.境界で閉じた1つの領域であれば,矩形にかぎらず任意の図形を,関心領域として使用できる(ポリゴンや前景マスクなど).同じくMatlabのROI Selector も関心領域を矩形でのみ指定するので,ROI = 長方形 と勘違いしないように注意である.

3. 画像認識における,物体ROIの自動抽出

近年は,機械学習化や深層学習の発展により,関心領域(ROI)の自動抽出も行われる.物体検出を通じて関心領域を囲うバウンディングボックス(矩形)を推定したり,インスタンスセグメンテーション技術により,複数の物体の関心領域(のマスク)を自動抽出することが多い.

特に,2ステージ型の物体検出インスタンスセグメンテーションでは,領域提案(region proposal)と呼ばれる「クラス識別前の物体矩形」を,一旦1ステージ後に中間出力する.つまりは,中間出力で出す物体候補ROI群も,関心「領域」である.そして,その領域提案ないの特徴マップをもとに,「ROI Pooling(関心領域プーリング) (Fast R-CNN [Girshick, 2015], Faster R-CNN [Ren et al., 2015] )」や,「 ROI Align (Mask R-CNN) [He et al., 2017] 」などの「空間プーリング」手法で,各領域提案(=関心領域)内にある特徴を集約し,後半ステージのネットワークで入力として使いやすい次元数が統一された形に加工する.

まとめると,ステージ2の処理に使用する関心領域を,ステージ1でも先に領域候補として自動抽出していると言える(この時点では物体クラスは不明な関心領域).そしてステージ2で関心領域が微調整され,最終的な物体バウンディンボックス(物体検出の出力)や,インスタンスマスク(インスタンスセグメンテーションの出力)が,最終的な関心領域として推定される.

References

  • [Girshick, 2015] Girshick, R. Fast r-cnn. In ICCV, 2015.
  • [Ren et al., 2015] Ren, S., He, K., Girshick, R., & Sun, J. (2015). Faster r-cnn: towards real-time object detection with region proposal networks. In NIPS, 2015.
  • [He et al., 2017] K. He, G. Gkioxari, P. Doll ́ar, R. B. Girshick, Mask r-cnn, In ICCV, 2017.

参照外部リンク