1. はじめに
この記事では，検索・分類する際のキーワードにできそうな「頻出タイトルパターン」を，順に紹介する【CVML 論文の検索キーワード】の2回目として，論文タイトル検索に使えるキーワードとして， Rethinking 論文 (再考研究)について紹介する．
Rethinking 論文は「以前はそれが当たり前と思われていたアイデア・手法」を見つめ直し，「Rethinking （その分野で有名な手法）」とタイトルにも名付ける論文を，著者がCVML論文の1パターンとしたものである．
Rethinking論文では，実験で反対の結果になる例を示し，実は『（異なる）こちらの方法が良いのではないのか？』と，定番手法のアイデアを疑問視して再考した結果（大きめの）路線変更を提案した論文に，「Rethinking~ 」という題名をつけることになる．
2.1節ではそういったrethinkの原義どおりに，rethinking論文の典型的パターンについて確認してみたい．また，2.2節では実例２つを挙げることで，最近の rethinking 論文では具体的にどのくらい変化をさせるかについてみておきたい．
一方で，人工知能ブームで過剰投稿が続いたパターン認識界隈の各分野では「以前のアイデアを考え直して，変化させる内容」でなくとも，タイトルにrethink〜を付けている論文も見かける．それらについても，2.3節で実例を挙げて区別できるようにしておきたい．
2. Rethinking 論文 の内容
2.1節では，まずは辞書通りのRethink（再考）の意味から素直にrethink論文について考え，具体的な論文例を挙げてみたい．
次に，2.2節では，最近のDeep Learning界隈では研究人口爆発による改善手法登場の速さから，『（5年眠っていることはないので）再訪論文はあまり生まれず，提案後すぐに（5年以内に）Rethink論文が登場する』ことについて，考えてみたい．
2.1 rethink の原義：「変化させる」ために，既存のアイデアを考え直す．
著者の所持しているアカデミック向けの英英辞書「Oxford Learner’s Dictionary of Academic English」には，動詞の「rethink」の意味として，以下の1つの意味のみが掲載されている：
to think again about an idea, a course of action, etc, especially in order to change it
Oxford Learner’s Dictionary of Academic English
つまり，英語のrethinkは，原義だと「とりわけ対象を変化させるために考え直すこと」をいう．
よって「この方法はAで使われていたが，実は問題Bにも転じて使える」 ことを論じている研究や，「Aという評価方法が良く使われていたが実はAは良くない評価方法なので，Bを代わりに使ったほうが良い」と提案している研究など「代替手法の提案」や「発想の転換」が主テーマである内容の論文に，Rethinkをタイトルに加えると，言葉の意味どおりのタイトルとなる．次の節で，実例を通して見ていきたい．
2.2 ビジョン界隈での最近の例
” Rethinking ImageNet pre-training. ” [He et al., 2018] は，ImageNetよる画像認識CNNの『事前学習とその後のFine-tuning』という定番的な手続きパターンが，実はあまり精度向上に利いてこないかもしれないという再考を行い，実際にそれを実験で示した研究である．実験の結果として，CNNの事前学習は学習時間は短縮できるものの，解きたいタスクでスクラッチからネットワークを学習しても精度に顕著な差が出ない（ので意味がない可能性もあるのでは）という再考研究である．
[He et al., 2018] の冒頭のアブストラクトにおいて，それまでデファクトスタンダードであった「事前学習 + Fine-tuning」について再考した研究であると記述されている：
These observations challenge the conventional wisdom of ImageNet pre-training for dependent tasks and we expect these discoveries will encourage people to rethink the current de facto paradigm of ‘pre-training and fine-tuning’ in computer vision.
[He et al., 2019] のabstractより
また， [Ohtani et al., 2019] (プロジェクトページ)も，Rethinking 論文の例である．MIRU2019の招待講演で，著者の講演を聴講された方は，研究内容を思い出してイメージいやすい例だということもあり，rethinking論文の例として紹介しておきたい．
機械学習を用いたデータドリブンな動画要約（Video Summarization）において，標準的に使われてきた「F値による評価」だと，（せっかく機械学習してるのに）「ランダム要約で要約した結果」と精度が拮抗してしまうことが実験でわかった．そこで，評価方法を再考した結果，人のラベル付けした，セグメントごとの重要度スコアとの相関を，相関ランキング順でソートして可視化して評価するのが良いのではという提案が行われた．
関東CV勉強会で，同じ会社の尾崎氏から解説発表がされていたので参考になると思う．
2.3 Rethinkingがタイトルに入っているが，rethinking 研究とまでは言えないような例
一方で，ディープラーニングで手法の提案ペースが速くなってしまった現在（2021年）では，再訪論文（第一回）で，5年以上前の再発見するのではなく，1〜2年前の最近の手法や傾向を，すぐに短めのスパンで Rethinking（再考）して，改善手法を研究発表する例が増えた．そんな中，近年の研究で，「Rethinking ~」というパターンのタイトルなのに，再考をしたという研究内容や主張がなく，単に短期間で改善手法を提案しただけの研究例もある．
InceptionNet v3 [Szegedy et al., 2016]や Deeplab v3 [Chen et al., 2017] はその例である．いずれも，（疑義を含んだ）再考による，別路線への大きな方針転換を伴った論文ではなく，素直な手法の改善研究である．論文を読んでいただくとわかるが，タイトルにのみ「rethink」が登場しており，以降の本文には一度も「rethink」が登場しないもちろん，2つともインパクトの大きな改善研究であったが，大きな方針転換（変化）でrethinkした容ではない．
したがって，「Rethinking~」というタイトルだけを見て，これは2.1節/2.2節のようなパターンの研究だと判断しないのが賢明である．Inception v3 (ラベル平滑化も含んでいる) も Deeplab v3 が引用数が多いのもあってタイトルを真似したくなるのか，安易に論文名にだけRethinkingという単語を使っている論文がある（あくまで管理人の憶測ではあるが）．
3. まとめ
「Rethinking ~ 」というタイトルの論文は，英語のrethinkの原義通り「別路線に（大きく）変更する目的で，以前の定番手法を考え直す」研究のタイトル・内容のパターンである（2.1節）．
特にパターン認識の分野では，アルゴリズムやネットワーク構造，更には予測結果の評価方法について，「その以前の手法は，本当に効果的か」「欠点が実はあるのではないか」という建設的批判のあとに，対案の提示を研究する．タイトルにも「Rethinking~」と銘打つのが，この論文パターンである．
しかし，近年は「Rethink ~ 」のタイトルパターンを採用したものの，研究の内容自体が再考的ではない研究もたまにみかける (2.2.1節)．
← 前回の記事： 第1回 Revisit 論文
→ 次回の記事： 第3回 一般化(Generalized) ○○
References
- [Chen et al., 2017] Liang-Chieh Chen, George Papandreou, Florian Schroff, and Hartwig Adam. Rethinking atrous convolution for semantic image segmentation. arXiv:1706.05587, 2017.
- [He et al., 2019] Kaiming He, Ross Girshick, and Piotr Dollár. Rethinking imagenet pre-training. In ICCV, 2019.
- [Ohtani et al., 2019] Otani, M., Nakashima, Y., Rahtu, E., Heikkila ̈, J.: Rethinking the evaluation of video summaries. In: CVPR (2019)
- [Szegedy et al., 2016a] C.Szegedy, V. Vanhoucke,S. Ioffe, J. Shlens, and Z. Wojna. Rethinking the inception architecture for computer vision. In CVPR, 2016.