【Q&A記事】ディープラーニング界隈では,なぜ同時研究が発生しやすいのか?

1. Question

「ディープラーニング界隈では,なぜ同時研究が発生しやすいのか?」という疑問に対して,この記事では管理人なりの回答を行う.

また,その回答に付随する話として,同時研究が多発しやすい,我々ディープラーニング界隈の業界の現状が持っている「良い面」と「悪い面」についても,私なりに整理しておく(2.2節).この整理を示すことにより,「似通った研究アイデアに偏ること」の良い面・悪い面の両面について,皆様がご自身でも考えていただくようになることも狙いたい.

2. Answer

その主たる理由は,ディープラーニングの登場・流行後,研究者人口が世界的に多くなったことにあり,それにより,各研究チームの「次の一手」が類似アイデアになりやすい状況だからである.もちろん,それ以前にもコンピュータビジョンや他分野では同時研究は発生したが,研究開発者人口の爆発的増加で,同時研究の起こりやすさが格段にあがっている.

また,ソフトウェアのオープン化や,フレームワークの普及による「オープン化」「コモディティ化」も,主要因と一つとしてあげられる.PyTorchやTensorFlowを誰もが使っており,それらのフレームワークに用意されている部品を組み合わせたり,それら有名部品の改善ばかりにとらわれてしまうと,どうしてもフォーカスする点が似通ってくる.よって,自然と次の一歩のアイデアも同じになってしまう(フレームワークやgithubにより,コモディティ化の影響も大きい).

いずれにせよ,沢山の人が参加できるようになり,そのためのオープンな仕組みも増えたことが,ディープラーニング界隈で同時研究が発表されやすい環境的な理由である(のちほど,もう少しこの環境がどういう状況なのかについて掘り下げる).

2.1 典型例

ディープニューラルネットの部品構成的な性質もあいまって,拡張・発展できる箇所や改善アイデアも限定されやすい.以上のような理由で,似たようなアイデアの並行研究は発生しがちである.たとえば,GANが提案された当時,その改善方向は,似たようなアイデアに偏りやすく,条件付きGANや,双方向GANなどで,「全く同じ内容の提案」が並行研究としてよく発生していた.2019年以降のTransformer時代では,自然言語処理向けのTransformerや,コンピュータビジョン向けのVision Transformerなどで,類似モデルや同時研究が発生している.GANやTransformerなど,大きな成果が出た新モデルや新拡張機構・新ロス関数では,多数の研究者がフォロワーとして飛びついて改良研究を行う傾向も強い.そうなると,次の一手も類似したアイデアは出てきやすい.

同時研究が計算機科学系で発生しやすくなっているのは,グローバル社会が進んだ結果,インターネット上でフリーでオープンに得られる知識・発想・道具が偏っていることが原因であるといえる.

2.2 同時研究が多発することの「良い面」と「悪い面」

せっかくなので,もう少し話をすすめて,「同時研究が多発しやすい」という昨今の状況の,「良い面」と「悪い面」について,著者なり視点について触れておきたい.

ただし,「悪い面」という日本語が,あまりに悪印象寄りなので,もう少し強度を和らげる意味で「ネガティブ面」と呼ぶようにする.よって,以降では「ポジティブ面」「ネガティブ面」と呼ぶようにしたい.

2.2.1 ネガティブ面:他人と発想がかぶりやすい

2.1で述べたように,発想も道具も似たようなものになる時代がディープラーニング定着以降の現代である.そうすると,「特異性」や「独自性」の高い研究成果を,うまく出しづらくなってきているとも言える.

ただし,並行研究の発生が必ずしも悪いわけではない,同じアイデアでも,違った視点で異なる研究グループからのアイデアが提供されるゆえ,そのアイデアがより成熟しやすく,実用やビジネス化も重要な現代では,これは良いことでもあると考える(次の2.2.2節で,別途詳しく述べる).

専門性が高いはずの深層学習やパターン認識で,アイデアがかぶりやすくなっているのは,少しおかしな話ではある.専門性が高いのだから,みんな違うバラバラな方向にむかって洗練されていくような気もする.しかし,オープンな情報や道具が増えて,研究者人口も大規模化しようとも,皆がフォローする研究が少数に固まっていれば,お互い似た方向性の「次の一歩」に手をつけやすい面がある.独自性の確保に気を付けていない人には,むしろ昔よりも類似アイデア同士でかぶってしまいやすい世の中になったとも見れる.それは同じようなサイトで検索して,同じようなフレームワークを使って,同じような有名研究を重要視している人が多いからであろう.目立っている部品や人気タスクからは簡単には逃れられないわけである.主要なデータセットだけを元にした,ベンチマーク競争が過熱してしまったのも要因であろう.

「じゃあ,それらをフォローしなければいいだけだな」と思われるであろうが,話はそう簡単ではない.Google ScholarやPaper with Codeで,あなたが研究を検索するとしよう.すると,人気で引用数の多い研究が上位にランキングされた結果がサーバーから返ってくる.もちろん,そうした人気ランキングや,世間的な流行やインパクトに左右されず(安易にフォローせず),自分がよいと思うものを選べるレベルの人なら問題はおこらない.しかし,大多数を占める中級者は,各研究の真の価値(もしくは自分にやりたいことに対しての相対的価値)を見抜けるほどの実力や,確固たるビジョンやミッションは,まだ備わっていない .(それらの気質が既に十分備わっているなら,いくらでも成果が出せるので既に上級者・プロでも上位層にいるはずである).よって,中級者だと,どうしても有名であったり,Webでよく見る研究に,思考や興味を引っ張られがちであり,コモディティ化された道具を有名フレームワークを介して使うだけなので,でき上がる研究成果も似たもの同士になりがちである.

これは,別にディープラーニング系の研究に限ったことではない.一般的なWebでも,同じ状況の時代である.Instagram,Twtitter,Amazonなどでは,「検索エンジンの上位結果」や「推選記事表示・広告」がまず提示される.よって,流されやすい人や,個々の価値が判定できないひとは,検索・推選アルゴリズムに提示された「フォローした興味のあるアカウントの発信内容」,「大衆が好む,検索ランキング上位の人気ある内容」,そして「広告費がたくさん払われて,検索上位に表示された内容」だけしか見ていない.そうすると深く考えずそれらにフォーカスしてしまいがちである.この一般的なWebと同じ状況が,専門性が高いはずのディープラーニングや機械学習でも,起こりがちになっていることは,意外と意識できていない人も多く,盲点かもしれない.

※ この記事の主眼ではないが,現代(特にコロナ以降)は「能動性」や「創造性」こそが大事な時代に変わったとも言える.(このサイトも,そのための「探索的な」活動を支えるものでありたい).

2.2.2 ポジティブ面:複数の研究チームからの知見が得られ,レガシー化を加速

さきほどは「グローバル化によって,似通った発想にありやすく,研究アイデアがかぶりやすい時代」という,少しネガティブな視点で述べた.一方で,ディープラーニング時代以降では,「実用的で,実際に社会で使える技術」を『研究者コミュニティ全体で洗練・発展させていく』という意識がある方にとっては,並行研究の多発は,ポジティブなものであると管理人は考える.

その理由は,「2グループ以上によって,1つの新アイデアに対する研究成果が公知になる」からである.みんなが同じテーマにフォーカスしているということは,そのテーマの発展は非常に高速になるメリットがでるわけである.実応用における有用性や,ビジネス応用を重視するスタンスから見れば,「同時研究」が発生した場合は,同一研究テーマについての応用的な知見が,短期間に溜まりやすくなる.よって,実用的な話や,みんながよく使うモデルほど,同時研究が発生することは,好ましいと言える側面もある.複数の人による研究結果が知れるゆえ,安定したレガシーな技術に持っていきやすい.これは,ビジネス応用したい人にとっては,非常にポジティブなことである.

ディープラーニング界隈は,(特に画像認識分野で言うと)前世代のパターン認識よりも,認識精度は高く,実現できることも多くなった.その結果,パターン認識は,非常に「プラクティカル(現実的・実用的・実際的)」な技術となってきた.よって,実用的で,なおかつ応用の論文が中心のディープラーニング界隈は,「社会で実際に応用されてナンボ」という側面がこれまでの時代よりも強く,実用性は重要な観点であると考える(※ そもそも,現在のパターン認識のような「実用的な分野」で,いまだに旧式のアカデミック的な物差しである「新規性」を主に研究成果を競っている状況がある.この論文採録の物差しの変わらなさは,はたして今の社会状況に見合った好ましい姿勢であるのか,という点は,よく考えておきたい視点ではあると思う).

非実用的な研究も多かった深層学習以前のパターン認識技術と比べると,ディープラーニングを用いた近年のパターン認識系や信号・画像生成系の技術は,(儲かるかどうか,今後需要が作れるかはさておき)現実の実データに対しても,高精度で予測や生成が可能になり,以前よりも高度なことが実現できるようになった.特に自然言語処理では,機械翻訳や旧来からのNLP系タスクにおいて,BERT登場後に更なるパラダイムシフトが起き,非常に高い実用性が発揮されている状況である.

そして,その中心にいるTransformerやBERTでは,非常に多数の類似アイデアの研究が提出・発表されやすくなっている.これはネガティブに考えれば,「新規アイデアの,いたちごっこ」的な状況とも見れる.ただ,多くの企業がこれらの基盤モデルをビジネス実用で使う時代に突入している面から考えると,並行研究や類似研究が多発は,知見が増えて速く発展し,各技術も早期に安定したレガシー状態に持っていけることに繋がる意味で,類似研究が同時に発生していくことは好ましいとも言える.

以上,私なりに,「同時研究や類似研究の多発」の,ポジティブ面(2.2.1)・ネガティブ面(2.2.2)の両方について,つらつらとではあるが書いておいた.

関連記事

SNSでシェアやブックマークを行う