良い研究を行う方法：「意図的な練習」が可能な真の能力を鍛えること

この記事を読むのに必要な時間は 10 分

研究能力は才能ではなく、意図的に練習できる小さなスキルセットです。

原文タイトル：研究をうまくやる方法

原文著者：vivek、AIアナリスト

原文編集：実践兄 MinLi、AIビルダー

実際に研究のやり方を教えてくれる人はいない。机と、誰かが選んだ問題、そして「何か新しいものを作り出せ」という曖昧な指示が与えられるだけだ。

そのため、ほとんどの人は目に見えるもの（論文や投稿、発表など）からこの仕事を逆算して学び、最終的には「研究者らしく見える」方法だけを身につけ、「研究者になる」方法を学べていない。本当の研究能力は小さなスキルの積み重ねであり、そのほぼすべてが意図的な練習によって培うことができる。

自分自身の問題を選ぶ

リチャード・ハミング（Richard Hamming）はベル研究所で、ランチタイムに嫌われる習慣を持っていた。隣に座った人に、その分野で重要な問題は何かと尋ね、なぜそれを研究しないのかと問いかけたのだ。すると人々は次々と席を変えた。

この質問は痛烈だ。なぜなら、私たちのほとんどが良い答えを出せないからだ。私たちは問題を選んでいるのではなく、問題を吸収している——指導者から、大手研究所が先週発表した発表から、今週皆がリツイートして引用している論文から。

吸収した問題の厄介な点は、結論だけを持っていて、その背後にある推論のロジックを知らないことだ。ある有名な研究所が特定の方向性に関心を持っていることは知っていても、なぜなのか、何を発見しようとしているのか、どのような状況でその方向性を放棄するのかは分からない。

彼らが方向転換したとき、あなたは1年後に気づく。そして、すでに流行している問題では、あなたより早くスタートし、より多くの計算リソースを持つ1,000人と競争していることになる。

ジョン・シュルマン（John Schulman）の機械学習研究ガイドでは、この作業を2つのモードに分けている。1つ目は、文献を読み、改善できる点を探すこと。2つ目は、自分が本当に実現したい結果を選び、そこから逆算して実験を設計することだ。

彼は2つ目を推奨している。その隠れた理由は、これが独創性を生み出すからだ。自分が本当に気にかける目標は、どんなレビュー論文もカバーしていない領域へとあなたを引きずり込む。

「センス」については、よく才能として語られる。しかし、実際には筋肉のように振る舞う。

各実験を実行する前に、まずその結果を予測せよ。論文の結果部分を隠し、手法のみからデータを推測せよ。今月発表された成果のうち、2年後も重要であり続けるものを記録し、後日その的中率を検証せよ。1回の予測と1回の修正を繰り返すこと数百回——優れたモデルはすべて、このようにして訓練される。あなたの頭の中にあるモデルも例外ではない。

インプットをアップグレードせよ

共有された読書リストは、共有されたアイデアを生む。もしあなたの情報源が、arXivの人気ランキングとグループチャットでふるいにかけられた残り物だけなら、あなたは必然的に他の全員と同時に同じ結論に達し、その結論はほとんど価値のないものとなる。

古い資料の価値は著しく過小評価されている。この分野は常に、過去を遅れて繰り返す。混合エキスパートモデル（MoE）は1991年、LSTMは1997年、バックプロパゲーションは1986年に主流となった。

リッチ・サットン（Rich Sutton）は2019年、わずか千字ほどで『苦い教訓』（The Bitter Lesson）を書き上げたが、その分野の発展軌道に対する予測は、十倍の長さのサーベイ論文よりも正確だった。クロード・シャノン（Claude Shannon）は1952年に創造的思考に関する講演を行い、その第一の手法は、問題をほとんど取るに足らないほどに縮小し、その縮小版を解き、そして難易度を少しずつ元に戻すというものだった。

この一手だけで、現代の生産性向上のアドバイスよりも多くの壁を打ち破ることができる。

広さと深さは同じくらい重要である。 解釈可能性研究は、神経科学から隠そうともせずに借用している。評価（Eval）設計は、白衣を着たメカニズムデザインである。GPUが実際にどのようにメモリを移動させるのかについて実用的な知識があれば、ベンチマーク結果が出る前に、どのアーキテクチャ論文が失敗する運命にあるかを判断できる。そして、正直な統計学は、おそらく機械学習分野で最も希少なスキルであり、ここでは、公表された「厳密さ」の多くが、誤差範囲付きの「感覚」に過ぎない。

もう一つある。論文そのものを読め。要約した投稿を読むのではなく。 付録こそ秘密が埋められている場所であり、「限界」セクションは、通常、文書全体の中で最も正直な部分である。

すべてを書き留めよ

ポール・グレアム（Paul Graham）は、アイデアはそれを言葉にしようとするまでは、常に十分に成熟しているように感じられると指摘する。しかし、白黒の文字は、あなたの脳が美化した穴を露呈させる。すなわち、決してテストしたことのない仮定、実際には一貫性のないステップ、そして静かに矛盾する二つの主張である。

ファインマンの原則は、最初に騙してはいけない相手は自分自身であるということだ。なぜなら、あなたが最も騙されやすい標的だからだ。執筆は、これまでに発明された中で最も安価な防御手段である。

ダーウィンはさらに進んで、それを体系化した。彼の理論に反する事実は、その場で書き留めるようにした。なぜなら、自分の記憶が不利な証拠を、有利な証拠よりもはるかに速く削除してしまうことに気づいたからだ。あなたの記憶も、失敗の記録に対して同じことを行っている。

日誌をつける習慣を続けよ。仮説、前提、期待、結果、更新された認識。先月の記録を読み返すことは、極度の謙虚さをもたらす。どんな査読者もこの効果を生み出せない。