再現性のない論文は「再現性のある論文より153倍も多く引用されている」

真実である可能性が低い研究はより多く引用される傾向があり、カリフォルニア大学サンディエゴ校の研究チームによると、再現性のない論文は153倍も多く引用されている事などがわかりました。

Their possible answer is that review teams of academic journals face a trade-off. When the results are more “interesting,” they apply lower standards regarding their reproducibility.

参照元：https://ucsdnews.ucsd.edu/pressrelease/a-new-replication-crisis-research-that-is-less-likely-be-true-is-cited-more
– カリフォルニア大学サンディエゴ校 University of California San Diego. May 21, 2021  –

カリフォルニア大学サンディエゴ校Rady School of Managementの研究によると、心理学、経済学、科学の主要ジャーナルに掲載された論文のうち、再現性がなく、真実である可能性が低い論文が、学術研究において最も引用されることが多いことがわかりました。

この論文は、Science Advances誌に掲載され、現在進行中の「再現性の危機」について考察しています。

この危機とは、社会科学や医学の分野における多くの研究結果が、他の研究者が実験を再現しようとすると持ちこたえられないことを発見したというものです。

この論文では、実験を繰り返したときに検証できない研究から得られた知見は、時間の経過とともに大きな影響力を持つことが明らかになっています。

信頼性の低い研究は、論文が再現できなかった後も、その結果が真実であるかのように引用される傾向があります。

著者のMarta Serra-Garcia（Rady School、経済学・戦略学助教授）とUri Gneezy（Rady School、行動経済学教授）は話します。

「専門家は、どの論文が複製されるかをよく予測できることもわかっています。この予測を踏まえて、我々は「そもそもなぜ再現性のない論文が出版物として受理されるのか」と問いかけます。」

彼らが考えた答えは、学術雑誌の審査チームがトレードオフの関係にあるというものです。

学術雑誌の審査チームは、結果が「興味深い」ものであれば、再現性に関する基準を低く設定します。

また、興味深い研究結果と再現性のない研究との間に関連性があることで、なぜ再現性のない研究がより高い確率で引用されるのかを説明することができます。

著者らは、再現に成功した論文は、失敗した論文に比べて153倍も引用されないことを発見しました。

Gneezy氏は話します。

「興味深い知見や魅力的な知見は、メディアで取り上げられたり、Twitterなどのプラットフォームで共有されたりして注目を集めますが、だからといって真実であるとは限りません。」

Serra-Garcia氏とGneezy氏は、心理学、経済学、一般科学のトップジャーナル（NatureとScience）に掲載された研究結果を体系的に再現しようとした、影響力のある3つの再現プロジェクトのデータを分析しました。

心理学では、100の実験のうち複製に成功したのはわずか39％でした。

経済学では、18件の研究のうち61％が再現され、「ネイチャー／サイエンス」に掲載された21件の研究のうち62％が再現されました。

これらの3つの再現プロジェクトから得られた知見をもとに、著者らはGoogle Scholarを用いて、再現プロジェクトの発表前と発表後の両方において、再現に失敗した論文が再現に成功した論文よりも有意に多く引用されているかどうかを検証しました。

最も差が大きかったのは、「Nature/Science」に掲載された論文で、再現性のない論文は再現性のある論文の300倍も引用されていました。

複製された研究のいくつかの特徴（著者数、男性著者の割合、実験の詳細（場所、言語、オンラインでの実施）、論文が発表された分野など）を考慮しても、複製可能性と被引用数の関係は変わらなかったとのことです。

また、そのような被引用の影響は、時間の経過とともに大きくなることもわかっています。

毎年の被引用数を見ると、複製された論文とそうでない論文の間に顕著なギャップがあることがわかります。

複製に失敗した論文は、平均して年間で16倍も多く引用されています。

このギャップは、再現プロジェクトが発表された後も続きます。

著者らは語ります。

「驚くべきことに、再現性のない知見の再現後の引用のうち、再現の失敗を認めているのはわずか12％です。」

一流ジャーナルに掲載された不正確な論文の影響は、何十年にもわたって続きます。

例えば、アンドリュー・ウェイクフィールドが1998年にランセット誌に発表した研究は、ワクチン接種と自閉症との間に暗示的な関連性があるとして、世界中の何万人もの親たちを麻疹、おたふく、風疹のワクチン接種に反対させました。

この誤った調査結果は12年後にLancet誌で撤回されましたが、自閉症とワクチンの関連性についての主張は続いています。

著者らは、ジャーナルは興味深い知見を発表しなければならないというプレッシャーを感じることがあり、それは学者も同様であると付け加えています。

例えば、昇進の判断において、ほとんどの学術機関では、引用を重要な指標としています。

このことが、2010年代初頭に最初に発見された「複製の危機」の原因となっているのかもしれません。

Serra-Garcia氏は話します。

「私たちの研究が、読者の皆様に、興味深く魅力的なものを読んだ場合には、慎重になることをお勧めしたいと思います。研究者が、より興味深い研究や多く引用されている研究を引用する際には、必ず再現データがあるかどうか、その結果が何を示唆しているかを確認してほしいと思います。」

「私たちは、この分野と質の高い研究を生み出すことに関心があり、それが真実であることを望んでいます。」