心理学における再現の失敗は、研究集団の違いによるものではない

心理学における結果を再現するための大規模な努力は、社会科学的発見の再現に失敗したのは、研究集団における相違によるものかもしれないという主張をはね返しました。

この活動は、28の古典的および現代的な心理学実験の結果を再現しようと、世界中の研究室を募集したものです。 P < 0.0001（P値は科学的証拠の強さを判断するための一般的なテストです）に設定された有意性の厳しい閾値を使用して、わずか半数が正常に再現されました。

この取り組みでは、6つの大陸から集団をサンプリングし、この取り組みを支えるチームは、全体的な調査結果から、参加者のグループの文化や環境は、結果が再現されるかどうかにおける重要な要因ではないことが示唆されたとしています。さまざまな分野で、発表された知見を再現しようとする試みがいくつか行われましたが、結果はまちまちでした。

Many Labs 2 と呼ばれる最新の試みは、バージニア州シャーロッツビルの Center for Open Science の心理学者 Brian Nosek が中心になって行いました。 Nosek 氏と彼の同僚たちは、サンプリングに関する疑問や、再現性の試みにおいて研究プロトコルが適切に実施されないかもしれないという主張など、これまでの再現の取り組みに対する主要な批判に対処するためにプロジェクトを設計しました。そして、36 の国と地域にある 60 の異なる研究室がそれぞれの実験をやり直し、平均して元の実験の 62 倍のサンプルサイズを提供しました。この取り組みの結果は、本日プレプリント1として掲載され、『Advances in Methods and Practices in Psychological Science』に掲載される予定です。

「もちろん、条件が変わったから再現は失敗したし、人々は違うのだというよくある反応に対処したかった」とNosekは言います。「それは可能な説明ではありますが、満足のいく説明ではありません。「失敗したものは、どこでも失敗する傾向がありました」と、Nosek は言います。

再現実験が成功した場合、状況はより複雑になりました。これらの研究では、結果は異なる再現の試み間でいくつかの違いを示したが、全体として、その変動は比較的小さかった。

「不均質性は発生しますが、私たちが考えるほど大きくはなく、一部の研究が再現に失敗する理由のもっともらしい説明にはなりません」と、ノセックは言います。「

レプリケーションチェーン

Many Labs 2 は、心理学における 6 つの大規模なレプリケーションの取り組みの最新作です。これはさまざまな研究に焦点を当てたもので、他の大規模な再現性プロジェクトで検討されたことのないものばかりです。

インバーの研究を再現する試みは、厳格な有意性基準で失敗し、ノセックを驚かせました。 “私自身が研究していることに関連しているので、そちらには高い自信がありました。”

メニーラボ2に参加したカナダのトロント大学スカーボロー校の心理学者インバーも、自分の研究が再現できなかったことに驚きましたが、その結果に疑問を持ってはいません。「元のサンプル数が少なかったので、単に運が良かっただけかもしれませんし、時間の経過とともに態度が変化したのかもしれません」と、彼は言います。例えば、彼は同僚が最初に収集したデータを別の研究に使用しました。

近年、再現性に注目が集まっているため、多くの心理学者と同様に、インバーもより信頼性の高い結果を出すために仕事のやり方を変えてきました。「

破滅論者ではない

ノセックのような再現プロジェクトは、再現のために選ばれた研究が代表サンプルではないため、その分野の全体的な再現率を確立するものではありません。また、「良い」再現率とはどのようなものかという問題にも答えていない。研究者は満点を目指しているわけではありません。「以前のMany Labsプロジェクト4では、13件の研究のうち10件の再現に成功しましたが、他のプロジェクトでは36%という低い再現率となっています。 6つの大規模なプロジェクトで調査された190の研究のうち、90が再現に成功し、再現率は47%でした。「しかし、ドイツのヴュルツブルク大学の心理学者フリッツ・シュトラックは、このような再現プロジェクトが心理学の現状について有益なことを明らかにするとは考えていないようです。むしろ、再現実験が行われるたびに、何が結果に影響を及ぼしているのか、より深く知ることができるのだと彼は言っています。古典的な発見を「偽陽性」と断定するのではなく、再現研究者は、効果が得られる条件と得られない条件を特定すべきです」と彼は付け加えました。「それが科学の進歩であり、証拠、批判、そして批判の有効性を検証するためのさらなる証拠なのです」と、彼は言います。