Rozsáhlé úsilí o replikaci výsledků v psychologickém výzkumu vyvrátilo tvrzení, že neúspěchy při reprodukci výsledků sociálních věd mohou být způsobeny rozdíly ve studovaných populacích.
Snaha získala laboratoře po celém světě, aby se pokusily replikovat výsledky 28 klasických i současných psychologických experimentů. Pouze polovina z nich byla úspěšně reprodukována za použití přísného prahu významnosti, který byl stanoven na P < 0,0001 (hodnota P je běžný test pro posuzování síly vědeckých důkazů).
Iniciativa vybírala vzorky populace z šesti kontinentů a tým, který za tímto úsilím stojí, tvrdí, že jeho celková zjištění naznačují, že kultura nebo prostředí skupiny účastníků není důležitým faktorem pro to, zda lze výsledky replikovat.
Pod drobnohledem
Reprodukovatelnost výsledků výzkumu – a psychologie zvláště – se v posledních letech dostala pod drobnohled. Několik snah se pokusilo zopakovat publikované výsledky v různých oblastech se smíšenými výsledky.
Nejnovější snahu nazvanou Many Labs 2 vedl psycholog Brian Nosek z Centra pro otevřenou vědu v Charlottesville ve Virginii. Nosek a jeho kolegové svůj projekt koncipovali tak, aby se vypořádali s hlavními výtkami vůči předchozím snahám o replikaci – včetně otázek týkajících se výběru vzorků a tvrzení, že výzkumné protokoly nemusí být při pokusech o reprodukovatelnost prováděny správně.
Výzkumníci získali původní materiály použité v každém experimentu a požádali odborníky – v mnoha případech původní autory studií – aby předem zkontrolovali jejich experimentální protokoly. Šedesát různých laboratoří ve 36 zemích a teritoriích pak každý experiment opakovalo a poskytlo kombinované vzorky, které byly v průměru 62krát větší než ty původní. Výsledky tohoto úsilí jsou dnes zveřejněny jako preprint1 a mají být publikovány v časopise Advances in Methods and Practices in Psychological Science.
„Chtěli jsme reagovat na běžnou reakci, že replikace samozřejmě selhala, protože se změnily podmínky a lidé jsou různí,“ říká Nosek. „Je to možné vysvětlení, ale ne uspokojivé, protože nevíme, proč je tento rozdíl důležitý.“
I za těchto podmínek se podařilo replikovat výsledky pouze 14 z 28 experimentů a vědci zjistili, že různorodost studijních populací měla na neúspěchy malý vliv. „Ty, které selhaly, měly tendenci selhávat všude,“ říká Nosek.
U úspěšných pokusů o replikaci byl obraz složitější. U těchto studií výsledky ukázaly určité rozdíly mezi různými pokusy o replikaci, ale celkově byly tyto rozdíly poměrně malé.
„Heterogenita se vyskytuje, ale není tak velká, jak si myslíme, a není pravděpodobným vysvětlením, proč se některé studie nepodařilo replikovat,“ říká Nosek. „Uzavírá to jedno ze zřejmých alternativních vysvětlení.“
Řetězec replikací
Many Labs 2 je poslední ze série šesti rozsáhlých replikačních pokusů v psychologii. Zaměřila se na řadu studií, z nichž žádná nebyla předmětem zkoumání jiných velkých projektů reprodukovatelnosti.
Jsou mezi nimi jak klasické studie, jako například práce psychologa Daniela Kahnemana z roku 19812 o efektu rámování, což je forma kognitivního zkreslení, kdy lidé reagují na určitou volbu odlišně v závislosti na tom, jak je prezentována (studie byla úspěšně replikována), tak i moderní výzkumy, včetně práce3 Yoela Inbara z roku 2009, která ukázala, že lidé, kteří častěji zažívají pocity znechucení, mají tendenci být více homofobní.
Pokus o replikaci Inbarovy studie selhal při přísném kritériu významnosti, což Noska překvapilo. „Měl jsem k ní velkou důvěru, protože souvisí s věcmi, které sám studuji.“
Inbar, psycholog z University of Toronto Scarborough v Kanadě, který se zúčastnil Many Labs 2, byl také překvapen, že se jeho práci nepodařilo replikovat, ale výsledek nezpochybňuje. „Mohli jsme mít prostě štěstí, protože původní vzorek byl malý, nebo se postoje mohly v průběhu času změnit,“ říká.
Inbar říká, že v jeho původní studii byly také nedostatky. Například použil data, která původně shromáždil jeho kolega pro jinou studii.
Důraz na reprodukovatelnost v posledních letech znamená, že Inbar, stejně jako mnoho psychologů, změnil způsob své práce ve snaze dosáhnout spolehlivějších výsledků. „V dnešní době bych nikdy nepřistoupil na takovou oportunistickou sekundární analýzu,“ říká.“
Nejsem doomsayer
Replikační projekty, jako je Noskův, nestanovují celkovou míru replikace v dané oblasti, protože studie vybrané pro replikaci nejsou reprezentativním vzorkem. Neodpovídají ani na otázku, jaká by měla být „dobrá“ míra replikace. Výzkumníci neusilují o dokonalé skóre. „Dosažení 100% reprodukovatelnosti prvních zjištění by znamenalo, že jsme příliš konzervativní a netlačíme na pilu,“ říká Nosek.
Předchozí projekt Many Labs4 úspěšně replikoval 10 ze 13 studií, zatímco jiné projekty zjistily míru replikace až 36 %. Ze 190 studií zkoumaných v rámci 6 rozsáhlých projektů dohromady bylo úspěšně replikováno 90, což představuje 47% míru replikace.
To se Inbarovi zdá příliš málo. „Pokud máme při velkém vzorku šanci na replikaci jen jako při hodu mincí, připadá nám to špatně,“ říká.
Fritz Strack, psycholog z univerzity v německém Würzburgu, si však není jistý, zda podobné replikační projekty odhalují něco užitečného o stavu psychologie. Spíše říká, že každá replikace nás učí více o tom, co by mohlo ovlivnit výsledek. „Místo toho, abychom prohlásili další klasický nález za ‚falešně pozitivní‘, by replikátoři měli identifikovat podmínky, za kterých lze a nelze efektu dosáhnout,“ dodává.
Nosek kontruje, že probíhající snahy o replikaci jsou důležité ze dvou důvodů: aby se zajistilo, že výsledky replikace jsou samy o sobě replikovatelné, a aby se řešila kritika předchozí práce, jako tomu bylo v tomto případě. „Takto se věda vyvíjí: důkazy, kritika, další důkazy, aby se prověřila životaschopnost kritiky,“ říká
.