Psychologické studie byly shledány nepravdivými ve více než 50 % případů

2024 Autor: Seth Attwood | [email protected]. Naposledy změněno: 2023-12-16 16:00

Existují „silné pozice“, které budují sebevědomí a snižují stresové hormony. Když lidé drží v ruce šálek teplého nápoje, stávají se přátelštějšími ke svému okolí. Síla vůle je zdroj, který utrácíme, když odoláme pokušení. Schopnost odložit odměnu určuje budoucí úspěch dítěte.

Tyto výroky jsou si navzájem velmi podobné: stojí za nimi známé psychologické výzkumy, populárně vědecké bestsellery, sloupky v populárních časopisech a TED talks.

Ještě jednu věc mají společnou: všechny se ukázaly jako špatné.

Krize reprodukovatelnosti zpochybnila celé oblasti vědy. Mnohé z výsledků, které byly široce citovány v médiích, jsou nyní považovány za přehnané nebo nepravdivé. Když se vědci pokusili zopakovat klasické i nedávné psychologické experimenty, výsledky byly překvapivě konzistentní, přibližně polovina případů byla úspěšná a druhá polovina neúspěšná.

Krize se nakonec projevila v roce 2015, kdy vědci pod vedením Briana Noska zkontrolovali 100 psychologických studií. Prvotních výsledků se jim podařilo dosáhnout pouze v 36 případech. Šéfredaktor Lancetu Richard Horton brzy prohlásil:

„Obvinění proti vědě jsou zcela jasná: nejméně polovina vědecké literatury je prostě špatná. Věda, která trpí studiemi s malou velikostí vzorku, nedostatečným efektem a nesprávnými analýzami, stejně jako posedlostí módními trendy pochybné důležitosti, se obrátila k ignoranci.

Reprodukovatelnost je jedním z klíčových požadavků na vědecké poznání. Čím lépe je výsledek reprodukován, tím je spolehlivější - jen tak lze oddělit skutečné vzory od jednoduchých náhod

Ukázalo se ale, že tento požadavek není vždy splněn.

Krize začala medicínou, ale nejvíce zasáhla psychologii. V létě 2018 se vědci pokusili replikovat výběr psychologických studií publikovaných v Science and Nature, nejprestižnějších světových vědeckých časopisech. Z 21 experimentů se potvrdilo pouze 13 – a i v těchto případech byly původní výsledky asi o 50 % nadsazené.

Test reprodukovatelnosti často selhává u těch studií, které byly široce replikovány v médiích a podařilo se jim ovlivnit veřejné povědomí. Například díla, která vyhledávače zhoršují paměť, a čtení beletrie rozvíjí schopnost empatie. Pokud opakované experimenty selžou, neznamená to, že původní hypotézy jsou bezcenné. K jejich prokázání je však nyní zapotřebí lepší výzkum.

Jak předpovídat budoucnost pomocí statistik

V roce 2011 publikoval slavný americký psycholog Daryl Boehm článek, který prokázal možnost jasnovidectví. Tento závěr nebyl výplodem jeho násilné představivosti, ale byl založen na desetiletích výzkumu, do kterého se zapojily stovky lidí. Mnozí měli podezření, že se Boehm rozhodl zařídit něco jako Sokalův podvod a odhalit psychologii falešným článkem se záměrně absurdními závěry. Ale podle všech metodických standardů byl článek velmi přesvědčivý.

V jednom z Behmových experimentů byly před účastníky umístěny dvě obrazovky – ti museli uhodnout, který obrázek se za nimi skrývá. Obrázek byl vygenerován náhodně ihned po provedení výběru. Pokud by účastníci odvedli dobrou práci, znamenalo by to, že dokážou nějak předvídat budoucnost. Experiment používal dva typy obrázků: neutrální a pornografický.

Boehm navrhl, že pokud šestý smysl existuje, má pravděpodobně prastarý evoluční původ. Pokud ano, pak je pravděpodobnější, že je naladěn na naše nejstarší potřeby a pohnutky

Účastníci hádali pornografické obrázky v 53 % případů – o něco častěji, než by měli, kdyby to byla čistá náhoda. Vzhledem k velkému počtu experimentů by Boehm mohl tvrdit, že předvídavost existuje.

Později odborníci zjistili, že při rozboru výsledků používal ne zcela správné metody. Výsledek výzkumu je zpravidla považován za spolehlivý, pokud pravděpodobnost, že byl získán náhodou, nepřesahuje 5 %. Existuje však mnoho způsobů, jak tuto hodnotu snížit na požadovanou úroveň: změnit počáteční parametry analýzy, přidat nebo odebrat požadovaný počet příkladů ze vzorku, použít úspěšnější hypotézy po shromáždění dat.

Problém je v tom, že nejen Boehm, ale i mnoho dalších vědců použilo stejné techniky. Podle průzkumu z roku 2011 to přiznala téměř polovina psychologů

Když vyšel článek jasnovidce, sociální vědci Joseph Simmons, Leaf Nelson a Uri Simonson si uvědomili, že věda směřuje ke své vlastní zkáze. Vytvořili několik počítačových modelů a zjistili, že pomocí poměrně standardních statistických technik můžete několikrát zvýšit úroveň falešně pozitivních výsledků. To znamená, že metody, které jsou formálně vědecké, mohou snadno vést ke zcela absurdním závěrům.

Aby to vědci ilustrovali, provedli experiment, který potvrdil, že poslechem písně „Když mi bude šedesát čtyři“je posluchač o rok a půl mladší.

"Všichni věděli, že je špatné používat takové techniky, ale mysleli si, že jde o porušení ve svém významu - jako je přecházení silnice na nesprávném místě." Ukázalo se, že je to spíše bankovní loupež, “uzavřel Simmons.

Jak rozeznat špatný výzkum od dobrého

Brzy se ukázalo, že problémy s reprodukovatelností se neomezují pouze na psychologii. Ve výzkumu rakoviny jsou vědecké důkazy podpořeny v 10–25 % případů. V ekonomii nebylo 7 z 18 laboratorních experimentů schopno replikovat. Také výzkum umělé inteligence vykazuje známky krize.

Ale ztrácet víru ve vědu, jak se zdá, stále nestojí za to. Vědci již přišli s několika způsoby, které výrazně zlepšily spolehlivost a kvalitu nového výzkumu

Před několika lety téměř nikdo nepublikoval výsledky opakovaných experimentů, i když byly provedeny. To nebylo přijato, nepřineslo granty a nepřispělo k úspěšné vědecké kariéře. Podle průzkumu Nature se více než 70 % psychologů pokusilo a nepodařilo se jim reprodukovat výzkum jiných lidí, asi polovina nebyla schopna zopakovat svůj vlastní a téměř nikdo se nesnažil tyto výsledky zveřejnit.

Když se objevila krize reprodukovatelnosti, mnohé se změnilo. Opakovaný výzkum se postupně stal běžným; experimentální data začala být publikována stále častěji ve veřejné doméně; časopisy začaly publikovat negativní výsledky a zaznamenávat celkový plán výzkumu ještě dříve, než začaly.

Výzkum se rozrostl - vzorek 30–40 lidí, což bylo v psychologii celkem standardní, dnes vyhovuje málokomu. Velké mezinárodní organizace – jako je Psychological Science Accelerator – testují stejné hypotézy v několika laboratořích po celém světě.

Před kontrolou článků z Nature and Science, o kterých jsme psali na začátku, byli vědci požádáni, aby uzavřeli sázky na loterii. Museli předpovědět, který výzkum testem projde a který neuspěje. Celkově byly sazby velmi přesné. „To znamená zaprvé, že vědecká komunita může předvídat, která díla se budou moci opakovat, a zadruhé, že nemožnost replikovat studii nebyla pouhá náhoda,“tvrdí organizátoři experimentu.

Vědci jsou obecně dobří v rozlišování spolehlivého od nespolehlivého výzkumu – to je dobrá zpráva. Nyní se experti z Centra pro otevřenou vědu společně s agenturou DARPA snaží vytvořit algoritmus, který bude stejný úkol plnit bez lidského zásahu.

Každý rok je publikováno příliš mnoho článků na to, aby bylo možné ručně překontrolovat byť jen malý zlomek z nich. Pokud se umělá inteligence pustí do práce, bude vše mnohem jednodušší.

Již v prvních testech se AI úspěšně vyrovnala s předpověďmi v 80 % případů.

V čem je výzkum nejčastěji nespolehlivý? Malé ukázky, nesrovnalosti v číslech, příliš krásné potvrzení hypotéz. A také – touha po senzacích a příliš jednoduché odpovědi na těžké otázky.

Příliš dobré, aby to byla pravda

Nejjednodušší způsob, jak vytvořit senzační výzkum, je pomocí podvodu. Slavný sociální psycholog Diederik Stapel použil vymyšlená data v několika desítkách vědeckých článků. Stapelův výzkum se šířil novinami a časopisy velkou rychlostí, získal několik prestižních vědeckých ocenění, byl publikován ve Science a byl považován za jednoho z největších specialistů ve svém oboru.

Jednou se ukázalo, že Stapel po dlouhou dobu vůbec neprováděl výzkum, ale jednoduše vynalezl data a dal je studentům k analýze.

To je ve vědě velmi vzácné. Mnohem častěji hlasité, ale nesprávné výroky vznikají z jiných důvodů. Lidé zoufale hledají jednoduché, srozumitelné a účinné odpovědi na vzrušující otázky. Může být velmi snadné být v pokušení myslet si, že máte tyto odpovědi, i když ve skutečnosti nemáte. Snaha o jednoduchost a jistotu je jedním z hlavních důvodů, proč mnoho studií selhává při testování reprodukovatelnosti. Zde je několik pozoruhodných příkladů.

Marshmallow experiment

V experimentu byly děti požádány, aby si vybraly mezi jednou malou odměnou – například marshmallow –, kterou mohly dostat okamžitě, a dvojnásobnou odměnou, pokud mohly chvíli počkat. Později se ukázalo, že děti, které dostaly druhé ocenění, se staly úspěšnějšími v dospělosti. Studium se stalo velmi populární a ovlivnilo některé školní osnovy.

V roce 2018 byl experiment opakován na širším vzorku. Ukázalo se, že bohatství v rodině je mnohem důležitější faktor, na kterém závisí i míra sebeovládání.

„Pózy síly“a „pózy slabosti“

Účastníci experimentu zaujali jednu ze dvou póz po dobu dvou minut: opřeli se na židli a hodili nohy na stůl („silová póza“) nebo si zkřížili ruce na hrudi („póza slabosti“). V důsledku toho se účastníci z první skupiny cítili sebevědoměji a častěji souhlasili s rizikem v hazardu. Ti, kteří seděli v silné pozici, zvýšili hladinu testosteronu a ti, kteří seděli ve slabé pozici, zvýšili kortizol. V opakovaných experimentech byl reprodukován pouze jeden efekt: „silové pozice“pomohly účastníkům cítit se jistější, ale nezměnily jejich chování ani hormonální parametry.

Asociace se stářím vás nutí pohybovat se pomaleji

Účastníci experimentu byli požádáni, aby vyřešili několik hádanek. Pokud se do nich vkládala slova, která jsou spojena se stářím – „zapomnětlivý“, „starší“, „osamělý“– pak účastníci opouštěli místnost pomalejším tempem.

V nedávných pokusech byl experiment úspěšně reprodukován pouze v jednom případě: pokud sami experimentátoři věděli, že v testech účastníci naznačovali stáří. Samotný efekt zůstal, ale důvody už byly jiné.

Teplé předměty dělají lidi přátelštějšími

Účastníkům experimentu bylo dovoleno podržet na krátkou dobu šálek horké nebo studené kávy a poté byli požádáni, aby pomocí krátkého popisu ohodnotili osobnost dané osoby. Účastníci, kteří drželi horký šálek kávy, hodnotili osobu jako sympatičtější. V dalším experimentu dostali účastníci předmět v teplém nebo studeném obalu a poté byli požádáni, aby si jej nechali nebo dali příteli. Pokud byla věc zabalena v teplém balíčku, účastníci spíše zvolili druhou možnost. Opakované experimenty s širším vzorkem takové výsledky nepřinesly. Vypadá to, že teplé oblečení z vás altruistu neudělá.

Síla vůle se vyčerpá, když odoláme pokušení

Před účastníky experimentu byly umístěny dva talíře - se sušenkami a ředkvičkami. V první skupině směli účastníci jíst sušenky a ve druhé pouze ředkvičky. Poté byl každý účastník požádán, aby vyřešil nemožný hlavolam. Účastníci, kteří v první části experimentu jedli pouze ředkvičky, to vzdali mnohem dříve než ostatní. V opakovaných experimentech se výsledky nepotvrdily.

V některých případech se kapacita sebekontroly nevyčerpala, ale časem dokonce zesílila. Mnoho psychologů nyní považuje pojem „síla vůle“za příliš zjednodušený.

Ve světové psychologii se již udělalo mnoho, aby byl výzkum spolehlivější a reprodukovatelnější. V Rusku se tento problém ještě nepodařilo pochopit.

„V ruské psychologii se problémy krize týkají především vědecké mládeže, která je převážně orientována na západní vědu,“řekl listu Knife Ivan Ivanchey, docent na RANEPA. - Kontrola kvality publikací v ruštině není obecně příliš vysoká. Časopisy málokdy odmítají články, takže je publikováno hodně nekvalitních výzkumů. Často se používají malé vzorky, což také snižuje pravděpodobnost úspěšné reprodukce. Existuje podezření, že pokud se vážně zaobíráme otázkou reprodukovatelnosti ruskojazyčných děl, lze odhalit mnoho problémů. Ale nikdo se do toho přímo nezapojuje."

V lednu 2019 vyšlo najevo, že ruská vláda se chystá výrazně rozšířit požadavky na vědce, pokud jde o počet publikací: minimální počet článků publikovaných za rok by měl vzrůst o 30-50%.

Vědci z vlivného akademického „Klubu 1. července“iniciativě kritizovali: „Úkolem vědy není produkovat maximální počet publikací, ale prozkoumávat vesmír a těžit z poznatků získaných pro lidstvo.“Nové požadavky s největší pravděpodobností jen zvětší rozsah problému.

Příběh o krizi reprodukovatelnosti není příběhem o nadcházející apokalypse a invazi barbarů. Kdyby krize nenastala, všechno by bylo mnohem horší: stále bychom se odvolávali na chybný výzkum s plnou důvěrou, že známe pravdu. Doba tučných titulků typu „Britští vědci dokázali“se možná chýlí ke konci. Ale fámy, že věda je mrtvá, je třeba považovat za poněkud přehnané.