Asi 50 % vědeckých experimentů se ukázalo jako NEreprodukovatelných

2024 Autor: Seth Attwood | [email protected]. Naposledy změněno: 2023-12-16 16:00

Náhodou jsem v proudu zpráv a informací narazil na článek v Nature Scientific Reports. Uvádí data z průzkumu 1500 vědců o reprodukovatelnosti výsledků vědeckého výzkumu. Jestliže dříve byl tento problém nastolen pro biologický a lékařský výzkum, kde je na jedné straně vysvětlitelný (falešné korelace, obecná složitost zkoumaných systémů, někdy i vědecký software), na druhé straně má fenomenologický charakteru (například myši mají tendenci se chovat odlišně s vědci různého pohlaví (1 a 2)).

Ne vše je však hladké a s vícepřírodní vědy jako fyzika a inženýrství, chemie, ekologie. Zdálo by se, že právě tyto disciplíny jsou založeny na „absolutně“reprodukovatelných experimentech prováděných za nejkontrolovanějších podmínek, bohužel, úžasný – v každém smyslu slova – výsledek průzkumu: až 70 %výzkumníci čelili Nereprodukovatelnéexperimenty a výsledky získané nejen jinými skupinami vědců, ALE a autory / spoluautory publikovaných vědeckých prací!

Chválí každý jespák svou bažinu?

Přestože 52 % respondentů poukazuje na krizi reprodukovatelnosti ve vědě, necelých 31 % považuje publikovaná data za zásadně nesprávná a většina uvedla, že publikovaným pracím stále důvěřuje.

Samozřejmě byste neměli sekat a lynčovat veškerou vědu jako takovou jen na základě tohoto průzkumu: polovinu respondentů stále tvořili vědci spjatí, tak či onak, s biologickými obory. Jak autoři poznamenávají, ve fyzice a chemii je úroveň reprodukovatelnosti a spolehlivosti získaných výsledků mnohem vyšší (viz graf níže), ale stále není 100%. Ale v medicíně je to ve srovnání se zbytkem velmi špatné.

Napadá mě vtip:

Marcus Munafo, biologický psycholog z University of Bristol v Anglii, se dlouhodobě zajímá o reprodukovatelnost vědeckých dat. Vzpomíná na časy svých studentských časů a říká:

Jednou jsem se pokusil reprodukovat experiment z literatury, který se mi zdál jednoduchý, ale prostě mi to nešlo. Měl jsem krizi důvěry, ale pak jsem si uvědomil, že moje zkušenost není tak vzácná.

Problém zeměpisné šířky a délky a hloubky

Představte si, že jste vědec. Narazili jste na zajímavý článek, ale výsledky / experimenty nelze reprodukovat v laboratoři. Je logické o tom napsat autorům původního článku, požádat o radu a položit upřesňující otázky. Podle průzkumu méně než 20 %ve své vědecké kariéře to dokázali!

Autoři studie podotýkají, že takové kontakty a rozhovory jsou možná pro samotné vědce příliš obtížné, protože odhalují jejich nekompetentnost a nedůslednost v určitých otázkách nebo prozrazují příliš mnoho detailů aktuálního projektu.

Navíc se naprostá menšina vědců pokusila publikovat vyvrácení nereprodukovatelných výsledků, přičemž čelila odporu redaktorů a recenzentů, kteří požadovalzlehčovat srovnání s původním výzkumem. Není divu, že šance oznámit nereprodukovatelnost vědeckých výsledků je asi 50%.

Možná by tedy stálo za to provést alespoň test reprodukovatelnosti v laboratoři? Nejsmutnější je, že třetina dotázaných dokonce NIKDYa nepřemýšleli o vytvoření metod pro ověřování dat z hlediska reprodukovatelnosti. jen 40 %uvedli, že tyto techniky pravidelně používají.

Jiný příklad, biochemička ze Spojeného království, která si nepřála zveřejnit své jméno, říká, že pokusy o opakování, reprodukování práce pro její laboratorní projekt jednoduše zdvojnásobují čas a náklady na materiál, aniž by k práci přidávaly nebo přidávaly cokoli nového. Dodatečné kontroly se provádějí pouze u inovativních projektů a neobvyklých výsledků.

A samozřejmě věčné ruské otázky, které začaly mučit zahraniční kolegy: kdo za to může a co dělat?

kdo je vinen?

Autoři práce identifikovali tři hlavní problémy reprodukovatelnosti výsledků:

• Tlak nadřízených, aby byla práce zveřejněna včas
• Selektivní reporting (zřejmě to znamená potlačení některých údajů, které „kazí“celý obrázek)
• Nedostatečná analýza dat (včetně statistických)

Co dělat?

Z 1500 dotázaných se více než 1000 specialistů vyslovilo pro zlepšení statistik ve sběru a zpracování dat, zlepšení kvality dohledu ze strany šéfů a důslednější plánování experimentů.

Závěr a pár osobních zkušeností

Za prvé, i pro mě jako vědce jsou výsledky ohromující, i když jsem zvyklý na určitou míru nereprodukovatelnosti výsledků. To je zvláště patrné v dílech prováděných Číňany a Indy bez „auditu“třetí strany v podobě amerických/evropských profesorů. Je dobře, že byl problém rozpoznán a promyšleno nad jeho řešením (y). O ruské vědě v souvislosti s nedávným skandálem taktně pomlčím, ačkoli mnozí svou práci dělají poctivě.

Za druhé, článek ignoruje (nebo spíše neuvažuje) roli vědeckých metrik a recenzovaných vědeckých časopisů při vzniku a rozvoji problému nereprodukovatelnosti výsledků výzkumu. V honbě za rychlostí a četností publikací (čtenost, nárůst citačních indexů) kvalita prudce klesá a na dodatečné ověřování výsledků není čas.

Jak se říká, všechny postavy jsou smyšlené, ale založené na skutečných událostech. Nějakým způsobem měl možnost recenzovat článek jeden student, protože ne každý profesor má čas a energii články promyšleně číst, a tak se shromažďuje názor 2-3-4 studentů a lékařů, ze kterého se recenze tvoří. Byla napsána recenze, která naznačila nereprodukovatelnost výsledků podle metody popsané v článku. To bylo profesorovi jasně prokázáno. Ale aby se nekazily vztahy s "kolegy" - vždyť se jim vše daří - byla recenze "opravena". A vycházejí 2 nebo 3 takové články.

Ukazuje se to jako začarovaný kruh. Vědec zašle článek redaktorovi časopisu, kde uvede „ požadovaný"A hlavně," nežádoucí »Recenzenti, tedy vlastně ponechání jen těch pozitivně naladěných vůči kolektivu autorů. Práci recenzují, ale nemohou se „vysrat v komentářích“a pokusit se vybrat menší ze dvou zel – zde je seznam otázek, které je třeba zodpovědět, a poté článek zveřejníme.

Dalším příkladem, o kterém redaktor Nature hovořil teprve před měsícem, jsou Grazelovy solární panely. Vzhledem k obrovskému zájmu o toto téma ve vědecké komunitě (ostatně stále chtějí článek v Nature!), musela redakce vytvořit speciální dotazník, ve kterém je potřeba uvést spoustu parametrů, zajistit kalibrace zařízení, certifikáty atd., abychom potvrdili, že metoda měření účinnosti panelů odpovídá některým obecným zásadám a normám.

A, Třetí, když zase uslyšíte o zázračné vakcíně, která si podmaní všechno a všechny, novém příběhu o Jobsovi v sukni, nových bateriích nebo nebezpečí/výhodách GMO nebo záření chytrých telefonů, zvláště pokud to propagovali žlutí spisovatelé z žurnalistiky, pak zacházejte s porozuměním a nedělejte ukvapené závěry. Počkejte na potvrzení výsledků ostatními skupinami vědců, akumulaci pole a vzorků dat.

PS: Článek byl přeložen a napsán narychlo, o všech zjištěných chybách a nepřesnostech pište do LAN.