Fot. Fotolia
W nauce wyniki pojedynczego badania nie świadczą jeszcze o odkryciu. Badanie to musi dać się powtórzyć. A w potoku prac naukowych nie wszystkie badania nawet próbuje się replikować. Mamy za dużo „odkryć” – uważa prof. John Ioannidis ze Stanforda.
Prof. John Ioannidis ze szkoły medycyny na Uniwersytecie Stanforda w swoich badaniach zajmuje się problemem replikowalności badań. O problemie tym mówił podczas wykładu na Europejskim Forum Otwartej Nauki (ESOF) w Tuluzie.
Naukowiec - powołując się na analizę 20 mln publikacji i 2 mln patentów z 15 lat – podsumował, że w nauce jest 200 tys. klastrów obejmujących różne obszary nauki. Obszary te sporo dzieli, ale mają wspólną cechę. ”W każdej z nich, jeśli się postaramy i wykonamy badanie w taki sam sposób, jak poprzedni zespół, powinniśmy otrzymać w miarę podobny wynik” - podsumował naukowiec.
Ponieważ nauka składa się nie tylko z eksperymentów udanych, ale i nieudanych, badacza zastanawia, dlaczego tak ogromna liczba publikacji naukowych dotyczy badań, które się naukowcom „udały”. Przecież publikować można również wyniki badań, które nie spełniają pierwotnych oczekiwań badaczy, a wyniki nie są „statystycznie istotne”.
A – jak wskazują analizy prof. Ioannidisa - autorzy 96 proc. publikacji biomedycznych deklarowali, że wyniki, które uzyskali, są „statystycznie istotne”, czyli udane. Naukowiec ze Stanforda dość sceptycznie odnosi się do skali tych rewelacji. „Mamy za dużo odkryć! (…) A to niekoniecznie dobra wiadomość” - skomentował podczas wystąpienia w Tuluzie. Jego zdaniem te odkrycia powinny być jeszcze potwierdzane.
Przypomniał, jaki kryzys wywołała kilka lat temu publikacja, która wskazywała, że w psychologii nawet 2/3 badań nie jesteśmy w stanie powtórzyć.
W swoim wystąpieniu wskazywał pewne systemowe problemy, które sprawiają, że naukowcy mogą tworzyć takie „niereplikowalne” wyniki badań. Zwrócił uwagę, że naukowcy muszą pracować w środowisku, które oczekuje od nich konkretnych efektów w określonym czasie. W dodatku możliwość zdobycia środków na badania jest ograniczona, a fundusze są niewielkie.
W związku z tym badania są wykonywane na małych próbach badawczych. Pojawia się też presja, by badania się udały, bo jeśli nie – nie dostanie się środków na kolejne projekty. Badacze mogą więc czuć pokusę, by wybierać tylko najlepsze wyniki – jedynie te zgodne z hipotezami. Kolejną sprawą jest to, że badacze nie dzielą się z nikim zebranymi przez siebie danymi. Nie czują też zachęty, by replikować badania – swoje ani nikogo innego.
Jego zdaniem są sposoby, by sprawić, żeby badania były bardziej wiarygodne i replikowalne. Jednym z ważniejszych rozwiązań według niego są badania prowadzone na wielką skalę, w szerokiej współpracy z różnymi zespołami. W takich dużych zespołach mniejsza jest szansa, że nikt nie zauważy błędu. Albo że będzie się stronniczym np. przy tworzeniu eksperymentu czy interpretowaniu jego wyników.
Jako dobry przykład podał CERN. Zastanawiał się, co by było, gdyby zamiast tworzyć tę międzynarodową organizację i budować ogromny akcelerator, pieniądze podzielono pomiędzy 30 tys. fizyków. A naukowców tych zobligowano, by znaleźli szybko bozon Higgsa, bo nie dostaną następnych funduszy. „Mielibyśmy pewnie 30 tys. odkryć bozonu. Albo nawet więcej, bo niektórzy odkryliby 20 bozonów Higgsa” - żartował.
Innymi dobrymi zwyczajami w propagowaniu replikowalnych badań może być według uczonego dzielenie się danymi, propagowanie, otwarte komunikowanie o poszczególnych etapach prac, korzystanie z właściwych metod statystycznych, doskonalenie procesu recenzowania publikacji czy poprawianie metod projektowania badań.
Podczas ESOF wybitni badacze z różnych stron świata mają okazję debatować nad najważniejszymi wyzwaniami, jakie stoją przed nauką. Prezentują też swoje najnowsze badania i biorą udział w setkach wykładów, paneli, spotkań. ESOF potrwa od 9 do 14 lipca. (PAP)
Z Tuluzy Ludwika Tomala
lt/ ekr/
Przed dodaniem komentarza prosimy o zapoznanie z Regulaminem forum serwisu Nauka w Polsce.
