Beznadziejne badania naukowe. Po czym je poznać?

Nim powołam się na jakieś badania naukowe, często sprawdzam ich metodologię, czyli opisy tego, jak zostały przeprowadzone. Ma to ogromne znaczenie, ponieważ nawet najbardziej krzepiące czy obiecujące wnioski mogą nadawać się tylko do śmietnika, jeżeli wynikają z błędnych, niepełnych, źle zinterpretowanych czy fałszywie zanalizowanych danych. W dzisiejszym tekście opisuję kilka podstawowych rzeczy, na które warto zwrócić w tym kontekście uwagę.

Artykuł napisałem dzięki wsparciu moich Patronów i Patronek. Jeżeli chcesz dołączyć do ich grona, możesz to zrobić na moim profilu w serwisie Patronite, wpłacając co miesiąc 5, 10 czy 25 zł na rzecz „To Tylko Teorii”.

Próba badawcza

Bywa, że liczba badanych osób, zwierząt, roślin czy próbek nie ma aż tak dużego znaczenia – zależy bowiem co dokładnie jest badane i w jakim celu. Jednakże zwłaszcza w pracach epidemiologicznych czy medycznych ma to ważność. Trudno jest wyciągać wnioski i ekstrapolować je na ogół mężczyzn czy kobiet, lub ludzi ogółem, jeśli mamy tylko np. 10 osób badanych.

Co innego, gdy posiadamy kilka badań, z czego niektóre obejmują około 10 osób, ale pozostałe kilkadziesiąt, kilkaset lub kilka tysięcy. Wówczas sytuacja jest jaśniejsza. Niemniej gdy mamy tylko jedno czy dwa badania na paru osobach, trzeba wziąć pod uwagę, że np. skutki uboczne badanego leku mogły nie ujawnić się w eksperymencie nie dlatego, że ich nie ma, lecz ponieważ zbadaliśmy zbyt mało ludzi, aby miały one szansę wystąpić.

Choć pewne braki liczbowe można nadgonić dzięki odpowiednim przeliczeniom statystycznym, to zasadniczo dobrze jest, żeby w badaniu udział brało co najmniej kilkadziesiąt osób. Badania kliniczne wymagają jeszcze większych prób, idących w setki i tysiące. Przykład manipulacji badawczej to publikacja Andrew Wakefielda na temat rzekomego autyzmu poszczepiennego. Wśród licznych wad tej pracy również mała grupa badanych przemawiała na jej niekorzyść.

Losowość próby i adekwatność demograficzna

Jeżeli nie mamy do czynienia ze specyficznymi, wąskimi badaniami, w których losowość nie jest istotna, powinniśmy zwrócić uwagę na to, czy testy były randomizowane. Oznacza to, że do grup badanych i kontrolnych uczestnicy powinni trafić na drodze losowania. Są jednak eksperymenty, w których spełnienie tego czynnika jest trudne bądź nieetyczne, np. gdy mamy osoby z zaawansowaną chorobą i powinny jak najszybciej otrzymać eksperymentalny lek, bez możliwości trafienia do grupy placebo.

Gdy zajmujemy się jakimś ekstremalnie rzadkim zjawiskiem, np. zaburzeniami genetycznymi występującymi raz na kilkadziesiąt tysięcy urodzeń, dochowanie losowości i wielkości próby może być niemożliwe. Wówczas nie powinno się blokować badań, tylko robić je na tym, co dostępne, ze świadomością ograniczeń metodologicznych.

Ważna jest jeszcze reprezentatywność demograficzna. Ma to znaczenie szczególnie w badaniach psychologicznych i socjologicznych, chociaż jest to też ważne w testach medycznych. Powinny one obejmować zarówno kobiety, jak i mężczyzn oraz adekwatne grupy wiekowe. Znaczenie mają czynniki biologiczne, mogące wpływać na wyniki. Przykładem „badania” pełnego błędów – w tym skrajnej niereprezentatywności demograficznej – był niedawny raport KPH, stworzony we współpracy z „Centrum Badań nad Uprzedzeniami” UW. Został on ostro skrytykowany na łamach czasopisma naukowego „Biuletyn Kryminologiczny”, wydawanego przez Polską Akademię Nauk.

Okres trwania badania i liczba pomiarów

W przypadku wielu chorób czy zjawisk rozwojowych czas ma ogromne znaczenie. Dlatego też eksperymenty obejmują nie kilka czy kilkanaście miesięcy, lecz kilkadziesiąt bądź kilkaset. Efekty poszczególnych terapii mogą ujawniać się po dekadach, więc dane zebrane kilka lat po rozpoczęciu leczenia są niepełne. Problem ten występuje np. w badaniach dr Jacka Turbana, naukowca-aktywisty dowodzącego, że tranzycja płciowa pomaga. Jednak bierze on pod uwagę bardzo krótkie okresy, w ramach których nie da się tego zweryfikować, wobec czego prezentowane przez niego wyniki, że większość osób jest zadowolona ze zmiany płci, są do kosza. Po kilku latach może i są, ale po kilku kolejnych, gdy dorosną, zwykle zmieniają zdanie.

Ja sam, jako 13-14 latek zostałem zmanipulowany przez dorosłego transseksualistę i nakłoniony do zmiany płci. Tuż przed 18-stką specjaliści polecani przez organizację transaktywistów wystawili mi zaświadczenia do zmiany płci, fabrykując diagnozę transseksualizmu. Dopiero po mniej więcej 8 latach cofnąłem zmianę płci. 5 lat po jej rozpoczęciu – a taki czas uwzględniają badania o rzekomych korzyściach z tranzycji – również deklarowałem, że mi ona pomogła. Przypadków takich jak mój jest znacznie więcej, a liczba osób dokonujących cofnięcia zmiany płci, czyli detranzycji, z dnia na dzień rośnie.

Ogromne znaczenie ma też liczba pomiarów poszczególnych parametrów i ich podłużność. Czy uczestników eksperymentu lub obserwacji epidemiologicznej zbadano tylko raz? Czy jednak kilka lub kilkanaście razy przez jakiś okres? Pomiary punktowe, jednorazowe, mogą być pomocne w poszukiwaniu odpowiedzi na naukowe pytania, ale znacznie istotniejsze są wyniki badań longitudinalnych, kiedy to naukowcy dokonują weryfikacji mierzonych parametrów kilkakrotnie lub częściej. Gdyby badacze od „korzystnej zmiany płci 5 lat po jej rozpoczęciu” wrócili do swoich pacjentów 10 lat później i 15 lat później, z pewnością uzyskaliby znacznie mniej optymistyczny wynik.

Mierzone parametry

Gdy pisałem o badaniach na temat poczucia szczęścia z rodzicielstwa, dotarło do mnie, że szczęście jest czymś bardzo ulotnym, niemożliwym do obiektywnego, ścisłego zdefiniowania i zbadania. Bo o ile są rzeczy, które można zmierzyć obiektywnie – np. długość kończyn miarką, aktywność skupisk neuronów funkcjonalnym rezonansem magnetycznym, czy mutacje genetyczne sekwencjonowaniem DNA – tak też jest niemal niezliczenie dużo zmiennych, których nie da się empirycznie sprawdzić. Właśnie jedną z nich jest odczuwane szczęście.

Dlatego też należy bardzo uważać na badania ankietowe, gdzie ludzie subiektywnie deklarują pewne stany czy wspomnienia, ale badacze nie mają szansy ich zweryfikować: czy są prawdziwe, a jeśli tak, to na ile. Stąd też do wyników testów ankietowych – nawet jeśli są publikowane w najbardziej prestiżowych czasopismach naukowych – podchodzi się z dużym dystansem. Tym większym, im mniej naukowe jest badanie, o czym boleśnie przekonała się ostatnio Martyna Wojciechowska z raportem „Młode głowy”.

Autorzy i konflikty interesów

Plagą współczesnej nauki jest przyjmowanie przez naukowców roli aktywistów. Dotyczy to zwłaszcza dziedzin społecznych i humanistycznych, ale w mniejszym stopniu również tych ścisłych i przyrodniczych. Doprowadza to do sytuacji, w której badacz znajduje się w konflikcie interesów: chociaż rzetelność naukowa nakazuje mu być obiektywnym, to dążenia aktywistyczne skłaniają go ku przeprowadzeniu badania tak, aby otrzymać wyniki wspierające światopoglądowy cel. Z tego powodu wiele badań ostatnich paru dekad jest nic niewartych. Bo co z tego, że mamy „piękny” wynik, idealnie pasujący pod tezę tej grupie aktywistów, czy innej grupie polityków, jeżeli jest on odklejony od rzeczywistych danych?

O ile w przypadku namacalnego konfliktu interesów, czyli finansowania badań naukowych przez jakiś podmiot, istnieje obowiązek zaznaczenia tej informacji (np. gdy duża firma technologiczna sponsoruje badanie o tym, jak smartfony wpływają na zdrowie psychiczne młodzieży, ponieważ pole do nadużyć jest wówczas olbrzymie: np. aby ukazać smartfony jako mniej szkodliwe, niż są w rzeczywistości), tak gdy ktoś jest aktywistą, nie musi o tym informować. Pojawiają się mocne i dobrze uargumentowane głosy, że to powinno się zmienić.

Aktualnie cały nurt „badań” postmodernistycznych (np. gender studies, disability studies, fat studies, neurodiversity studies, transgender studies) bazuje właśnie na podejściu aktywistycznym, które z empiryczną nauką ma niewiele wspólnego. W przeszłości podobnie wyglądały „badania” teologiczne (według których, np., Ziemia miała mieć kilka tysięcy lat). Były one w rzeczywistości filozoficzno-ideologicznymi i religijnymi dociekaniami. Ludzie mają prawo do jednych i drugich, ale nie należy nazywać ich nauką, bo to zasadniczy błąd logiczny i metodologiczny.

Jeżeli podoba Ci się mój artykuł, jak i szerzej moja działalność pronaukowa, zapraszam do dołączenia do grona moich Patronów. Dzięki ich wsparciu mogę utrzymywać i rozwijać tego bloga.