O caracteristică definitorie a științei este aceea de fi reproductibilă. Practic, dacă un rezultat este solid, ar trebui să îl observăm de fiecare dată când efectuăm un experiment în condiții similare. Însă, în ultimii ani, tot mai multe lucrări din diverse domenii au început să demonstreze că nu este neapărat așa.
În 2015, 270 de oameni de știință de la diverse instituții din întreaga lume s-au reunit pentru a publica o lucrare cutremurătoare. Din 100 de studii de psihologie publicate în reviste științifice de înaltă calitate, doar 39 au putut fi reproduse cu succes. Acest lucru, pe de o parte, a declanșat un val de titluri de genul „Aproape 70% din studiile de psihologie nu pot fi reproduse!” sau „Psihologia în criză de replicare!”. Pe de altă parte, a contribuit la ceea ce era deja o discuție în curs de desfășurare, deși mai tăcută, despre capacitatea de a reproduce rezultatele științifice în general.
Lucrarea din 2015 a fost o realizare impresionantă de muncă și colaborare științifică. Și, pe lângă meritele sale științifice, aș îndrăzni să adaug, a reușit să facă ceea ce multe alte studii au eșuat, și anume să atragă atenția publicului larg asupra unei probleme științifice actuale. Dar, printre titlurile fulminante, unele detalii s-au pierdut cu ușurință, iar implicația a devenit că majoritatea studiilor de psihologie sunt un gunoi. Așa că haideți să aducem măcar o dată în lumina reflectoarelor acele detalii supărătoare.
De ce nu pot fi studiile reproduse?
Există de fapt multe motive pentru care studiile nu pot fi reproduse și, surprinzător, nu toate sunt „pentru că acele studii sunt de rahat” (deși da, acesta este unul dintre motive). În funcție de cine este de vină pentru eșecul de a reproduce un studiu, putem clasifica aceste motive în trei categorii.
1. Probleme cu studiul inițial
În prima categorie includem motivele de eșec ce țin de autorul/ii inițiali ai studiului. Acestea pot varia de la simpla incompetență (greșeli în analiză, dimensiunea inadecvată a eșantionului, greșeli în procedura de colectare a datelor, descrieri incomplete a ceea ce s-a făcut etc.) la practici discutabile (testarea mai multor ipoteze și raportarea doar a celor semnificative, colectarea mai multor date după efectuarea analizei pentru a crește puterea) și până la fraudă (fabricarea datelor și falsificarea rezultatelor).
Din fericire, aceasta din urmă nu se întâmplă foarte des și este, de asemenea, uneori mai ușor de observat în comparație cu celelalte. Restul motivelor enumerate mai sus sunt și ele grave, dar există soluții oarecum simple pentru a le corecta de acum încolo (mai multe despre asta mai târziu).
2. Probleme cu studiul replicat
Bineînțeles, autorii originali nu sunt singurii care pot face greșeli. Cei care reproduc un studiu ar putea, de asemenea, să greșească ceva. Dar, de departe, cea mai mare problemă atunci când vine vorba de replicări în psihologie și neuroștiințe este că, de multe ori, condițiile experimentale nu sunt aceleași.
Pentru a ilustra de ce condițiile sunt importante, să ne imaginăm un experiment simplu: punem o cană de apă în congelator și o lăsăm acolo pentru o perioadă de timp. Când verificăm din nou, vedem că este înghețată și concluzionăm că apa lăsată în congelator se va transforma în gheață. Acum, dorim să repetăm acest experiment cu o altă cană de apă. O punem în congelator, o lăsăm acolo pentru o vreme, verificăm din nou… și, voilà, apa nu este înghețată de data aceasta. Care este concluzia? Să fie că primul experiment a fost greșit? Din moment ce știm că apa îngheață la temperaturi sub zero grade, este ușor de răspuns la întrebare: am greșit ceva a doua oară. Poate că nu am lăsat-o acolo suficient de mult timp sau poate că a venit cineva și a scos congelatorul din priză.
Cu toate acestea, oamenii nu sunt apă (știu, acesta este conținutul de înaltă calitate pe care îl aștepți de la această pagină, nu?). Când vine vorba de oameni, există mult mai multă variabilitate care influențează experimentele. Chiar dacă s-ar putea reuși cumva să se includă doar persoane care au exact aceeași vârstă, sex, statut socio-economic și educațional, creierele sunt totuși diferite între oameni. Și chiar și performanța aceleiași persoane ar putea varia de la o zi la alta. Poate că au dormit prost, așa că nu se pot concentra atât de bine. Sau au băut vreo trei shot-uri de espresso în plus și acum pot auzi culorile și pot trece cu brio de sarcina de timp de reacție.
În orice caz, există multe variabile ascunse care pot influența rezultatele. Iar unele efecte observate în psihologie și neuroștiință ar putea fi extrem de sensibile chiar și la mici variații ale condițiilor. Acest lucru face destul de dificil de știut de ce un studiu nu a putut fi replicat.
3. Probleme cu statistica, viața, universul și toate cele
În cele din urmă, ultimul motiv este, simplu, pura întâmplare. Ori de câte ori se testează o ipoteză, există întotdeauna posibilitatea ca rezultatele observate să se datoreze pur și simplu întâmplării. În psihologie și neuroștiințe, această posibilitate de eroare este considerată acceptabilă dacă este mai mică de 5 din 100 (celebrul p < .05). Astfel, chiar dacă totul se face perfect, în teorie, 5 din 100 de studii nu vor putea fi reproduse, pur și simplu pentru că așa sunt viața și universul. (Dacă vrei să o iei pe panta asta, această lucrare super-veselă din 2005 o duce la extrem, afirmând că majoritatea rezultatelor publicate din majoritatea domeniilor este probabil falsă).
Cum poate fi îmbunătățită capacitatea de reproductibilitate?
Acum că avem o listă detaliată a motivelor pentru care toate aceste studii nu au reușit să fie reproduse, să vorbim despre soluții.
Cea mai bună soluție care a ieșit până acum din criza replicării a fost un efort sporit în direcția transparenței. Cercetătorii sunt acum încurajați în mod activ să ia câteva măsuri care cresc șansele de reproductibilitate:
- aceștia sunt încurajați să își pre-înregistreze studiile. Acest lucru înseamnă că, înainte de a începe să efectueze un experiment, oamenii de știință intră pe un site web public unde scriu ce anume intenționează să testeze și cum intenționează să o facă. Asta minimizează multe dintre aspectele pe care le-am enumerat în ceea ce privește problemele studiilor inițiale.
- multe reviste științifice cer acum ca datele și codul original să fie puse la dispoziție odată cu publicarea unei lucrări. Prin urmare, este mai ușor pentru alți oameni de știință să verifice dacă există greșeli și să încerce să reproducă ceea ce s-a făcut inițial.
În plus, studiile de replicare sunt acceptate din ce în ce mai des. În știință, există, în mod evident, o tendință puternică de a favoriza noutatea. Nimeni nu vrea să facă ceva ce a fost deja făcut, deoarece se presupune că a fost deja dovedit. Dar, pe măsură ce problema reproductibilității capătă amploare, acceptarea studiilor de replicare este în creștere.
Și pe măsură ce se publică tot mai multe replicări pentru un anumit studiu, putem vedea și o rază de speranță în ceea ce privește problema statisticilor. Practic, putem începe să vorbim despre ansamblul de dovezi în loc de un singur studiu izolat și, astfel, putem avea mai multă încredere în rezultate. Cu alte cuvinte, dacă din zece lucrări, nouă susțin că nu au găsit un efect semnificativ, atunci probabil că acesta nu există și viceversa.
Teoretic, pot fi luate și alte măsuri. De exemplu, studiile ar putea utiliza eșantioane de dimensiuni mai mari. Sau ar putea încerca să își reproducă rezultatele pe eșantioane independente înainte de publicare. Dar acest lucru este extrem de problematic, deoarece achiziționarea de date de la sute/mii de persoane este foarte costisitoare și majoritatea laboratoarelor pur și simplu nu primesc acest tip de finanțare. În plus, ar putea dura mai mulți ani pentru a face acest lucru, dar mulți cercetători au contracte pe termen scurt, așa că nu este cu adevărat fezabil pentru ei. Mai mult, trebuie să se ia în considerare capacitățile de stocare a datelor și de calcul, ceea ce revine din nou la problema finanțării. Totuși, s-au făcut unele progrese în această direcție, deoarece multe laboratoare au început să colaboreze pentru studii mai mari.
De ce n-a verificat nimeni asta până acum?
În cele din urmă, este foarte bine că știm despre aceste probleme și că lucrăm din greu pentru a le rezolva acum. Cu toate acestea, probabil că nu te poți abține să nu te întrebi „de ce numai acum? Ce naiba au făcut cercetătorii în tot acest timp?”. Ei bine, toată lumea a cam bănuit că aceasta este o problemă de foarte mult timp. Dar, așa cum am menționat mai sus, până de curând, nu existau prea multe stimulente pentru a replica munca altora, darămite pentru a publica această replicare. Mai mult decât atât, dacă un studiu nu găsea niciun efect semnificativ, era extrem de puțin probabil ca acesta să vadă vreodată lumina zilei (prejudecata rezultatelor pozitive).
Iar oamenii de știință care nu-și pot publica rezultatele nu vor mai fi oameni de știință pentru mult timp. Publicațiile de succes nu reprezintă doar modalitatea prin care cercetătorii își comunică rezultatele. Ele reprezintă, de asemenea, măsura prin care este le evaluată performanța profesională, la fel cum operațiile cardiace reușite reprezintă măsura performanței chirurgilor cardiaci. Locurile de muncă și finanțările sunt acordate în funcție de numărul și calitatea publicațiilor pe care un om de știință a reușit să le producă. Dacă aceasta este o măsurătoare bună sau nu este o problemă pentru un alt articol.
Concluzie
Deocamdată, să rezumăm această postare. Am văzut că reproductibilitatea este într-adevăr o problemă în psihologie (dar și în alte domenii ale științei). Cu toate acestea, motivele sunt complexe și depășesc simplul argument „totul este un gunoi”. Iar oamenii de știință lucrează din greu pentru a îmbunătăți reproductibilitatea rezultatelor lor.
Cum ți s-a părut această postare? Ai vrea să citești mai multe analize precum aceasta? Scrie-ne în comentariile de mai jos.
Ca de obicei, nu uita să ne urmărești pe Instagram, Twitter sau Facebook pentru a fi la curent cu cele mai recente postări.
Ar putea să-ți placă și:
REFERINȚE (ÎN ENGLEZĂ):
Baker, M. (2016). 1,500 scientists lift the lid on reproducibility. Nature, 533(7604).
Begley, C. G., & Ellis, L. M. (2012). Raise standards for preclinical cancer research. Nature, 483(7391), 531-533.
Ioannidis, J. P. (2005). Why most published research findings are false. PLoS medicine, 2(8), e124.
Miłkowski, M., Hensel, W. M., & Hohol, M. (2018). Replicability or reproducibility? On the replication crisis in computational neuroscience and sharing only relevant detail. Journal of computational neuroscience, 45(3), 163-172.
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251).
Lasă un răspuns