Véletlenszerűen, egy hírek és információk folyamán találkoztam egy cikkel a Nature Scientific Reports-ban. 1500 kutató felmérésének adatait tartalmazza a kutatási eredmények reprodukálhatóságáról. Ha korábban ezt a problémát felvetették a biológiai és orvosi kutatások során, egyrészről ez magyarázható (hamis összefüggések, a vizsgált rendszerek általános komplexitása, néha akár a tudományos szoftverek is vádolhatók), másrészt fenomenológiai jellegű (például az egerek hajlamosak eltérően viselkedni a tudósokkal szemben) különféle nem (1 és 2).
A természettudományok, például a fizika és a mérnöki munka, a kémia, az ökológia viszont nem minden zavartalan. Úgy tűnik, hogy ezek a tudományágak a legjobban ellenőrzött körülmények között elvégzett "teljesen" reprodukálható kísérleteken alapulnak, sajnos elképesztő - a szó minden értelmében - a felmérés eredményén: a kutatók 70% -a találkozott nem reprodukálható kísérletekkel és eredményekkel, amelyeket nemcsak más tudóscsoportok nyertek., De a közzétett tudományos munkák szerzői / társszerzői is!
Dicséri-e minden homokvihar a mocsárját?
Noha a válaszadók 52% -a rámutat a reprodukálhatóság válságára a tudományban, kevesebb mint 31% úgy véli, hogy a közzétett adatok alapvetően helytelenül állnak, és a többség jelezte, hogy továbbra is bíznak a közzétett munkában.
Kérdés: Van-e az eredmények reprodukálhatóságának válsága?
Természetesen nem szabad megvágni a vállát, és nem szabad az egész tudományt mint ilyen kutatást alapul vennie: a válaszadók fele még mindig tudós volt, valamilyen módon vagy más módon kapcsolódva a biológiai tudományokhoz. Amint a szerzők megjegyzik, a fizika és a kémia területén a megismételhetőség és a kapott eredményekbe vetett bizalom szintje sokkal magasabb (lásd az alábbi ábrát), de még mindig nem 100%. De az orvostudományban a dolgok nagyon rosszak a többihez képest.
Promóciós videó:
Egy anekdotának jut eszembe:
Marcus Munafo, az angliai Bristoli Egyetem biológiai pszichológusa régóta érdekli a tudományos adatok reprodukálhatóságát. Emlékeztetve hallgatóinak napjaira, azt mondja:
Kérdés: Az iparágban hány közzétett mű reprodukálható?
Szélességi és hosszúsági probléma mélysége
Képzelje el, hogy tudós vagy. Talál egy érdekes cikket, de az eredményeket / kísérleteket nem lehet reprodukálni a laboratóriumban. Logikus erről írni az eredeti cikk szerzőinek, tanácsot kérni és tisztázó kérdéseket feltenni. A felmérés szerint kevesebb mint 20% tette ezt tudományos karrierje során bármikor!
A tanulmány szerzői megjegyzik, hogy az ilyen kapcsolatok és a beszélgetések talán túl bonyolultak maguk a tudósok számára, mert felfedik bizonyos kérdésekkel kapcsolatos inkompetenciájukat és következetlenségüket, vagy túl sok részletet mutatnak a jelenlegi projektről.
Ezenkívül a tudósok abszolút kisebbsége megpróbálta közzétenni a meg nem terjeszthető eredmények megcáfolását, miközben szembeszállt azokkal a szerkesztőkkel és áttekintőkkel, akik az eredeti tanulmányhoz képest alacsonyabb szintű összehasonlítást követeltek. Kíváncsi, hogy a tudományos eredmények megismételhetetlenségének bejelentésének esélye körülbelül 50%.
Első kérdés: Megpróbálta már a kísérlet eredményeit reprodukálni?
Második kérdés: Megpróbálta már az eredmények reprodukálására tett kísérletét?
Lehet, hogy a laboratóriumban legalább reprodukálhatósági tesztet végez? A legszomorúbb az, hogy a válaszadók egyharmada még soha nem gondolkodott azon, hogy módszereket hozzon létre az adatok reprodukálhatóságának ellenőrzésére. Csak 40% válaszolta, hogy rendszeresen alkalmaz ilyen technikákat.
K: Kidolgozott-e valaha speciális technikákat / technikai folyamatokat az eredmények reprodukálhatóságának javítása érdekében?
Egy másik példa, az Egyesült Királyságból származó biokémikus, aki nem akarta nyilvánosságra hozni a nevét, azt mondja, hogy a laboratóriumi projektjének munkájának megismétlésére, reprodukálására tett kísérlet egyszerűen megduplázza az idő és az anyagköltségeket anélkül, hogy valami újat adna a műbe. Kiegészítő ellenőrzéseket csak innovatív projektek és szokatlan eredmények esetén végeznek el.
És természetesen az örök orosz kérdések, amelyek külföldi kollégákat kínoztak el: ki a hibás és mit kell tenni?
Ki bűnös?
A munka szerzői az eredmények reprodukálhatóságának három fő problémáját azonosították:
- A felettesek nyomása, hogy a műt időben közzétegyék
- Szelektív jelentéstétel (nyilvánvalóan bizonyos adatok elnyomását jelenti, ami "elrontja" a teljes képet)
- Nem elegendő adatelemzés (beleértve a statisztikai adatokat is)
Kérdés: Milyen tényezők felelősek a megismételhetetlen tudományos eredményekért?
Válaszok (felülről lefelé): –mintajelentés –Bosses nyomás –Falanalízis / statisztika –– A kísérlet elégtelen ismételhetősége a laboratóriumban –Elégtelen felügyelet –Módszer vagy kód hiánya –Megfelelő kísérleti terv - Az elsődleges laboratórium nyers adatainak hiánya - Csalás - Nem megfelelő hatékonyságú szakértők / áttekintők –A szaporodási kísérletekkel kapcsolatos problémák - A szaporításhoz technikai szakértelem szükséges - A standard reagensek stabilitása - "Neddachka és Pichalka"
Mit kell tenni?
Az 1500 megkérdezett közül több mint 1000 szakember támogatta az adatgyűjtés és -feldolgozás statisztikáinak fejlesztését, a főnököktől történő felügyelet minőségének javítását és a kísérletek szigorúbb tervezését.
K: Milyen tényezők segítenek javítani a reprodukálhatóságot?
Válaszok (fentről lefelé): - A statisztikák jobb megértése - Szigorúbb felügyelet - Jobb kísérleti tervezés - Képzés - Belső laboratóriumi áttekintés - Fejlesztett gyakorlati készségek - A hivatalos adat-keresztellenőrzés ösztönzése - Laboratóriumok közötti áttekintés - Több idő biztosítása a projektmenedzsment számára - A tudományos folyóirat szabványainak javítása - Több időt fordít a laboratóriumi nyilvántartásokra
Következtetés és némi személyes tapasztalat
Először is, nekem, mint tudósnak, az eredmények megdöbbentőek, bár már megszoktam az eredmények bizonyos mértékű visszaállíthatatlanságát. Ez különösen nyilvánvaló azokban a munkákban, amelyeket a kínai és az indiánok végeznek harmadik fél által végzett „audit” nélkül, amerikai / európai professzorok formájában. Jó, hogy a problémát felismerték és megfontolták annak megoldását (megoldásait). A közelmúltbeli botrány kapcsán tapintatosan hallgatok az orosz tudományról, bár sokan őszintén végzik a munkájukat.
Másodszor, a cikk figyelmen kívül hagyja (vagy inkább nem veszi figyelembe) a tudományos mutatók és a szakirodalomból áttekinthető tudományos folyóiratok szerepét a kutatási eredmények reprodukálhatatlanságának problémájának megjelenésében és fejlődésében. A publikációk sebességének és gyakoriságának elérése érdekében (olvasás, a hivatkozási mutatók növekedése) a minőség hirtelen csökken, és nincs idő ideje az eredmények további ellenőrzésére.
Mint mondják, minden karakter kitalált, de valós eseményeken alapszik. Valahogy az egyik hallgatónak esélye volt egy cikk áttekintésére, mivel nem minden tanárnak van ideje és energiája a cikk átgondolt elolvasására, így összegyűjtik a 2-3-4 hallgatók és orvosok véleményét, ahonnan az értékelés készül. Felülvizsgálat készült, amely rámutatott az eredmények reprodukálhatatlanságára a cikkben leírt módszer szerint. Ezt egyértelműen megmutatták a professzornak. De annak érdekében, hogy ne rontja meg a kapcsolatot a "kollégákkal" - elvégre is sikerülnek mindent megtenni, a felülvizsgálatot "helyesbítették". És 2 vagy 3 ilyen cikk jelent meg.
Kiderül, hogy ördögi kör. A tudós elküldi a cikket a folyóirat szerkesztőjének, ahol megjelöli a „kívánt” és, ami a legfontosabb, „nem kívánt” recenzenseket, vagyis valójában csak azokat hagyja pozitívan a szerzők körében. Felülvizsgálják a munkát, de nem tudják „beleszagolni a megjegyzésekbe”, és megpróbálják a kettőt közül a legkevesebbet választani - íme egy lista a kérdésekre, amelyekre meg kell válaszolni, majd közzétesszük a cikket.
Egy másik példa, amelyről a Nature szerkesztője csak egy hónappal ezelőtt beszélt, a Grazel napelemei. A tudományos közösség iránti óriási érdeklődés miatt a témában (elvégre még mindig szeretnének egy cikket a Nature-ban!) A szerkesztőknek speciális kérdőívet kellett létrehozniuk, amelyben sok paramétert meg kellett adniuk, berendezés kalibrálását, tanúsítványokat stb. Adni annak megerősítésére, hogy a hatékonyságmérési módszer panelek megfelelnek néhány általános alapelvnek és szabványnak.
Harmadsorban, amikor ismét hallgatunk egy csodás oltásról, amely mindent és mindenkit meghódít, egy új történet a szoknya munkákról, új akkumulátorokról vagy a GMO-k veszélyeiről / előnyeiről vagy az okostelefonok sugárzásáról, különösen, ha azt az újságírás sárga írói támogatták, akkor légy megértés, és ne ugorjon következtetésekre. Várja meg, amíg más tudóscsoport megerősíti az eredményeket, a tömb és az adatminták felhalmozódását.