Bij toeval kwam ik in een stroom van nieuws en informatie een artikel tegen in Nature Scientific Reports. Het presenteert gegevens uit een enquête onder 1.500 wetenschappers over de reproduceerbaarheid van onderzoeksresultaten. Als dit probleem eerder aan de orde kwam voor biologisch en medisch onderzoek, waar het enerzijds verklaarbaar is (valse correlaties, de algemene complexiteit van de onderzochte systemen, soms wordt zelfs wetenschappelijke software beschuldigd), heeft het anderzijds een fenomenologisch karakter (muizen gedragen zich bijvoorbeeld anders bij wetenschappers). verschillende geslachten (1 en 2)).
Niet alles verloopt echter soepel met meer natuurwetenschappen, zoals natuurkunde en techniek, scheikunde, ecologie. Het lijkt erop dat juist deze disciplines zijn gebaseerd op 'absoluut' reproduceerbare experimenten die onder de meest gecontroleerde omstandigheden zijn uitgevoerd, helaas, verbazingwekkend - in elke betekenis van het woord - het resultaat van de enquête: tot 70% van de onderzoekers zijn niet-reproduceerbare experimenten tegengekomen en resultaten zijn niet alleen verkregen door andere groepen wetenschappers, MAAR ook door de auteurs / co-auteurs van gepubliceerde wetenschappelijke werken!
Looft elke strandloper zijn moeras?
Hoewel 52% van de respondenten wijst op een crisis van reproduceerbaarheid in de wetenschap, vindt minder dan 31% de gepubliceerde gegevens fundamenteel onjuist en de meerderheid gaf aan het gepubliceerde werk nog steeds te vertrouwen.
Vraag: Is er een crisis in de reproduceerbaarheid van resultaten?
Je moet natuurlijk niet de schouder afhakken en alle wetenschap als zodanig lynchen alleen op basis van deze enquête: de helft van de respondenten waren nog steeds wetenschappers die op de een of andere manier met biologische disciplines in verband werden gebracht. Zoals de auteurs opmerken, is in de natuurkunde en scheikunde het niveau van reproduceerbaarheid en het vertrouwen in de verkregen resultaten veel hoger (zie onderstaande grafiek), maar nog steeds niet 100%. Maar in de geneeskunde zijn de dingen erg slecht in vergelijking met de rest.
Promotie video:
Een anekdote komt in me op:
Marcus Munafo, een biologisch psycholoog aan de Universiteit van Bristol, Engeland, heeft een langdurige interesse in de reproduceerbaarheid van wetenschappelijke gegevens. Herinnerend aan de dagen van zijn studententijd zegt hij:
Vraag: Hoeveel gepubliceerde werken in uw branche zijn reproduceerbaar?
Breedtegraad en lengtegraad probleemdiepte
Stel je voor dat je een wetenschapper bent. Je komt een interessant artikel tegen, maar de resultaten / experimenten zijn niet reproduceerbaar in het laboratorium. Het is logisch om hierover te schrijven aan de auteurs van het originele artikel, om advies te vragen en verhelderende vragen te stellen. Volgens de enquête heeft minder dan 20% dit ooit in hun wetenschappelijke carrière gedaan!
De auteurs van de studie merken op dat dergelijke contacten en gesprekken misschien te moeilijk zijn voor de wetenschappers zelf, omdat ze hun incompetentie en inconsistentie in bepaalde kwesties onthullen of te veel details van het huidige project onthullen.
Bovendien probeerde een overweldigende minderheid van wetenschappers een weerlegging van niet-reproduceerbare resultaten te publiceren, terwijl ze te maken kregen met tegenstand van redacteuren en recensenten die eisten dat vergelijkingen worden gebagatelliseerd met de oorspronkelijke studie. Is het een wonder dat de kans om de niet-reproduceerbaarheid van wetenschappelijke resultaten te melden ongeveer 50% is?
Eerste vraag: heb je geprobeerd de resultaten van het experiment te reproduceren?
Tweede vraag: heb je geprobeerd je poging om de resultaten te reproduceren te posten?
Misschien dan, in het laboratorium, op zijn minst om een reproduceerbaarheidstest uit te voeren? Het meest trieste is dat een derde van de respondenten NOOIT heeft nagedacht over het creëren van methoden om gegevens op reproduceerbaarheid te controleren. Slechts 40% gaf aan dergelijke technieken regelmatig te gebruiken.
V: Heeft u ooit speciale technieken / technische processen ontwikkeld om de reproduceerbaarheid van resultaten te verbeteren?
Een ander voorbeeld, een biochemicus uit het Verenigd Koninkrijk, die haar naam niet wilde onthullen, zegt dat het herhalen en reproduceren van werk voor haar laboratoriumproject eenvoudigweg de tijd- en materiaalkosten verdubbelt, zonder iets nieuws aan het werk te geven of toe te voegen. Aanvullende controles worden alleen uitgevoerd voor innovatieve projecten en ongebruikelijke resultaten.
En natuurlijk de eeuwige Russische vragen die buitenlandse collega's begonnen te martelen: wie is de schuldige en wat te doen?
Wie is er schuldig?
De auteurs van het werk identificeerden drie belangrijke problemen met de reproduceerbaarheid van resultaten:
- Druk van superieuren om het werk op tijd gepubliceerd te krijgen
- Selectieve rapportage (blijkbaar betekent het de onderdrukking van sommige gegevens, die het hele plaatje "bederven")
- Onvoldoende data-analyse (inclusief statistische)
Vraag: Welke factoren zijn verantwoordelijk voor niet-reproduceerbare wetenschappelijke resultaten?
Antwoorden (van boven naar beneden): –Voorbeeld rapportage –Bossendruk –Slechte analyse / statistiek –Onvoldoende herhaalbaarheid van het experiment in het laboratorium –Onvoldoende toezicht –Gebrek aan methodologie of code –Slechte experimentele opzet –Gebrek aan ruwe data uit het primaire laboratorium –Fraude –Onvoldoende verificatie door experts / reviewers –Problemen met pogingen om te reproduceren –Technische expertise is vereist om te reproduceren –Variabiliteit van standaardreagentia - "Neddachka en Pichalka"
Wat te doen?
Van de 1.500 ondervraagden spraken meer dan 1.000 specialisten zich uit voor het verbeteren van de statistieken bij het verzamelen en verwerken van gegevens, het verbeteren van de kwaliteit van het toezicht door bazen en een meer rigoureuze planning van experimenten.
V: Welke factoren zullen de reproduceerbaarheid helpen verbeteren?
Antwoorden (van boven naar beneden): - Beter begrip van statistieken - Strenger toezicht - Beter experimenteel ontwerp - Opleiding - Interne laboratoriumbeoordeling - Verbeterde praktische vaardigheden - Aanmoediging van formele kruiscontrole van gegevens - Interlaboratoriumonderzoek - Meer tijd vrijmaken voor projectbeheer - Stijgende normen voor wetenschappelijke tijdschriften - Meer tijd vrijmaken om met laboratoriumgegevens te werken
Conclusie en enige persoonlijke ervaring
Ten eerste zijn de resultaten, zelfs voor mij als wetenschapper, verbluffend, hoewel ik al gewend ben geraakt aan een zekere mate van niet-reproduceerbaarheid van de resultaten. Dit komt vooral tot uiting in de werken die zijn uitgevoerd door de Chinezen en Indiërs zonder "audit" door derden in de vorm van Amerikaanse / Europese professoren. Het is goed dat het probleem werd herkend en nagedacht over de oplossing (en). Ik zal tactvol zwijgen over de Russische wetenschap in verband met het recente schandaal, hoewel velen eerlijk hun werk doen.
Ten tweede negeert het artikel de rol van wetenschappelijke maatstaven en peer-reviewed wetenschappelijke tijdschriften bij de opkomst en ontwikkeling van het probleem van de niet-reproduceerbaarheid van onderzoeksresultaten (of beter gezegd, houdt het geen rekening met). Bij het nastreven van de snelheid en frequentie van publicaties (lees: een toename van de citatie-indexen) daalt de kwaliteit sterk en is er geen tijd voor aanvullende verificatie van de resultaten.
Zoals ze zeggen, zijn alle personages fictief, maar gebaseerd op echte gebeurtenissen. Op de een of andere manier kreeg een student de kans om een artikel te beoordelen, omdat niet elke professor de tijd en energie heeft om de artikelen zorgvuldig te lezen, dus de mening van 2-3-4 studenten en artsen wordt verzameld, waaruit de recensie wordt gevormd. Er is een recensie geschreven, die wees op de niet-reproduceerbaarheid van de resultaten volgens de methode die in het artikel wordt beschreven. Dit werd de professor duidelijk aangetoond. Maar om de relatie met de ‘collega's’ niet te bederven - ze slagen er tenslotte in alles in - werd de recensie ‘gecorrigeerd’. En er zijn 2 of 3 van dergelijke artikelen gepubliceerd.
Het blijkt een vicieuze cirkel te zijn. De wetenschapper stuurt het artikel naar de redacteur van het tijdschrift, waar hij de "gewenste" en vooral "ongewenste" recensenten aangeeft, dat wil zeggen dat alleen degenen die positief staan tegenover het team van auteurs, overblijven. Ze beoordelen het werk, maar ze kunnen niet "in de commentaren schijten" en proberen het minste van twee kwaden te kiezen - hier is een lijst met vragen die moeten worden beantwoord, en dan zullen we het artikel publiceren.
Een ander voorbeeld, waar de redacteur van Nature pas een maand geleden over sprak, zijn de zonnepanelen van Grazel. Vanwege de enorme belangstelling voor dit onderwerp in de wetenschappelijke gemeenschap (ze willen tenslotte nog steeds een artikel in Nature!), Moest de redactie een speciale vragenlijst maken waarin ze veel parameters moesten aangeven, apparatuurkalibraties, certificaten, enz., Om te bevestigen dat de methode voor het meten van efficiëntie panelen voldoen aan enkele algemene principes en normen.
En ten derde, wanneer je weer hoort over een wondervaccin dat alles en iedereen overwint, een nieuw verhaal over Jobs in een rok, nieuwe batterijen of de gevaren / voordelen van GGO's of de straling van smartphones, vooral als het werd gepromoot door gele journalistieke schrijvers, wees dan begripvol en trek niet te snel conclusies. Wacht op de bevestiging van de resultaten door andere groepen wetenschappers, de accumulatie van de array en gegevensmonsters.
