De meest beschamende eigenwijsheid blijft meestal beperkt tot de studeerkamer. Dit komt omdat wetenschappers die een rapport willen publiceren, eerst spitsroeden moeten lopen tussen geleerde vakgenoten: collega's die bij de koffie suggesties doen om het verhaal nog eens tegen het lichtte houden, eigenzinnige editors van tijdschriften en de meest kritische van allemaal: anonieme reviewers.
Het is dus redelijk uitzonderlijk wanneer een wetenschapper openlijk en zwart op wit zegt dat hij de weg kent, terwijl voor iedereen zonneklaar is dat hij het spoor bijster is, maar dan dus in de wetenschappelijke uitvoering.

Toch gebeurde zoiets onlangs in het wetenschappelijke tijdschrift de Humanistic Psychologist. Edward Delgado-Romero en George Howard schreven het artikel `Discovering and Correcting Flawed Research Literatures' (`Het ontdekken en corrigeren van vertekende onderzoeksliteratuur'). Hun streven om
Onderzoeken en het tegendeel.
om vertekening van de wetenschappelijke literatuur aan het licht te brengen verdient niets dan lof. Waar gaat het om?
Vaak verschijnen over een bepaald onderwerp vele artikelen, maar die rapporteren allemaal verschillende uitkomsten. Dat komt bijvoorbeeld door een andere onderzoeksopzet of een andere steekproef (groter of kleiner, mannen of vrouwen, enzovoort). Met al die net even verschillende onderzoeken met netweer andere uitkomsten, is het moeilijk om het overzicht te houden. Is er nu wel een effect of niet, en hoe groot is dat effect nu eigenlijk? Om dat overzicht te verschaffen is de meta-analyse bedacht. Eerst bepaal je wat de grenzen zijn van het onderwerp.

Bijvoorbeeld als het gaat over de invloed van aspirine op hoge bloeddruk, dan besluit je alleen onderzoeken met menselijke proefpersonen in de meta-analyse op te nemen, en alleen onderzoek waar de proefpersonen geen andere kwalen hebben dan hoge bloeddruk, enzovoort. Het vaststellen van die grenzen is al een hele klus en daarover kunnen wetenschappers ook weer van mening over verschillen. Vandaar dat het regelmatig voorkomt dat er meerdere met analyses over hetzelfde onderwerp verschijnen.
Van elk onderzoek dat je in je analyse besluit mee te nemen bepaal je de methodologische kwaliteit en het aantal proefpersonen in de steekproef. Onderzoeken met een hogere methodologische kwaliteit en met meer proefpersonen tellen zwaarder mee. Dan doe je een statistische analyse waarmee je de gewogen gegevens uit het eerdere onderzoek bij elkaar neemt en voilà: je kunt uit een grote diversiteit aan artikelen één samenvattende conclusie trekken.
Een meta-analyse is een hoop werk, maar je maakt er veel mensen gelukkig mee, omdat je hen helpt om tussen de bomen het bos weer te ontdekken.
Duistere bureaula
So fan, so good, iedereen blij, behalve dan dat meta-analyses zich noodgedwongen vaak beperken tot artikelen die in tijdschriften zijn gepubliceerd. Er bestaan veel onderzoeksrapporten die nooit in druk verschijnen. Dit komt omdat bij veel tijdschriften de editors een grote voorkeur hebben voor artikelen waarin statistisch significante resultaten worden gerapporteerd. En dat komt weer omdat veel van hun lezers diezelfde voorkeur hebben. Zo hopen zich in het duister van bureauladen stapels rapporten op over interessante onderwerpen, die nooit het daglicht zullen zien omdat ze geen significante resultaten te melden hebben. En ook al weet iedereen dat dit een kwalijke zaak is, het blijkt een moeilijk te doorbreken praktijk. Met name in de parapsychologie worden echter veel serieuze pogingen gedaan om dit probleem binnen de perken te houden. Een willekeurige meta-analyse zal echter vaak een vertekend beeld geven.

de perken te houden. Een willekeurige meta-analyse zal echter vaak een vertekend beeld geven.
De vertekening belemmert de voortgang van de wetenschap; je kunt ten slotte alleen vooruitgang boeken als je je baseert op betrouwbare gegevens. Elke methode om het probleem van vertekende meta-analyses aan te pakken is dus welkom. Delgado-Romero en Howard presenteren in hun artikel een voorstel daartoe, en illustreren de bruikbaarheid van hun methode direct aan de hand van een viertal controversiële onderwerpen.

De ontmaskeringmethode
Hun methode is eigenlijk heel simpel: je doet zelf een serie onderzoeken, je laat niets in de bureaula liggen, alles telt mee, en je vat de resultaten daarvan samen. Is de uitkomst van die serie onderzoeken vergelijkbaar met de uitkomst van een eerder verrichte meta-analyse? Zo ja, dan is de conclusie dat die eerdere meta-analyse waarschijnlijk een correct beeld gaf. Zo nee, dan is de conclusie dat er waarschijnlijk sprake is van vertekening en dat nader onderzoek gewenst is.
Het eerste onderwerp waar de twee auteurs hun methode op loslieten was implementation intentions, een psychotherapeutische techniek waarbij mensen gedwongen worden hun voornemens (bv. om te stoppen met roken) zo concreet mogelijk te formuleren en op te schrijven. De meta-analyse over dit onderwerp rapporteerde een significant positief effect van deze techniek. Delgado-Romero en Howard deden zelf drie experimenten en vonden een effect¬grootte die slechts een fractie lager was dan die uit de meta-analyse. Zij concludeerden dus dat de onderzoeksliteratuur op het gebied van implementation intentions waarschijnlijk een correct beeld gaf.
Het tweede onderwerp was het effect van bidden voor genezing op afstand, waarover in een meta-analyse een klein, maar positief effect werd gerapporteerd. Hier lieten de drie eigen studies van Delgado-Romero en Howard echter geen effect zien, precies wat ze zelf ook verwachtten, en zij concludeerden dat de wetenschappelijke literatuur op dit gebied dus hoogst waarschijnlijk vertekend was.
Het derde onderwerp was het Mozart-effect: luisteren naar een sonate van Mozartzou direct een positief effect hebben op IQ-scores. Dit was weer zo'n effectwaar Delgado-Romero en Howard niks van geloofden, en zij verrichten zelf ook weer drie studies. Deze gaven een negatief effect te zien (na het luisteren naar Mozart gaat je IQ naar beneden). Omdat dit resultaat afweek van de resultaten van een eerdere meta-analyse was hier opnieuw de conclusie dat het positieve Mozart-effect waarschijnlijk het gevolg was van selectieve publicatie.

Als laatste onderwerp kozen de auteurs de ganzfeld-literatuur. Hieruit zou blijken dat mensen telepathisch zijn, en Delgado-Romero en Howard geloofden dat dat niet kon. Een ganzfeld-experiment gaat als volgt: proefpersonen nemen in paren deel. Eén proefpersoon zit apart in een kamer, ontspannen in een luie stoel, een koptelefoon op met witte ruis, de ogen afgeschermd met halve pingpongballen. Na een ontspanningsperiode moet hij een half uur lang alle associaties opnoemen die bij hem opkomen. In een andere ruimte te `zenden'. Na afloop krijgt de eerste persoon vier verschillende plaatjes te zien en moet het plaatje kiezen dat zijn medespeler in de andere ruimte naar hem toe heeft `gezonden'. Op grond van kans zou je verwachten dat mensen
gemiddeld 1 op de 4 keer het juiste plaatje kiezen, dus 25% correct.
Bij een hoger succespercentage moet er iets anders aan de hand zijn dan louter kans. Dat andere kan bijvoorbeeld zijn dat het target door telepathie is overgebracht van de ene naar de andere proefpersoon. Mogelijk ook is er sprake van precognitie, waarbij de proefpersoon een voorgevoel heeft over het plaatje dat het juiste zal blijken te zijn, of mogelijk nog iets anders waar we nog geen naam voor hebben.
Er zijn tot nu toe in de ganzfeld-literatuur drie meta-analyses gedaan, met verschillende uitkomsten. Dat heeft onder andere te maken met wegingsfactoren en met welke experimenten men voldoende methodologische kwaliteit vond hebben. De meest recente ganzfeld-meta-analyse (Storm en Ertel, 2001), die ook de meeste experimenten samenvat, rapporteert een percentage van 31% correct gekozen plaatjes, een statistisch significant resultaat.
Omdat het effect maar klein is, moesten Delgado-Romero en Howard acht ganzfeld-experimenten uitvoeren. De acht afzonderlijke experimenten hadden succespercentages van respectievelijk 45%, 40%, 20%, 30%, 30%, 20%, 35% en 40%. De verschillende uitkomsten van deze acht experimenten onderstrepen overigens nogmaals het belang van meta-analyses. Samengenomen komen de acht ganzfeld-experimenten die Delgado-Romero en Howard verrichtten uit op een statistisch significant succespercentage van 32%. Dit is zeer vergelijkbaar met het 31% succespercentage van de meest recente ganzfeld-meta-analyse. De conclusie lijkt onontkoombaar: de ganzfeld-onderzoeksliteratuur is niet vertekend, het effect is er wel degelijk en er is dus iets bijzonders aan de hand. Voor parapsychologen is het overigens geen verrassing dat de methode van Delgado-Romero en Howard bij het ganzfeld-onderzoek niets nieuws liet zien. Niet alleen beseffen veel parapsychologen hoe belangrijk het is om al het onderzoek te publiceren, maar zeker bij het ganzfeld-onderzoek is veel moeite gedaan om te zorgen dat alle resultaten van elk onderzoek, gepubliceerd of niet, en ook al kwam er `niets' uit, meegenomen werden in de meta-analyse.

Ganzfeld-literatuur
Ondanks de duidelijke uitkomsten van hun eigen experimenten, die volkomen in overeenstemming zijn met de ganzfeld-onderzoeksliteratuur, willen zij niet de conclusie trekken die voor de hand ligt. Zij merken daarentegen op dat de onderzoeksresultaten van henzelf en anderen "wel angstig dicht in de buurt komen van een aantoonbare aanwijzing dat mensen paranormale krachten hebben." En dat kan natuurlijk niet, hoor je ze denken.
Je denkt dat de weg hier voor hen doodloopt, maar ze maken een onverwachte manoeuvre:

Een onverwachte manoeuvre
Ze bedenken hoe het volgens hen zou moeten werken met paranormale krachten, als die zouden bestaan. Ze veronderstellen dat sommige mensen deze krachten hebben (P), maar de meesten niet. Een paar dat uit twee P-mensen bestaat zal altijd succes hebben, en elke andere combina¬tie niet. Het idee is dat je voor het zenden én voor het ontvangen een P-mens moet zijn. Op basis van deze simplistische redenering besloten ze de succesvolle paren uit eerder onderzoek uit te nodigen voor een nieuw onderzoek. In dit nieuwe onderzoek moest elke proefpersoon maar liefst vier ganzfeld-sessies uitvoeren. De auteurs vermelden niet of dit op afzonderlijke dagen gebeurde, of allemaal achter elkaar.
De resultaten zijn verbazingwekkend. In 52 trials werd slechts 7 keer het juiste plaatje gekozen. Dit succespercentage van minder dan 14% wijkt zo sterk af van de verwachte 25% dat je op grond hiervan alleen al paranormale krachten zou veronderstellen, maar dan in omgekeerde richting... Misschien wel de paranormale krachten van Delgado-Romero en Howard?
De auteurs zeggen echter niets over dit sterk negatieve resultaat. Zij vinden dat dit laatste experiment op basis van een `conceptuele redenering' een maximaal resultaat zou moeten opleveren. Nu dit maximale resultaat is uitgebleven, laten ze de lezer weten: "Op grond van dit laatste experiment geloven we dat mensen geen paranormale krachten bezitten."
En al die andere Ganzfeld-studies dan, waaruit een positief resultaat blijkt? Tja, dat kunnen ze ook niet zo goed verklaren, maar misschien komt het door het feit dat in het universum eigenlijk alles wel in enige mate met alles samenhangt, en dat zou dan net die extra 7% kunnen zijn die in ganzfeld-onderzoek boven kans wordt gescoord. Of, veronderstellen ze, misschien liggen er toch nog veel niet-significante resultaten in de bureau-la.
De lezer wrijft zich de ogen uit, of daar echt wel staat wat hij meent te lezen.
Met veel zwier prijzen Delgado-Romero en Howard hun methode aan. De auteurs stellen aan de hand van drie voorbeelden vast dat deze naar hun mening goed lijkt te werken. Zodra de methode echter tot een door hen ongewenste conclusie leidt, gooien ze die methode zonder mankeren op de schroothoop. Ze bedenken daarna een volkomen ongefundeerde theorie van psychische krachten en toetsen deze op een manier die sterk afwijkt van het gewone ganzfeld-onderzoek. Op basis van de resultaten van dit ene afwijkende experiment trekken ze vervolgens een conclusie over de gehele ganzfeld-literatuur.

En zo valt het masker van de ontmaskeraar af. Erachter zit gewoon iemand die de weg kwijt is maar weigert om de kaart te lezen.

Overgenomen uit: TvP o TIJDSCHRIFT VOOR PARAPSYCHOLOGIE  NR 2 - 2007
Aannames
(1) "alle wetten zijn precies afgesteld op ons bestaan" Gekend als het Anthropic principle, ref: http://en.wikipedia.org/wiki/Anthropic_principle
Opmerking: er is geen wetenschappelijke bewijsvoering voor deze aanname, want de onderliggende modellen zijn nog onvoldoende uitgewerkt en bewezen. Anderzijds wordt deze door veel vooraanstaande wetenschappers als aannemelijk aanvaard. We nemen bij deze ook aan dat deze intelligentie consistent is en alle wetten even nauwkeurig ontwerpt. Met andere woorden hij is niet 'slordig'.
(2) "alle deze wetten zijn door een intelligentie gemaakt, die God genoemd wordt" Gekend als 'creationisme', ref:
http://en.wikipedia.org/wiki/Creationism
Opmerking: dit is niet wetenschappelijk te bewijzen tot deze 'God' zich aan empirisch onderzoek laat onderwerpen.

Verificatie: we kunnen een instantie vinden van een wet die, als deze strikt wiskundig toegepast wordt, onuitvoerbare resultaten geeft of resultaten die moeten herrekend worden. Als dit zo is, gaat dit immers in tegen het Anthropic Principle van perfecte wiskundige afstelling van het universum.

Google
Wetenschappelijk bewijs
.......Welkom op asmi-ikben.nl .... dank je wel voor je bezoek

klik hier voor actuele informatie
Home                Wie zijn wij                Coaching          Behandelmethode     Zin en Onzin      Cursussen    Vragen          Sitemap      
                                      
Over ons
We communicate via internet more and more now-a-days.
So we would like to thank Applaudite for helping us with our online identity.
If you have any concerns please read our disclaimer, or contact us.
Share |
Contact  |  Colofon  |  E-mail |  © 2017 Asmi-Ikben  |  DisclaimerHelp