tiistai 20. huhtikuuta 2010

Vielä vertaisarvioinnista

Edellisessä kirjoituksessani käsittelin vertaisarviointiprosessien eräitä ongelmakohtia. Näen vertaisarvioinnin hyvänä ja positiivisena asiana, mutta niin hyvä idea kuin vertaisarviointi onkin, sekään ei valitettavasti aina takaa julkaistavien tutkimusten hyvyyttä.

Rennie Drummond purki turhautumistaan vertaisarvioinnin ongelmiin ensimmäisessä biokemiaa käsitelleessä vertaisarviointi-aiheisessa konferenssissa näin vuonna 1986:

"One trouble is that despite this system, anyone who reads journals widely and critically is forced to realize that there are scarcely any bars to eventual publication. There seems to be no study too fragmented, no hypothesis too trivial, no literature citation too biased or too egotistical, no design too warped, no methodology too bungled, no presentation of results too inaccurate, too obscure, and too contradictory, no analysis too self-serving, no argument too circular, no conclusions too trifling or too unjustified, and no grammar and syntax too offensive for a paper to end up in print."
(Vapaasti suomennettuna: Eräs ongelma on, että huolimatta systeemistä, kaikkien tieteellisiä julkaisuja laajalti ja kriittisesti lukevien on jossain vaiheessa pakko todeta että on tuskin mitään sellaista virhettä, mikä voisi varmuudella estää julkaisemisen. Ei vaikuta olevaan tutkimusta, joka olisi ollut liian fragmentoitu, yhtään hypoteesiä joka olisi ollut liian triviaali, yhtään kirjallisuussitaatti joka olisi ollut liian virheellinen tai omahyväinen, mitään (tutkimus)suunnitelmaa joka ei olisi ollut liian vääristynyt, mitään metodologiaa joka olisi ollut liian hätiköity, mitään tulosten esitystä, joka olisi ollut liian virheellinen, epämääräinen tai ristiriitainen, mitään analyysiä joka olisi ollut liian omaa etua tavoitteleva, mitään väitettä joka ei olisi ollut liian kehäpäätelmäinen, mitään johtopäätöstä joka olisi ollut liian mitätön tai oikeuttamaton, eikä sellaista kielioppiin tai lauseoppiin liittyvää virhettä - joka olisi estänyt tutkimuksen päätymisen julkaistavaksi."

Havaittuihin ongelmakohtiin on pyritty puuttumaan, mutta siltikin jatkuvasti vertaisarvioinnin läpäisee huonosti laadittuja tutkimuksia. Seuraavaksi aion ottaa käsittelyn alle yhden tutkimuksen, ja käsitellä sen kautta vertaisarviointiin liittyviä ongelmia.


Luettavaa

Drummond, R (1986) Guarding the Guardians: A Conference on Editorial Peer Review JAMA. 256 No 7

Drummond, R (2002) Fourth International Congress on Peer Review in Biomedical Publication JAMA. 287 No 21

Ei kommentteja:

Lähetä kommentti