Forschungsmethodik verstehen 4: Peer-Review-Prozess

Im Rahmen des Peer-Review-Prozesses wird ein Artikel in einer Zeitschrift eingereicht und von mehreren Gutachtern bewertet. (Rezensenten sind häufig Personen mit einer beeindruckenden Arbeitsgeschichte in dem Bereich von Interesse, dh dem spezifischen Bereich, den der Artikel anspricht.) Nach der Kritik des Papiers reichen die Gutachter ihre Gedanken beim Herausgeber ein. Auf der Grundlage der Kommentare der Prüfer entscheidet der Herausgeber dann, ob er das Papier veröffentlicht, Vorschläge für zusätzliche Änderungen macht, die zur Veröffentlichung führen könnten, oder ob er das Papier ablehnt.

Der Hauptzweck des Peer Review besteht darin, sicherzustellen, dass die veröffentlichten Artikel gültig und unvoreingenommen sind.

Single Blind und Double Blind Bewertungen

In Single Blind Reviews wissen die Autoren nicht, wer die Reviewer sind. In doppelblinden Bewertungen wissen die Autoren weder, wer die Prüfer sind, noch kennen die Prüfer die Identität der Autoren. In vielen Bereichen sind Single Blind Reviews die Norm, während in anderen Double Blind Reviews bevorzugt werden.

„Peer Review ist eine Möglichkeit (Replikation ist eine andere). Die Wissenschaft institutionalisiert die Einstellungen von Objektivität und öffentlicher Kritik. Ideen und Experimente werden einem Honprozess unterzogen, bei dem sie anderen kritischen Köpfen zur Bewertung vorgelegt werden. Ideen, die diesen kritischen Prozess überleben, erfüllen inzwischen das Kriterium der öffentlichen Überprüfbarkeit “(Stanovich, 2007, S. 12).

Peer-Review-Kritik

Der Peer-Review-Prozess ist nicht unfehlbar. Kritikpunkte sind:

• Rezensenten fällt es aufgrund ihrer eigenen Ausbildung, Erfahrung und vorgefassten Vorstellungen schwer, rein objektiv zu bleiben
• Der Prozess ist langsam
• Kritiker weisen darauf hin, dass es viele Beispiele für fehlerhafte Forschung gibt, die in von Experten begutachteten Fachzeitschriften veröffentlicht wurden, was zeigt, dass der Peer-Review-Prozess oft nicht erfolgreich ist, um schlechte Wissenschaft auszumerzen
• Rezensenten stehen Artikeln, die ihren eigenen Ansichten widersprechen, in der Regel sehr kritisch gegenüber, während sie Artikeln, die ihre persönlichen Ansichten unterstützen, weniger kritisch gegenüberstehen (dies ist ein Beispiel für „Myside Bias“).
• Bekannte, etablierte Wissenschaftler werden eher als Gutachter eingestellt

Fazit

Der Peer-Review-Prozess ist nicht perfekt, aber der beste Schutz, den wir gegen Junk-Wissenschaft haben. Bei der Bewertung des Werts wissenschaftlicher Daten ist neben der Überprüfung der Veröffentlichung in einem von Experten begutachteten Journal Folgendes zu berücksichtigen: Finanzierungsquellen, ob die Studie repliziert wurde, Studiendesign, Stichprobengröße und Interessenkonflikte (Design) Details und Kritiken werden in späteren Artikeln besprochen.

Bei der Bezugnahme auf wissenschaftliche Daten ist es üblich, dass Einzelpersonen auf populärwissenschaftliche Magazine und Bücher verweisen. Seien Sie besonders vorsichtig, wenn Sie Ihre wissenschaftlichen Informationen aus diesen Quellen beziehen.

Natürlich gibt es einige gute wissenschaftliche Informationen, die in populärwissenschaftlichen Publikationen veröffentlicht wurden. Wenn die Autoren jedoch keine Referenzen für ihre wissenschaftlichen Aussagen liefern können und / oder ihre Behauptungen denen in von Experten begutachteten wissenschaftlichen Fachzeitschriften widersprechen, legen Sie nicht viel Gewicht auf das, was sie sagen.

Verweise

Stanovich, K. (2007). Wie man klar über Psychologie denkt, 8. Ausgabe. Boston, MA: Pearson.