Was bedeutet die mangelnde Reproduzierbarkeit in der Psychologieforschung?
In einer idealen Welt könnte man denken, dass etwas in der Größenordnung von 75 oder sogar 80 Prozent der Studien ähnliche Ergebnisse hätte reproduzieren sollen, oder? Weil die neuen Studien einfach von Forschern, die die Methoden der ursprünglichen Forscher sorgfältig befolgten, an einer anderen Population erneut durchgeführt wurden. In den meisten Fällen hatten die Forscher auch direkten Kontakt und Zusammenarbeit mit den ursprünglichen Forschern.
Aber in einem Ergebnis, das seit der Veröffentlichung in der letzten Woche auf ein Dutzend verschiedene Arten gedreht wurde Wissenschaft Journal, das Projekt kam nicht annähernd 75 Prozent. Nur 36 Prozent der Replikationen führten zu signifikanten Ergebnissen - verglichen mit 97 Prozent der ursprünglichen 100 Studien.
Was bedeutet das für die Psychologie?
Obwohl einige versuchen, diesen Befund als nicht unerwartet oder "nicht so schlimm wie es hätte sein können" zu bewerten, ist dies kein gutes Zeichen für die Psychologie. Jeden Monat werden Hunderte neuer Psychologiestudien veröffentlicht. Kurz gesagt bedeutet dieser Befund, dass den meisten Befunden dieser Studien nicht vertraut werden kann. Sie sind tatsächlich falsch.
Von Der Atlantik Abdeckung:
"Die Erfolgsquote ist niedriger als ich gedacht hätte", sagt John Ioannidis von der Stanford University, dessen klassische theoretische Arbeit Warum die meisten veröffentlichten Forschungsergebnisse falsch sind war ein Blitzableiter für die Reproduzierbarkeitsbewegung.
„Es tut mir leid zu sehen, dass einige meiner Vorhersagen bestätigt wurden. Ich wünschte, sie hätten sich als falsch erwiesen. "
Ein weiteres schlechtes Ergebnis der neuen Forschung ist, dass die gemessenen Effektgrößen typischerweise 50 Prozent kleiner waren als die ursprünglichen Forscher. Dies bedeutet, dass selbst wenn die Ergebnisse von den neuen Forschern reproduziert wurden, die Auswirkungen der untersuchten Variablen nicht annähernd so wichtig waren wie ursprünglich angenommen.
Gründe für schlechte Reproduzierbarkeit in der Psychologieforschung
Es gibt ein Dutzend verschiedene Gründe für diese schlechte Darstellung durch psychologische Forschung. Bevor wir jedoch einige von ihnen überprüfen, ist dies ein kalter Spritzer Reality-Wasser, wenn Ergebnisse aus einer einzelnen Studie entnommen und verallgemeinert werden. Oder noch schlimmer: Zu glauben, dass etwas wahr ist, wenn es von mehr als einer einzigen Studie noch nicht als wahr erwiesen wurde.
Wenn eine Studie nicht doppelt verblindet ist - wie die meisten nicht -, können die eigenen Vorurteile der Forscher die Art und Weise, wie die Daten gesammelt oder analysiert werden, auf subtile Weise beeinflussen. Wenn ein Forscher gerade 8 oder 18 Monate damit verbracht hat, Daten zu sammeln, um keine signifikanten Ergebnisse zu erzielen, kann er eine Datenfischerei-Expedition unternehmen, um eine andere Datenbeziehung zu finden, die er veröffentlichen kann.1 Die Forscher ändern dann ihre ursprünglichen Hypothesen, um sie an die tatsächlichen Daten anzupassen gefunden (da die meisten Forscher ihre Forschung immer noch nicht bei einem Tracking-Service vorregistrieren - obwohl sich dies langsam ändert).
Andere haben vorgeschlagen, dass „Überraschung“ vielleicht eine andere Erklärung ist - dass sich Zeitschriften heutzutage darauf konzentrieren, überraschende Ergebnisse zu veröffentlichen, da sie für Leser populärer und interessanter sind. Wenn Sie die Möglichkeit einer Regression zum Mittelwert hinzufügen - dass Variablen beim ersten Messen am extremsten sein können, beim zweiten oder dritten Messen jedoch weniger extrem -, wird vorgeschlagen, dass diese beiden Faktoren zusammen die Veröffentlichung von Studien fördern, die an sich schwierig sind reproduzieren.
Was bedeutet das für die Psychologie?
Die menschliche Natur ist unendlich komplex. Die Psychologie versucht, menschliches Verhalten und Emotionen in kleine Teile zu zerlegen, um das Ganze besser zu verstehen. Wenn die Forschung jedoch die Wissenschaft hinter den Studien nicht reproduzieren kann, deutet dies darauf hin, dass vieles, was das Fachgebiet jedes Jahr veröffentlicht, auch nicht vertrauenswürdig ist.2
Wir kennen jedoch auch nicht die Reproduzierbarkeitsstatistik der meisten Wissenschaftler, da in anderen Bereichen noch nie zuvor etwas Vergleichbares wie das Reproduzierbarkeitsprojekt versucht wurde. Es könnte sein, dass dies ein Fehler ist, unter dem die meisten Wissenschaften leiden, oder es könnte ein Fehler sein, der die Sozialwissenschaften stärker beeinflusst als andere Wissenschaften.
Kurzfristig unterstreicht dies jedoch etwas, was ich immer gesagt habe - ein psychologisch-wissenschaftliches Ergebnis kann man nicht aufhängen, bis es von einem anderen Forscher reproduziert wurde. Ergebnisse, die reproduziert werden können, gelten als „robust“ und sind daher vertrauenswürdig.
Suchen Sie nach dieser Art von Informationen, wenn Sie Nachrichtenartikel bewerten oder lesen, die auf einer neuen Studie basieren. Obwohl nicht so sexy wie neue, „überraschende“ Erkenntnisse, sind Forschungen, die bestätigen oder in Frage stellen, was wir bereits zu wissen glauben, genauso wichtig.
Für weitere Informationen…
Der Atlantik: Wie zuverlässig sind Psychologiestudien?
The Guardian: Study liefert ein düsteres Urteil über die Gültigkeit der Ergebnisse von Psychologieexperimenten
Mindhacks: Nennen Sie es kein Comeback
Referenz
Open Science Collaboration. (2015). Abschätzung der Reproduzierbarkeit der Psychologie. Wissenschaft, 28.
Reproduzierbarkeitsprojekt: Psychologie - die Rohdaten
Fußnoten:
- Ansonsten wurde all diese Zeit, Geld und Mühe verschwendet, da nur wenige Forscher Nullergebnisse veröffentlichen können oder wollen. [↩]
- Und es stellt die allgemeinen Verallgemeinerungen der Autoren über die Anwendbarkeit ihrer Ergebnisse in Frage, die in fast allen Diskussionsabschnitten der jüngsten Psychologiestudien zu finden sind. [↩]
