Welche Forschung können Sie glauben?
Wer liest Welt der Psychologie kennt die Probleme bereits regelmäßig in vielen von der Industrie finanzierten Studien. Dieser Artikel legt jedoch nahe, dass die Probleme mit Peer-Review-Forschung weit über die einfache gewinnorientierte Ausrichtung hinausgehen. Wissenschaftler sind in vielerlei Hinsicht voreingenommen (nicht nur, um Geld zu verdienen). Und diese Tendenz zeigt sich unweigerlich in ihrer Arbeit - der wissenschaftlichen Forschung.
Dies ist keine neue Trommel für mich - ich habe über die Voreingenommenheit von Forschern im Jahr 2007 gesprochen und darüber, wie Forscher Studien entwerfen, um bestimmte Ergebnisse zu finden (an diesem Beispiel waren Forscher beteiligt, die Websites mit Selbstmordmethoden gefunden haben, als sie nach Selbstmordmethoden suchten - warten Sie darauf - ”In Google). Wir haben festgestellt, wie praktisch jede Studie in Zeitschriften wie Psychologische Wissenschaft verlassen sich fast ausschließlich auf Studenten, die von einem einzigen Campus als Fächer gesammelt wurden - eine signifikante Einschränkung, die in den Studien selbst selten erwähnt wird.
Hier ist jedoch der wirklich beunruhigende Aspekt: Diese Art von voreingenommenen Studien erscheinen in allen möglichen Zeitschriften. JAMA, NEJM und das BMJ sind nicht immun gegen die Veröffentlichung beschissener, fehlerhafter Studien in Medizin und Psychologie. Wir betrachten die „Seriosität“ einer Zeitschrift als eine Art Zeichen für eine Gatekeeping-Rolle - Studien, die in den renommiertesten Zeitschriften erscheinen, müssen von Grund auf solide sein.
Aber das stimmt einfach nicht. Der Kaiser ist nicht nur nackt - seine Untertanen haben seine Kleidung versteckt, um ihre eigene Karriere voranzutreiben.
Das Problem der Veröffentlichung voreingenommener Studien stand bereits 2004 im Rampenlicht, als GlaxoSmithKline von Generalstaatsanwälten verklagt wurde, weil sie Forschungsdaten zu Paxil versteckt hatten. Seitdem sind Dutzende von Studien ans Licht gekommen, und seitdem wurden andere Studien veröffentlicht, die zeigen, wie Pharmaunternehmen offenbar regelmäßig relevante Forschungsdaten versteckt haben. Diese Daten zeigen normalerweise, dass das untersuchte Medikament im Vergleich zu einer Zuckerpille bei der Behandlung der Störung, für die es bestimmt war, nicht wirksam war. (Blogs wie Klinische Psychologie und Psychiatrie: Ein genauerer Blick und der Carlat Psychiatry Blog enthalten weitere Details zu diesen Studien.)
Aber was ist mit anderen Arten von Voreingenommenheit? Interessieren wir uns nur für Studien, bei denen die Verzerrung so offenkundig ist, oder sollten wir uns keine Gedanken über Verzerrungen machen, die die Zuverlässigkeit der Ergebnisse beeinträchtigen könnten?
Die Antwort ist natürlich, dass wir an allen Formen von Voreingenommenheit interessiert sein sollten. Alles, was die Endergebnisse einer Studie beeinflussen kann, kann dazu führen, dass die Schlussfolgerungen der Studie in Frage gestellt werden.
John Ioannidis, Professor an der Universität Ioannina, interessierte sich für diese Frage in der medizinischen Forschung. Also stellte er ein Expertenteam aus Forschern und Statistikern zusammen, um tiefer zu graben und zu sehen, wie schlimm das Problem war. Was er fand, überraschte die Forscher nicht, wird aber für die meisten Laien eine Überraschung sein -
Verblüfft suchte er nach den spezifischen Wegen, auf denen Studien schief liefen. Und bald stellte er fest, dass die Bandbreite der begangenen Fehler erstaunlich war: Von den Fragen, die die Forscher stellten, über die Einrichtung der Studien, die Patienten, die sie für die Studien rekrutierten, über die von ihnen durchgeführten Messungen bis hin zur Analyse der Daten , wie sie ihre Ergebnisse präsentierten, wie bestimmte Studien in medizinischen Fachzeitschriften veröffentlicht wurden. […]
"Die Studien waren voreingenommen", sagt er. „Manchmal waren sie offen voreingenommen. Manchmal war es schwierig, die Vorurteile zu erkennen, aber es war da. “ Die Forscher gingen in ihre Studien und wollten bestimmte Ergebnisse - und siehe da, sie bekamen sie. Wir betrachten den wissenschaftlichen Prozess als objektiv, rigoros und sogar rücksichtslos, wenn es darum geht, das, was wahr ist, von dem zu trennen, was wir nur wahr sein wollen, aber tatsächlich ist es einfach, Ergebnisse zu manipulieren, sogar unbeabsichtigt oder unbewusst.
„In jedem Schritt des Prozesses gibt es Raum, um Ergebnisse zu verzerren, einen stärkeren Anspruch zu erheben oder auszuwählen, was abgeschlossen werden soll“, sagt Ioannidis. "Es gibt einen intellektuellen Interessenkonflikt, der die Forscher unter Druck setzt, herauszufinden, was am wahrscheinlichsten ist, um sie zu finanzieren."
Ioannadis stellte ein komplexes mathematisches Modell zusammen, das basierend auf all diesen Variablen vorhersagen würde, wie viel Forschung fehlerhaft sein könnte. Sein Modell sagte voraus, dass „80 Prozent der nicht randomisierten Studien (bei weitem der häufigste Typ [- insbesondere in der psychologischen Forschung])] sich als falsch herausstellen werden, ebenso wie 25 Prozent der angeblich nach Goldstandard randomisierten Studien und als 10 Prozent der großen randomisierten Studien mit Platinstandard. “
Anschließend stellte er dieses Modell an 49 Studien auf die Probe, die die angesehensten Forschungsergebnisse der medizinischen Forschung der letzten 13 Jahre enthielten. Diese waren in den am häufigsten zitierten medizinischen Fachzeitschriften und selbst die am häufigsten zitierten Artikel.
Von den 49 Artikeln gaben 45 an, wirksame Interventionen aufgedeckt zu haben. Vierunddreißig dieser Behauptungen waren erneut getestet worden, und 14 davon oder 41 Prozent hatten sich überzeugend als falsch oder erheblich übertrieben erwiesen. Wenn sich zwischen einem Drittel und der Hälfte der bekanntesten medizinischen Forschung als nicht vertrauenswürdig herausstellte, waren Umfang und Auswirkungen des Problems nicht zu leugnen. […]
Von den 45 überzitierten Studien, auf die sich Ioannidis konzentrierte, waren 11 nie erneut getestet worden. Vielleicht noch schlimmer: Ioannidis stellte fest, dass ein Forschungsfehler, selbst wenn er ausgefallen ist, in der Regel Jahre oder sogar Jahrzehnte anhält. Er betrachtete drei herausragende Gesundheitsstudien aus den 1980er und 1990er Jahren, die jeweils später gründlich widerlegt wurden, und stellte fest, dass Forscher die ursprünglichen Ergebnisse weiterhin häufiger als fehlerhaft als fehlerhaft zitierten - in einem Fall mindestens 12 Jahre lang, nachdem die Ergebnisse diskreditiert worden waren .
Soviel zu Wissenschaftlern, die die veröffentlichten Ergebnisse anderer erneut testen - der einzig endgültige Weg, um Voreingenommenheit zu bekämpfen. Wie konnten fast 25 Prozent der am häufigsten zitierten medizinischen Studien in den letzten 13 Jahren nie erneut getestet werden? Erstaunlich.
Das Ergebnis für die meisten von uns ist, dass es für niemanden möglich ist zu sagen, ob eine bestimmte Forschung wirklich positive, neuartige und robuste Ergebnisse zeigt. Ohne auf eine detaillierte Analyse der Studie - und aller Vorläufer der Studie - einzugehen, ist es eine langwierige und schwierige Aufgabe, neue Forschungsergebnisse in den Kontext zu stellen. Darüber hinaus legt das Modell von Ioannidis nahe, dass die überwiegende Mehrheit der psychologischen Forschung - vielleicht sogar 80 Prozent davon - wahrscheinlich falsch ist. Hier gibt es wirklich keinen Silberstreifen.
Außer vielleicht, dass Forschungsteams wie Ioannidis im Einsatz sind, um zu zeigen, wie Voreingenommenheit sogar die „Goldstandard“ -Forschung infiltrieren kann.
Veränderungen hängen hier weitgehend davon ab, dass einzelne Forscher etwas über diese Vorurteile lernen und viel härter daran arbeiten, sicherzustellen, dass ihre Studien diese nicht enthalten. Da jedoch kein Gatekeeper das Design oder die statistischen Methoden einer Studie überprüft, besteht kaum ein Anreiz zur Änderung. Die finanziellen und beruflichen Anreize für Forscher, weiterhin wie bisher zu veröffentlichen, um ihre akademische und berufliche Stellung zu erhalten, sind nach wie vor unlösbar hoch.
Der vollständige Artikel ist Ihre Zeit wert: Lügen, verdammte Lügen und medizinische Wissenschaft
Obwohl dies nicht ideal ist, finden Sie hier eine Einführung vor einigen Jahren, wie Sie fragwürdige Forschung erkennen können - Ist die Forschung gut?
