Ist die Forschung gut?
Möchten Sie ein besserer Verbraucher sozialwissenschaftlicher Forschung sein? Hier ist ein kurzes Spickzettel zur Bestimmung der allgemeinen Legitimität und Generalisierbarkeit praktisch jeder sozialwissenschaftlichen Studie. Denken Sie daran, dass dieses Spickzettel nicht 100% genau oder relevant ist, um auf jede Studie angewendet zu werden, über die Sie möglicherweise lesen. Aber es ist eine gute Kurzanleitung, die Ihnen den Einstieg erleichtert.
Was war das für eine Forschung?
Die robustesten und besten Studien verwenden eine Versuchsgruppe und eine Kontrollgruppe. Studien, die die Kontrollgruppe auslassen, sind normalerweise weniger nützlich als solche, die dies tun. Eine Umfrage ist die am wenigsten leistungsfähige Art von Forschung, die durchgeführt werden kann, da sie keine Versuchsgruppe oder Kontrollgruppe hat. Sie kann jedoch hilfreich sein, um Trends zu identifizieren oder Konzepte oder Hypothesen zu ermitteln, die eingehender untersucht werden können.
Wie groß war die Studie?
Eine Studie mit weniger als 50 Personen in praktisch jedem experimentellen Design wird eine sehr, sehr eingeschränkte Generalisierbarkeit aufweisen (da ihnen fast immer eine ausreichende statistische Aussagekraft fehlt). Dies bedeutet, dass die Ergebnisse möglicherweise interessant sein können, bis sie in einer anderen Gruppe (und vorzugsweise in einer größeren Gruppe) repliziert werden. Sie sollten sie jedoch mit einem Körnchen Salz einnehmen. (Einige Forschungsergebnisse, wie z. B. experimentelle Einzelfalldesigns, können auch einzelne Datenpunkte von Interesse oder zukünftige Forschungsergebnisse liefern, können jedoch im Allgemeinen wenig über umfassendere Trends oder Behandlungen aussagen.)
Wer war in der Studie?
Gute Forschung versucht, Teilnehmer zu verwenden, die für die Bevölkerung im Allgemeinen repräsentativ sind. Je repräsentativer die Stichprobe ist, desto mehr kann man die Ergebnisse leicht verallgemeinern. Eine Studie mit 200 Teilnehmern, die in Bezug auf Geschlecht, Rasse, sozioökonomischen Status und Geschichte ausgewogen ist, ist weitaus besser als eine Studie mit 200 College-Studenten in Harvard oder der OSU.
Wie lange wurden Menschen studiert?
Eine Studie, in der die Teilnehmer weniger als 12 Wochen lang auf jede Art von Behandlung untersucht werden, ist praktisch nutzlos. Kein mir bekannter Kliniker oder Arzt hatte jemals eine typische Standardbehandlung, die in weniger als 12 Wochen durchgeführt wurde. Eine Umfrage, bei der eine Gruppe von Personen zu einem bestimmten Zeitpunkt befragt wird, bedeutet, dass die gefundenen Ergebnisse für diesen bestimmten Zeitpunkt gut sind.
Es gibt gute und vernünftige Ausnahmen von dieser Regel, für die Behandlung von Angstzuständen (Medikamente werden oft nach Bedarf eingenommen, nicht jeden Tag) und für Dinge wie akute Psychose oder Manie. Studien, die diese spezifischen Bedenken untersuchen, können kürzer sein und dennoch wertvolle Informationen liefern.
In der Tat bietet uns jede kürzere Studie (z. B. eine 4-wöchige oder 8-wöchige Studie) etwas Information. Es ist nur so, dass diese Informationen eine Momentaufnahme des typischen Behandlungsregiments sind und uns kein so vollständiges Bild vermitteln wie eine längere Behandlungsstudie. Die Studiendauer ist weniger wichtig für Studien, in denen eine Behandlung einer psychischen Störung nicht speziell untersucht wird.
Wer hat die Studie finanziert?
Im Allgemeinen weisen die meisten staatlich finanzierten Studien eine geringere Verzerrung auf als solche, die von einem Unternehmen (z. B. einem Pharmaunternehmen) finanziert werden und ein direktes Interesse daran haben, ein bestimmtes Ergebnis zu erzielen. Praktisch alle Studien werden jedoch an einer Universität oder in einem Krankenhaus durchgeführt, sodass Finanzierungsinformationen möglicherweise nicht ohne weiteres verfügbar sind (die Zugehörigkeiten der Forscher liefern normalerweise nur wenige Informationen darüber, wie die Studie finanziert wurde). Staatliche Finanzierung bedeutet nicht, dass eine Studie nicht schlecht konzipiert oder durchgeführt werden kann, sondern nur, dass Sie sich keine Sorgen machen müssen, dass „Finanzierungsverzerrungen“ die Ergebnisse beeinflussen.
Wie sprechen die Autoren über ihre Ergebnisse?
Die Autoren sollten bescheiden und vorsichtig mit ihren Ergebnissen sein und keine allzu weit gefassten Verallgemeinerungen oder zusammenfassenden Schlussfolgerungen ziehen (insbesondere in Bezug auf die Kausalität, wenn die Kausalität nicht in die Studie einbezogen wurde, wie dies normalerweise nicht der Fall ist). Die Autoren sollten auch die Einschränkungen der aktuellen Studie in jedem Zeitschriftenartikel klar beschreiben. Artikel, die solche Informationen weglassen, sollten skeptisch betrachtet werden, da jede Studie Einschränkungen aufweist.
Die Autoren sollten auch deutlich den Unterschied zwischen klinischer und statistischer Signifikanz in Behandlungsstudien beachten. Eine Änderung von 2 oder 3 Punkten in einer Skala zur Messung von Depressionen kann statistisch signifikant sein (was zu einem „positiven“ Ergebnis führt), hat jedoch für die meisten Teilnehmer nur eine geringe klinische Bedeutung. (Beispiele hierfür finden Sie in diesem Artikel oder in diesem Artikel.) Obwohl es informativ ist zu wissen, dass eine Versuchsgruppe statistisch anders ist (z. B. besser als der Zufall) als eine Kontrollgruppe, hat dieser Unterschied für die meisten von uns möglicherweise keine reale Bedeutung .
Hüten Sie sich auch vor Studien, die sich vollständig auf vom Arzt bewertete Maßnahmen oder Skalen ohne vom Patienten bewertete Skalen stützen. Wer könnte Ihnen besser sagen, dass eine Behandlung wirkt als der Patient selbst?
* * *Vielen Dank an CL Psych für die Überprüfung eines früheren Entwurfs dieses Artikels.
