Eine Verbindung zwischen Marihuana-Legalisierung und Autounfällen? Unsinn

Im Oktober veröffentlichten das Highway Loss Data Institute und das Insurance Institute for Highway Safety einen selbstveröffentlichten Bericht, der darauf hinweist, dass ein enger Zusammenhang zwischen der Unfallrate von Autos und der Legalisierung von Marihuana in Staaten besteht. Dies wäre eine erschreckende Nachricht, wenn der Befund auf starken wissenschaftlichen Beweisen beruhen würde.

Leider sind die Forschungsdaten für diese Institute bestenfalls trübe. Und da diese Organisationen den Bericht selbst veröffentlicht haben, anstatt den wissenschaftlichen Peer-Review-Prozess zu durchlaufen, ist es schwierig, ihre Ergebnisse ernst zu nehmen.

Bevor wir uns mit den Daten befassen, sollten die Leser verstehen, dass das Highway Loss Data Institute (HLDI) und das Insurance Institute for Highway Safety (IIHS) zwei verschiedene sind legal Organisationen teilen sie die gleiche Führungsebene, die gleiche physische Adresse und wahrscheinlich noch viel mehr. Es hört sich so an, als wären dies zwei unabhängige, nicht verwandte Organisationen, die ähnliche Ergebnisse erzielt haben, als sie ihre kollektiven Köpfe zusammengelegt haben, aber das ist nicht der Fall.

Ich muss diesen Artikel auch mit der üblichen wissenschaftlichen Erinnerung beginnen - Korrelation ist nicht gleich Kausalität. Wenn ich eine Studie über die Auswirkungen von Menschen durchführe, die ihre Regenschirme in einer städtischen Innenstadt öffnen, werde ich eine sehr starke positive Korrelation zwischen dieser Aktion und dem Vorhandensein von Regen feststellen. Aber wir wissen, dass das Öffnen eines Regenschirms nicht dazu führt, dass der Regen fällt. Die Wissenschaft wird jedoch leicht eine starke Korrelation zwischen beiden zeigen - was einige traurige, unwissende Forscher dazu veranlasst, darauf hinzuweisen, dass es definitiv einen ursächlichen Zusammenhang gibt.

Wählen wir unsere Kontrollzustände

In der neuen Studie untersuchte ein Forscher Daten zu Autobahnunfällen in drei Zielstaaten, in denen Marihuana über den medizinischen Gebrauch hinaus legalisiert wurde (Monfort, 2018). Dann verglich er die Unfallraten dieser Staaten mit fünf Kontrollstaaten (Staaten, die im Allgemeinen an die legalisierten Marihuana-Staaten grenzten). Zum Beispiel wurde Colorado mit drei Staaten verglichen: Nebraska, Utah und Wyoming.

Sie sehen das Problem schon, oder? Colorado grenzt an sechs Bundesstaaten, nicht nur an drei: Arizona, New Mexico und Kansas. Ein ähnliches Problem sehen wir auch bei den anderen gewählten Kontrollzuständen. Oregons Kontrollstaaten waren Idaho (ein richtiger Vergleichsstaat) und Montana - ein Binnenstaat, mit dem er wenig gemeinsam hat und der keine Grenze hat.

Der Forscher begründete diese Entscheidungen, weil die Schwesterorganisation der IIHS einen früheren Bericht zur Auswahl dieser Staaten veröffentlichte. Diese namenlosen Forscher wählten die Zustände aufgrund einer - manchmal nicht sehr starken - Korrelation zwischen Ähnlichkeiten zwischen ihren Crash-Datenraten. Nicht Demografie, Geografie (kurvige Bergstraßen versus flache Felder) oder ein anderer Grund.1 Es ist fraglich, ob „saisonale Crashmuster vor 2014“ eine legitime wissenschaftliche Vergleichsvariable für die Auswahl von Kontrollzuständen sind, wenn andere Variablen weitaus angemessener erscheinen.

In einer Folge-E-Mail mit dem IIHS-Sprecher sagte er, der Forscher wolle „zwei verschiedene Datensätze verwenden und prüfen, ob die Ergebnisse ähnlich sind. Die Verwendung unterschiedlicher Steuerzustände wäre nicht sinnvoll. “

Wie langjährige Leser wissen, können Forscher ihre Daten, Analysen oder Hypothesen so gut wie manipulieren, um die Ergebnisse zu demonstrieren, die sie finden möchten. Dies ist einer der Gründe, warum viele Menschen der Forschung generell skeptisch gegenüberstehen. Es gibt so viele Möglichkeiten, wie ein Forscher Daten manipulieren kann - oft aus sehr legitimen, guten Gründen -, dass es schwierig sein kann, die eingeführte Verzerrung zu erkennen.

Dies war bei dieser Studie jedoch nicht der Fall. Ich denke, die Vorurteile sind meiner Meinung nach ziemlich klar dargelegt.

11 Analysen, aber nur 3 signifikant

Das zweite Zeichen, dass dieser Forschungsbericht völliger Unsinn ist, ist, dass selbst wenn das Kartenspiel auf eine vom Forscher selbst gewählte Weise gestapelt wurde, er für die Mehrzahl der von ihm durchgeführten statistischen Analysen keine große Bedeutung in den Daten finden konnte. Überzeugen Sie sich selbst:

Sehen Sie diese drei Sternchen? Dies sind die einzigen drei Analysen, die statistisch signifikant waren. Beachten Sie, dass nur eines dieser Sternchen in einem tatsächlichen Vergleich von Bundesstaat zu Bundesstaat angezeigt wird - zwischen Colorado und Utah. Alle anderen Analysen von Staat zu Staat zeigten keinen signifikanten Unterschied zwischen einem Kontrollstaat und dem Marihuana-legalen Staat.

In den sieben Nur-Staat-zu-Staat-Analysen wurde nur eine als signifikant eingestuft. Dies ist eine ziemlich wichtige Erkenntnis, die im Bericht beschönigt wurde (und von der IIHS überhaupt nicht erwähnt wurde). In meinen Forschungskreisen würden wir dies als "schwach" bezeichnen.

Lassen Sie uns die Daten bündeln!

Erst als der Forscher eine ganze Reihe von Kontrollzuständen zusammenlegte, fand er zwei weitere signifikante Korrelationen.

Generell verstehe ich, dass Forscher es unterlassen, Daten aus unterschiedlichen Quellen zusammenzufassen, es sei denn, sie können die Entscheidung dafür rechtfertigen und sicherstellen, dass die zugrunde liegenden Variablen homogen (oder ähnlich) sind.

Dies müssen Sie nicht nur für eine Gruppe von Staaten sicherstellen, wie in der aktuellen Forschung. Der Forscher hat jedoch auch Daten über mehrere Jahre hinweg gepoolt.

Es ist nicht ersichtlich, welche Rechtfertigung der Forscher für die Auswahl der Jahre (2012-2016) verwendet hat, außer dass dies die Jahre waren, in denen solche Daten in all diesen Staaten verfügbar waren. Bei meiner flüchtigen Suche auf den Regierungswebsites dieser Bundesstaaten stellte ich jedoch im Allgemeinen fest, dass Crash-Daten seit 2005 zuverlässig verfügbar sind.

Wir wissen, dass die jährlichen Crash-Daten nicht homogen sind - sie können von Jahr zu Jahr erheblich variieren. In allen Bundesstaaten beispielsweise stiegen die Crash-Prozentsätze in den Jahren 2014, 2015 und 2016 - unabhängig vom Bundesstaat. Der Forscher versucht also zu messen, ob der Anstieg von 7,84 Prozent in Idaho im Jahr 2015 anders ist als der Anstieg von 7,09 Prozent im Marihuana-freundlichen Oregon. Oder ob sich die Marihuana-freundliche Colorado-Rate von 2015 um 4,37 Prozent gegenüber 2014 deutlich von der von Utah um 9,96 Prozent oder von New Mexico um 10,19 Prozent unterscheidet.

Darüber hinaus erhielten verschiedene Bundesstaaten in den untersuchten Monaten unterschiedliche Poolgrößen, je nachdem, wann ihre Einzelhandelsverkäufe von Marihuana in Kraft traten. Für Oregon bedeutete dies, dass der Forscher 2012, 2013, 2014 und den größten Teil des Jahres 2015 als einen Datensatz und 2016 + 2 Monate im Jahr 2015 als zweiten Datensatz zusammenfasste (46 Monate gegenüber 14 Monaten). Aber Colorado hat Marihuana im Januar 2014 legalisiert, sodass es nur zwei Jahre Daten vor der Legalisierung und drei Jahre Daten nach der Legalisierung gab.

In einem fairen und genauen wissenschaftlichen Vergleich sollten alle Datensätze in Bezug auf den untersuchten Zeitraum vor und nach der Variablen, die Sie in Ihrer Analyse messen möchten, eine ähnliche Größe haben. Insbesondere wenn diese Daten bekanntlich nicht homogen sind.

Was zeigen die Daten?

Der Forscher lieferte nicht die üblichen Details, die für die Replikation seiner Arbeit erforderlich wären. Wir müssen also die Rohdaten untersuchen und uns nur die offensichtlicheren Probleme ansehen.

Wenn wir uns Colorado ansehen, können wir die Unfallrate im Laufe der Zeit mit zwei anderen Bundesstaaten vergleichen. Vor 2013 war in Colorado im Vergleich zum Vorjahr ein Rückgang der Gesamtunfallraten zu verzeichnen (alle Daten stammen von der Website des jeweiligen Bundesstaates). 2013 verzeichnete der Staat einen Anstieg der Unfälle um 6,29 Prozent, der sich 2014 (6,79 Prozent) und 2015 (4,37 Prozent) fortsetzte. Im Jahr 2016 verzeichnete der Staat nur einen Anstieg von 0,35 Prozent.

Vergleichen Sie diese Zahlen mit einem der Kontrollstaaten, Utah, die der Forscher eingeschlossen hat. In Utah gab es 2013 ebenfalls einen Anstieg der Unfälle (9,05 Prozent), der 2014 zurückging (-2,96 Prozent). Die Crash-Raten dieses Staates stiegen 2015 und 2016 erneut an (9,96 Prozent bzw. 3,94 Prozent).

Vergleichen wir nun diese Zahlen mit einem der Kontrollstaaten, die der Forscher New Mexico nicht ausgewählt hat. Die Crash-Raten gingen 2013 zurück (-4,78 Prozent), 2014 und 2015 um zwei Jahre (3,64 Prozent bzw. 10,19 Prozent). In New Mexico war 2016 ein Rückgang von -0,53 Prozent zu verzeichnen.

Ich glaube, der Grund, warum Utah New Mexico vorgezogen wurde, war einfach. Die Crash-Rate in den Jahren 2014-2016 (die Schlüsseljahre für den Marihuana-Vergleich in Colorado) erhöhte die Crash-Rate kumulativ nur um 10,94 Prozent. Wenn die Institute stattdessen New Mexico verwendet hätten, lag die Absturzrate im gleichen Zeitraum bei 13,3 Prozent. Im Vergleich zu den kumulierten 11,51 Prozent in Colorado sehen Sie, dass Utah niedriger ist - New Mexico (ebenfalls ein Nachbarstaat von Colorado) jedoch fast 2 Prozentpunkte höher.

Wirf alles in eine Analyse, die „staatliche Merkmale“ berücksichtigt (die nur Arbeitslosenquoten und Wetter enthalten), und voila! Daten, die anscheinend zeigen, dass Marihuana-Verkäufe die Crash-Raten beeinflussen.

Was bedeutet das für Marihuana?

Die Daten zeigen selbst aus der aktuellen Forschung grundsätzlich keine statistische Signifikanz zwischen den Einzelhandelsverkäufen von Marihuana und der Anzahl der Autounfälle in einem Bundesstaat. Wenn überhaupt eine Korrelation besteht, ist sie sehr schwach und wird nur gefunden, wenn der Forscher meiner Meinung nach fragwürdige Analysen in der Studie verwendet hat. Einige benachbarte Bundesstaaten Colorados - beispielsweise New Mexico - wurden nicht in die Analyse einbezogen und zeigten im gleichen Zeitraum einen stärkeren Anstieg ihrer Unfallraten als Colorado.

Ich glaube, diese Art von Bericht spiegelt sowohl die IIHS als auch die HLDI schlecht wider. Diese Organisationen, die hauptsächlich von Versicherungsunternehmen finanziert werden, veröffentlichen meiner Meinung nach beängstigende Ergebnisse, um ein politisches und geschäftliches Ziel zu erreichen. Sie preisen diese Ergebnisse als "Forschung" an, obwohl sie manchmal nur auf der eigenen Website der Organisation veröffentlicht werden und anscheinend nicht wie in der traditionellen wissenschaftlichen Forschung von Experten begutachtet werden. („Unsere jüngsten Forschungsergebnisse zur Legalisierung von Marihuana in der Freizeit und zu von der Polizei gemeldeten Unfällen wurden der Zeitschrift zur Veröffentlichung vorgelegt Unfallanalyse und Prävention", Stellt der IIHS-Sprecher fest.)

Was wir hier haben, ist das, was ich als "gefälschte Forschung" bezeichnen würde - Forschung, die sich ausdehnt, um eine signifikante Beziehung zu zeigen, in der eindeutig nur ein großes Fragezeichen vorhanden ist. Und selbst wenn es eine korrelative Bedeutung gab, hat diese Forschung keine Unterstützung für einen Kausalzusammenhang. Wir haben die Organisationen um einen Kommentar gebeten, und sie haben uns im Grunde nur zur Beantwortung an die Studie zurücküberwiesen. Zum Beispiel erklärte der IIHS-Sprecher: „Die Crash-Daten aus den Marihuana-Staaten in der IIHS-Studie werden nicht zusammengefasst, aber die einzelnen Ergebnisse aus jedem Staat wurden in einer Metaanalyse zusammengefasst, die eine akzeptierte Forschungsmethode darstellt. Die einzelnen Ergebnisse für Colorado und Washington in der HLDI-Analyse sind statistisch signifikant. “

Als ich darauf hinwies, dass die aktuelle Studie nur für einen Bundesstaat von Bedeutung war - Colorado (und dann nur im Vergleich zu einem anderen Bundesstaat, Utah) -, wies mich der Sprecher auf die vorherige Studie hin. Anscheinend nicht bewusst, dass wenn neuer Forschung widerspricht früheren Forschungen. Sie können nicht immer wieder darauf hinweisen, dass frühere Forschungen noch gültig sind. Die neue Studie von IIHS zeigt, dass es in Washington keinen signifikanten Zusammenhang mehr zwischen Marihuana und Abstürzen gibt - genau das Gegenteil von dem, was der Sprecher behauptet.

IIHS ist eine Organisation, die versucht, politische Entscheidungsträger in Bezug auf die Sicherheit von Autofahrern zu schulen und zu informieren. Leider werden die meisten Politiker und Bürger nicht verstehen oder erkennen, dass sie betrogen wurden, und glauben stattdessen, dass diese Art von Studie tatsächlich wissenschaftlich ist.

Kurz gesagt, es gibt keine starken Daten, die den Einzelhandelsumsatz mit Marihuana mit einer Zunahme von Autounfällen in Verbindung bringen. Die Daten, die wir haben, zeigen nur eine sehr begrenzte, schwache Korrelation - keine Kausalität - durch statistische Tricks.

Von nun an werde ich weitaus skeptischer gegenüber allem sein, was die IIHS oder HLDI veröffentlichen.

Fußnoten:

1. Im Einzelnen wurden „Kontrollzustände basierend auf der Nähe zum Untersuchungszustand sowie auf der Ähnlichkeit der saisonalen Crashmuster vor 2014 ausgewählt. Diese Ähnlichkeit beruhte auf den Korrelationen zwischen den monatlichen Häufigkeiten im Untersuchungszustand und jedem potenziellen Kontrollzustand während des 24 Monate 2012–13. Der Pearson-Korrelationskoeffizient für Colorado und Nebraska betrug 0,85; für Wyoming 0,79; und für Utah 0,60. Für Washington wurden die Bundesstaaten Montana (0,67) und Idaho (0,63) als Kontrollen ausgewählt. Für Oregon wurden die Bundesstaaten Idaho (0,67) und Montana (0,83) verwendet. “ [↩]