Die Weisheit der (ausgewählten) Massen

Immer mehr Unternehmen nutzen die Weisheit ihrer Kunden und Nutzer - eine sehr ausgewählte Masse. Sie tun dies durch „Big Data“ - sie sammeln Schatzkammern anonymer Daten und führen anschließend Post-hoc-Analysen durch.

Diese Bemühungen können zu interessanten Erkenntnissen führen. Dies kann auch dazu führen, dass Unternehmen darauf hinweisen, dass die Ergebnisse für die gesamte Bevölkerung verallgemeinerbar sind.

Und dieses letztere Problem ist das Problem. Denn wenn Sie mit einer selbst ausgewählten Stichprobe beginnen, sind Ihre Daten nur für Personen wie diese relevant - nicht für die gesamte Bevölkerung. Dies ist nur eines der Probleme beim Messen - und Ergreifen von Maßnahmen - auf der Grundlage von Informationen aus ausgewählten Massen.

Websites führen seit fast 20 Jahren „Big Data“ -Messungen durch. Jedes Mal, wenn Sie eine Website besuchen, hinterlässt sie eine kleine Datenspur auf dem Server der Website. Die Eigentümer des Servers nehmen diese Daten und führen sie über eine Datenanalyseplattform (wie Google Analytics) aus. Es gibt dem Websitebesitzer aggregierte Informationen über die Arten von Personen, die ihre Website besuchen.

Da jede Website einzigartig ist, sind solche Erkenntnisse nur für diese Website relevant. Ein Benutzer, der beispielsweise CNN besucht, hat möglicherweise wenig mit einem Benutzer gemeinsam, der Match.com besucht.

Das Select Crowds Problem

In der Datenanalyse bezeichnen Statistiker eine solche Stichprobe als "selbst ausgewählte Stichprobe", was zu dem Problem einer "Selbstauswahlverzerrung" führt. Einfach ausgedrückt bedeutet dies, dass Ihre Daten nicht für die gesamte Bevölkerung repräsentativ sind, da sie nur von Personen stammen, die eine bestimmte App oder Art von sozialen Medien verwenden. Und da es nicht repräsentativ für die Gesamtbevölkerung ist, können Sie die Daten nicht verallgemeinern.

Ich nenne das das Problem der „ausgewählten Menschenmengen“. Denn wenn Sie Ihre Weisheit aus der Menge gewinnen, sollten Sie sicherstellen, dass die Menge repräsentativ für die Bevölkerung ist, wenn Sie versuchen, verallgemeinerbare Erkenntnisse daraus zu gewinnen.

Es gibt ganze Unternehmen, die nur Trends und Daten von Twitter analysieren. Wenn Sie sich jedoch ansehen, wer Twitter nutzt und wie es verwendet wird, sind Sie sofort besorgt darüber, was solche Daten wirklich bedeuten. Zum Beispiel sind Twitter-Nutzer viel jünger als die allgemeine Bevölkerung, und ältere Menschen sind stark unterrepräsentiert. Wenn Sie ein Unternehmen leiten, das sich auf Twitter mit Gesundheitstrends befasst, werden Sie etwas ganz anderes sehen als bei einer randomisierten Telefonumfrage.

Mit anderen Worten, welche Trends auf Twitter für mehr als 80 Prozent der Amerikaner, die Twitter nicht nutzen, möglicherweise eine Bedeutung haben oder nicht.

Apps sind nicht besser

Apps sammeln häufig die Daten ihrer Benutzer, anonymisieren sie und vergleichen damit Ihre Leistung mit denen anderer Benutzer, die die App ebenfalls verwenden. Dies soll Ihnen das Gefühl geben, Teil eines sozialen Netzwerks zu sein, das die App gemeinsam hat. Es ist eine großartige Idee.

Denn was ist, wenn nur ein bestimmter Personentyp diese bestimmte App verwendet? Was wäre, wenn nur depressive Menschen eine Mood-Tracking-App verwenden, um Menschen aus ihrer Depression herauszuholen, indem sie ihnen helfen, ihre Stimmungen zu verfolgen und ihre Fortschritte mit denen anderer zu vergleichen, die die App ebenfalls verwenden? Solche Ergebnisse können an und für sich unbeabsichtigt deprimierend sein.

Können Sie jemanden durch sozialen Vergleich positiv motivieren? Sie können, aber allzu oft zeigt die Forschung auch, dass solche sozialen Vergleiche dazu führen, dass sich die Menschen schlechter fühlen als zuvor. Es muss äußerst sorgfältig durchgeführt werden - etwas, das die meisten typischen App-Entwickler nicht verstehen.

Wichtige Dinge weglassen, die gemessen werden müssen

Jede App oder jeder Dienst ist nur so gut wie das, was sie misst. Sie können absichtlich oder unbeabsichtigt Verzerrungen in Ihre Ergebnisse einbringen, indem Sie festlegen, was Sie messen möchten - und nicht, indem Sie messen.

Stellen Sie sich das so vor: Sie möchten in eine neue Stadt mit weniger Regen ziehen, sodass Sie nur die durchschnittliche jährliche Regenmenge für verschiedene Städte betrachten. Sie würden eine Stadt wie Miami nachschlagen und denken: "Weißt du, ich ziehe nicht nach Miami - sie bekommen fast 30 cm Regen pro Jahr! Vergleichen Sie das mit den mageren 37 Zoll Regen, die Seattle bekommt. Seattle muss der sonnigere, weniger regnerische Ort sein. " Da Sie keine anderen wichtigen Messdaten in Ihre Messung einbezogen haben, treffen Sie aufgrund zu begrenzter Informationen die falsche Wahl.

Was ein App- oder Website-Entwickler für wichtig hält, um etwas zu messen, ist möglicherweise nicht so wichtig wie etwas, das er ausgelassen hat. Stellen Sie sich eine App vor, die nur Ihre Reaktion auf Medikamente misst, aber alle anderen wichtigen Faktoren auslässt, die zu Ihrer Stimmung und Behandlung beitragen.

Die Behandlung findet nicht im luftleeren Raum mit Ihnen und einem einzelnen Medikament statt. Es findet in einem reichhaltigen, komplexen Ökosystem statt, das möglicherweise Medikamente enthält, aber auch viele andere wichtige Dinge, die Sie tun, um sich zu erholen. Es kann sein, wie viel Sie trainieren oder nicht wiederkäuen oder Tage, an denen Sie keine Panikattacke haben oder über ein Familienmitglied oder eine Arbeit gestresst sind.

Kurz gesagt, es gibt eine Vielzahl von Dingen, die von Apps und anderen gut gemeinten Diensten verfolgt werden sollten, aber nicht. Dies gibt eine verzerrte Perspektive darüber, wie etwas, das gemessen wird, mit der Stimmung oder dem Erholungsfortschritt eines Menschen zusammenhängt. Medikamente sind zwar bei der Behandlung vieler Menschen wichtig, aber möglicherweise nicht - und oft auch nicht - das Wichtigste.