Fehler in der Social Media-Forschung finden

Laut Informatikern der McGill University in Montreal und der Carnegie Mellon University in Pittsburgh müssen sich Forscher vor ernsthaften Fallstricken bei der Arbeit mit riesigen Social-Media-Datensätzen hüten.

Fehlerhafte Ergebnisse können enorme Auswirkungen haben: Tausende von Forschungsarbeiten pro Jahr basieren jetzt auf Daten, die aus sozialen Medien stammen.

"Viele dieser Papiere werden verwendet, um Entscheidungen und Investitionen in der Öffentlichkeit sowie in Industrie und Regierung zu informieren und zu rechtfertigen", sagte Dr. Derek Ruths, Assistenzprofessor an der McGill's School of Computer Science.

Für Verhaltensforscher schien das Wachstum der sozialen Medien eine beispiellose Gelegenheit zu sein, zahlreiche Informationen über menschliches Verhalten zu erfassen und anschließend zu analysieren.

Viele Wissenschaftler glauben, dass solche reifen Datensätze dazu beitragen können, menschliches Verhalten auf einer nie zuvor vorgestellten Ebene vorherzusagen. In den letzten Jahren haben Studien behauptet, alles von Sommer-Blockbustern bis hin zu Schwankungen an den Aktienmärkten vorhersagen zu können.

Aber in einem Artikel in der Zeitschrift veröffentlicht WissenschaftRuths und Dr. Jürgen Pfeffer vom Carnegie Mellon Institute for Software Research heben verschiedene Probleme bei der Verwendung von Social-Media-Datensätzen sowie Strategien zu deren Bewältigung hervor. Unter den Herausforderungen:

• Verschiedene Social-Media-Plattformen ziehen unterschiedliche Nutzer an - Pinterest wird beispielsweise von Frauen im Alter von 25 bis 34 Jahren dominiert -, doch korrigieren Forscher selten das verzerrte Bild, das diese Bevölkerungsgruppen erzeugen können.
• Öffentlich zugängliche Datenfeeds, die in der Social-Media-Forschung verwendet werden, bieten nicht immer eine genaue Darstellung der Gesamtdaten der Plattform. Forscher wissen im Allgemeinen nicht, wann und wie Social-Media-Anbieter ihre Datenströme filtern.
• Das Design von Social-Media-Plattformen kann bestimmen, wie sich Benutzer verhalten und daher welches Verhalten gemessen werden kann. Zum Beispiel macht es auf Facebook das Fehlen eines "Abneigungs" -Buttons schwieriger, negative Antworten auf Inhalte zu erkennen als positive "Likes".
• Eine große Anzahl von Spammern und Bots, die sich als normale Benutzer in sozialen Medien tarnen, werden fälschlicherweise in viele Messungen und Vorhersagen des menschlichen Verhaltens einbezogen.
• Forscher berichten häufig über Ergebnisse für Gruppen von einfach zu klassifizierenden Benutzern, Themen und Ereignissen, sodass neue Methoden genauer erscheinen als sie tatsächlich sind. Zum Beispiel erreichen Bemühungen, auf die politische Orientierung von Twitter-Nutzern zu schließen, eine Genauigkeit von knapp 65 Prozent für typische Nutzer - obwohl Studien (mit Schwerpunkt auf politisch aktiven Nutzern) eine Genauigkeit von 90 Prozent behaupteten. Twitter-Nutzer erreichen für typische Nutzer eine Genauigkeit von knapp 65 Prozent - obwohl Studien (mit Schwerpunkt auf politisch aktiven Nutzern) eine Genauigkeit von 90 Prozent behauptet haben.

Die Ermittler sagen, dass viele der Probleme auch in anderen Bereichen wie Epidemiologie, Statistik und maschinellem Lernen auftreten.

"Der rote Faden bei all diesen Themen ist die Notwendigkeit, dass die Forscher genauer wissen, was sie tatsächlich analysieren, wenn sie mit Social-Media-Daten arbeiten", sagt Ruths.

Sozialwissenschaftler haben ihre Techniken und Standards verbessert, um diese Art von Herausforderung zu bewältigen.

"Die berüchtigte Überschrift" Dewey besiegt Truman "von 1948 stammte aus telefonischen Umfragen, bei denen Truman-Anhänger in der allgemeinen Bevölkerung unterbewertet waren", bemerkt Ruths.

„Anstatt die Abstimmungspraxis dauerhaft zu diskreditieren, führte dieser offensichtliche Fehler zu den heute ausgefeilteren Techniken, höheren Standards und genaueren Abstimmungen. Jetzt befinden wir uns an einem ähnlichen technologischen Wendepunkt. Indem wir uns mit den Problemen befassen, mit denen wir konfrontiert sind, werden wir in der Lage sein, das enorme Potenzial für das Gute zu realisieren, das die auf sozialen Medien basierende Forschung verspricht. "

Quelle: McGill University