Emotionale Ansteckung auf Facebook? Eher wie schlechte Forschungsmethoden

Kürzlich wurde eine Studie (Kramer et al., 2014) veröffentlicht, die etwas zeigte erstaunlich - Menschen haben ihre Emotionen und Stimmungen aufgrund der Anwesenheit oder Abwesenheit der positiven (und negativen) Stimmungen anderer Menschen geändert, wie in Facebook-Statusaktualisierungen ausgedrückt. Die Forscher nannten diesen Effekt eine „emotionale Ansteckung“, weil sie angeblich zeigen wollten, dass die Worte unserer Freunde in unserem Facebook-Newsfeed unsere eigene Stimmung direkt beeinflussten.

Bedenken Sie jedoch, dass die Forscher niemals die Stimmung von jemandem gemessen haben.

Und egal, dass die Studie einen fatalen Fehler aufweist. Eine, die auch andere Forschungen übersehen haben - was all diese Forscherergebnisse etwas verdächtig macht.

Abgesehen von der lächerlichen Sprache, die in solchen Studien verwendet wird (wirklich, Emotionen verbreiten sich wie eine „Ansteckung“?), Kommen diese Studien häufig durch Durchführung zu ihren Ergebnissen Sprachanalyse auf winzigen Textstücken. Auf Twitter sind sie wirklich winzig - weniger als 140 Zeichen. Facebook-Statusaktualisierungen bestehen selten aus mehr als ein paar Sätzen. Die Forscher messen eigentlich nicht die Stimmung von irgendjemandem.

Wie führen Sie eine solche Sprachanalyse durch, insbesondere bei 689.003 Statusaktualisierungen? Viele Forscher wenden sich hierfür einem automatisierten Tool zu, der sogenannten Linguistic Inquiry and Word Count-Anwendung (LIWC 2007). Diese Softwareanwendung wird von ihren Autoren wie folgt beschrieben:

Die erste LIWC-Anwendung wurde im Rahmen einer explorativen Studie zu Sprache und Offenlegung entwickelt (Francis, 1993; Pennebaker, 1993). Wie unten beschrieben, ist die zweite Version, LIWC2007, eine aktualisierte Version der ursprünglichen Anwendung.

Notieren Sie diese Daten. Lange bevor soziale Netzwerke gegründet wurden, wurde das LIWC gegründet, um große Textmengen zu analysieren - wie ein Buch, einen Artikel, eine wissenschaftliche Arbeit, einen Aufsatz, der unter experimentellen Bedingungen verfasst wurde, Blogeinträge oder eine Abschrift einer Therapiesitzung. Beachten Sie, dass all diese Dinge gemeinsam haben: Sie haben eine gute Länge und mindestens 400 Wörter.

Warum sollten Forscher ein Tool verwenden, das nicht für kurze Textausschnitte entwickelt wurde, um… kurze Textausschnitte zu analysieren? Dies liegt leider daran, dass dies eines der wenigen verfügbaren Tools ist, mit denen große Textmengen relativ schnell verarbeitet werden können.

Wen interessiert es, wie lange der Text messen soll?

Möglicherweise sitzen Sie da und kratzen sich am Kopf. Sie fragen sich, warum es wichtig ist, wie lange der Text ist, den Sie mit diesem Tool analysieren möchten. Ein Satz, 140 Zeichen, 140 Seiten… Warum sollte die Länge eine Rolle spielen?

Die Länge ist wichtig, da das Tool Text nicht so gut analysiert, wie es Twitter- und Facebook-Forscher damit beauftragt haben. Wenn Sie darum bitten, die positive oder negative Stimmung eines Textes zu analysieren, werden einfach negative und positive Wörter im untersuchten Text gezählt. Für einen Artikel, einen Aufsatz oder einen Blogeintrag ist dies in Ordnung. Sie erhalten eine ziemlich genaue Gesamtanalyse des Artikels, da die meisten Artikel mehr als 400 oder 500 Wörter lang sind.

Für einen Tweet oder eine Statusaktualisierung ist dies jedoch ein schreckliches Analysetool. Das liegt daran, dass es nicht zur Differenzierung gedacht war - und tatsächlich kippen differenzieren - ein Negationswort in einem Satz.1

Schauen wir uns zwei hypothetische Beispiele an, warum dies wichtig ist. Hier sind zwei Beispiel-Tweets (oder Statusaktualisierungen), die nicht ungewöhnlich sind:

"Ich bin nicht glücklich."

"Ich habe keinen großartigen Tag."

Ein unabhängiger Bewerter oder Richter würde diese beiden Tweets als negativ bewerten - sie drücken eindeutig eine negative Emotion aus. Das wäre +2 auf der negativen Skala und 0 auf der positiven Skala.

Das LIWC 2007-Tool sieht das jedoch nicht so. Stattdessen würden diese beiden Tweets mit +2 für positiv (aufgrund der Wörter „großartig“ und „glücklich“) und +2 für negativ (aufgrund des Wortes „nicht“ in beiden Texten) bewertet.

Dies ist ein großer Unterschied, wenn Sie an einer unvoreingenommenen und genauen Datenerfassung und -analyse interessiert sind.

Und da ein Großteil der menschlichen Kommunikation solche Feinheiten enthält - ohne sich auch nur mit Sarkasmus zu befassen, Abkürzungen mit kurzer Hand, die als Negationswörter dienen, Phrasen, die den vorherigen Satz negieren, Emojis usw. - können Sie nicht einmal sagen, wie genau oder ungenau sie sind Die daraus resultierende Analyse dieser Forscher ist. Da der LIWC 2007 diese subtilen Realitäten der informellen menschlichen Kommunikation ignoriert, die Forscher auch.2

Vielleicht liegt es daran, dass die Forscher keine Ahnung haben, wie schlimm das Problem tatsächlich ist. Weil sie einfach all diese „Big Data“ an die Sprachanalyse-Engine senden, ohne wirklich zu verstehen, wie die Analyse-Engine fehlerhaft ist. Sind es 10 Prozent aller Tweets, die ein Negationswort enthalten? Oder 50 Prozent? Forscher konnten es Ihnen nicht sagen.3

Auch wenn dies zutrifft, zeigt die Forschung winzige Auswirkungen auf die reale Welt

Aus diesem Grund muss ich sagen, dass selbst wenn Sie glauben, dass diese Forschung trotz dieses großen methodischen Problems zum Nennwert ist, Sie immer noch Forschung haben, die lächerlich kleine Korrelationen zeigt, die für normale Benutzer wenig bis gar keine Bedeutung haben.

Zum Beispiel haben Kramer et al. (2014) fanden 0,07% - das sind nicht 7 Prozent, das ist 1/15 von einem Prozent !! - Verringerung der Anzahl negativer Wörter in den Statusaktualisierungen von Personen, wenn die Anzahl der negativen Beiträge in ihrem Facebook-Newsfeed abnimmt. Wissen Sie, wie viele Wörter Sie lesen oder schreiben müssen, bevor Sie aufgrund dieses Effekts ein weniger negatives Wort geschrieben haben? Wahrscheinlich Tausende.

Dies ist weniger ein "Effekt" als ein statistischer Fehler, der keine reale Bedeutung hat. Die Forscher selbst erkennen dies an und stellen fest, dass ihre Effektgrößen „klein (so klein wie) waren d = 0,001). ” Sie schlagen weiter vor, dass es immer noch wichtig ist, weil „kleine Effekte große aggregierte Konsequenzen haben können“. Sie zitieren eine Facebook-Studie zur politischen Wahlmotivation eines derselben Forscher und ein 22 Jahre altes Argument aus einem psychologischen Journal.4

Aber sie widersprechen sich im vorherigen Satz und schlagen vor, dass Emotionen „angesichts der Bandbreite der täglichen Erfahrungen, die die Stimmung beeinflussen, schwer zu beeinflussen sind“. Welches ist es? Beeinflussen Facebook-Statusaktualisierungen die Emotionen von Personen erheblich oder werden Emotionen nicht so leicht durch einfaches Lesen der Statusaktualisierungen anderer Personen beeinflusst?

Trotz all dieser Probleme und Einschränkungen hindert nichts die Forscher am Ende daran zu proklamieren: „Diese Ergebnisse zeigen, dass Emotionen, die von anderen auf Facebook ausgedrückt werden, unsere eigenen Emotionen beeinflussen und experimentelle Beweise für eine massive Ansteckung über soziale Netzwerke darstellen.“ 5 Auch hier spielt es keine Rolle, dass sie nicht die Emotionen oder Stimmungszustände einer einzelnen Person gemessen haben, sondern sich stattdessen auf eine fehlerhafte Bewertungsmaßnahme verlassen haben.

Die Facebook-Forscher zeigen meiner Meinung nach deutlich, dass sie zu viel Vertrauen in die von ihnen verwendeten Tools setzen, ohne die wesentlichen Einschränkungen der Tools zu verstehen und zu diskutieren.6

Referenz

Kramer, ADI, Guillory, JE, Hancock, JT. (2014). Experimentelle Beweise für eine massive emotionale Ansteckung durch soziale Netzwerke. PNAS. www.pnas.org/cgi/doi/10.1073/pnas.1320040111

Fußnoten:

1. Dies geht aus einer Anfrage an die LIWC-Entwickler hervor, die geantwortet haben: „LIWC prüft derzeit nicht, ob es in seiner Bewertung einen Negationsbegriff in der Nähe eines positiven oder negativen Emotionsbegriffs gibt, und es wäre schwierig, einen effektiven Algorithmus für zu finden das sowieso. " [↩]
2. Ich konnte keine Erwähnung der Einschränkungen der Verwendung des LIWC als Sprachanalysewerkzeug für Zwecke finden, für die es in der vorliegenden Studie oder in anderen von mir untersuchten Studien niemals entworfen oder vorgesehen war. [↩]
3. Nun, sie könnten Ihnen sagen, ob sie tatsächlich die Zeit damit verbracht haben, ihre Methode mit einer Pilotstudie zu validieren, um sie mit der Messung der tatsächlichen Stimmungen von Menschen zu vergleichen. Aber diese Forscher haben dies nicht getan. [↩]
4. Es gibt einige schwerwiegende Probleme mit der Facebook-Abstimmungsstudie, von denen die geringste darin besteht, Änderungen im Abstimmungsverhalten einer Korrelationsvariablen zuzuschreiben, mit einer langen Liste von Annahmen, die die Forscher getroffen haben (und denen Sie zustimmen müssten). [↩]
5. Eine Bitte um Klarstellung und Kommentar der Autoren wurde nicht zurückgesandt. [↩]
6. Dies ist keine Auseinandersetzung mit dem LIWC 2007, das ein hervorragendes Forschungsinstrument sein kann - wenn es für die richtigen Zwecke und in den richtigen Händen verwendet wird. [↩]