Der Wissenschaft einen coolen Schritt voraus: TweetPsych

Ein neuer Dienst, der diese Woche von einem Webentwickler namens Dan Zarrella namens TweetPsych gestartet wurde. Zarrella ist außerdem Marketing Manager bei HubSpot, einer Online-Marketingfirma. Zarrella nennt sich selbst "Wissenschaftler", weil es wohl sexier klingt als "Webentwickler" oder "Marketingmanager", aber er listet keine akademischen Zeugnisse auf. (Ich würde den Teil mit Wissenschaftlern oder Zeugnissen nicht erwähnen, außer dass Zarrella spezifische wissenschaftliche Behauptungen über seinen neuen Dienst aufstellt.)

Der interessante neue Dienst wird als "psychologisches Profiling" vermarktet, das auf dem basiert, was Sie auf Twitter posten. Aber es ist wirklich nur ein Inhaltsanalysedienst, der zwei psychologische Wörterbücher und Ihre letzten 1.000 Tweets verwendet. Zarrella behauptet, diese Analyse "baut ein psychologisches Profil einer Person auf". Eine echte psychologische Profilerstellung ist eine Wissenschaft und wird normalerweise mit viel mehr als nur einem Teil des Lebens einer Person durchgeführt (z. B. dem, was sie in einem Mikroblogging-Dienst schreibt). TweetPsych macht dann die widersprüchliche Behauptung, dass es "nur zu Unterhaltungszwecken" ist. Welches ist es?

Es gibt auch Probleme mit einem der Wörterbücher, die Zarrella in der Analyse verwendet. Ein Wörterbuch - das LIWC - ist eine gültige Datenbank für psychologische Linguistik. Das andere, das English Regressive Imagery Dictionary (RID), ist dies weit weniger. Das RID besteht aus ungefähr 3.200 Wörtern und Wurzeln, die 43 Kategorien von Gedanken und Stimmungen zugeordnet sind. Das Hauptproblem mit dem RID besteht darin, dass es im Grunde keine Forschungsunterstützung gibt (obwohl Zarrella eine Website zitiert, die den Anschein erweckt, als ob dies der Fall wäre). Es wurde von einem einzelnen Fachmann entwickelt, der dann eine Reihe von Büchern darüber und über andere psychoanalytische Prozesse schrieb. Ein Buch ist nicht dasselbe wie ein von Experten begutachteter Artikel in einem Forschungsjournal (wie Forscher wissen), und dem RID fehlt jegliche empirische Unterstützung. Dies deutet darauf hin, dass die Hälfte der Analyse ungültig ist, bevor wir überhaupt beginnen.

Das zweite Wörterbuch, Linguistic Inquiry and Word Count (LIWC), basiert hauptsächlich auf dem geschriebenen Wort - den Schriften der Menschen - oder dem gesprochenen Wort - wie eine Therapiesitzung oder ein Gespräch zwischen zwei Personen. Es wurde nicht entwickelt, um künstlich kurze Einträge mit 140 Zeichen zu analysieren, wie sie auf Twitter zu finden sind. Aufgrund der Zeichenbeschränkung werden beim Twittern Wörter abgekürzt, und es ist nicht klar, dass durch einfaches Stemming alle Wörter, die mit spontanen, nicht standardmäßigen Abkürzungen geschrieben wurden, genau analysiert werden. Was ist auch mit Re-Tweets? Eine Person, die etwas retweetet, spricht nicht unbedingt, sondern fungiert als Sprachrohr für die Worte einer anderen Person. Unterscheidet sich der Service? Ohne das Ausmaß des Problems zu kennen, hätten Sie keine Ahnung, ob Ihre Analyse in irgendeiner Weise künstlich voreingenommen ist (es sei denn, Sie haben diese Art von Problemen zuerst speziell untersucht). Diese Probleme können behoben werden, wurden jedoch in diesem Dienst nicht behoben.

Zarrellas Fähigkeit, schnell 1.000 Tweets zu analysieren und den gesamten darin enthaltenen Text in wenigen Sekunden mit diesen beiden Wörterbüchern zu vergleichen, ist eine bewundernswerte Leistung der Sprachprogrammierung. Die Herausforderung lautet dann: „Wie präsentiere ich die Ergebnisse der Analyse nachdenklich, intuitiv und umsetzbar?“ Dies ist der Teil, in dem TweetPsych einfach nicht liefert.

Da Zarrella anscheinend wenig psychologischen Hintergrund hat, sind die psychologischen Ergebnisse ziemlich unbefriedigend. Sie erhalten eine Liste mit „Merkmalen“ (Ihrer Persönlichkeit? Ihr Tweeten?), Die Dinge wie „Beruf und Arbeit“ enthalten. Daneben steht die hilfreiche Beschreibung „Sie sprechen viel über Jobs und Ihre Arbeit“ und eine Punktzahl.

Danke für den tollen Einblick.

Sie haben keine Ahnung, was die Punktzahl bedeutet, da es keinen Kontext dafür gibt. Ist ein 47.87 für Arbeit gut oder schlecht? Was ist der Durchschnitt? Weitere Funktionen sind "Präsens", "Aufwärtsbewegung", "Positive Emotionen", "Negative Emotionen" und drei Dutzend andere Kategorien.

Dieser Teil der Analyse, der auf dem LIWC basiert, ist auch nur so gut wie das Basiswörterbuch des LIWC. Während Kategorien wie Arbeit, Leistung und Freizeit allesamt „aktuelle Anliegen“ sind, die der LIWC identifizieren kann, gibt es keine Kategorie für so etwas wie „Beziehungsprobleme“. Aber das würden Sie nicht wissen, wenn Sie den LIWC nicht kennen. Dies könnten Sie Personen gegenüber erwähnen, die die Analyse durchführen. Andere beliebte aktuelle Inhalte, über die regelmäßig getwittert wird - wie Politik, Technologie und Berühmtheit - sind ebenfalls nicht Teil des LIWC. Sie werden also nie in der Analyse auftauchen, selbst wenn das alles ist, worüber Sie sprechen. Daher sind die Informationen, die das LIWC - und damit auch TweetPsych - bereitstellen kann, begrenzt. (Die Verwendung eines benutzerdefinierten Wörterbuchs löst einige dieser Probleme, es handelt sich jedoch nicht um ein Wörterbuch, das TweetPsych anbietet.)

Der „Primordial, Conceptual and Emotional Content“ des RID enthält absolut keine Beschreibungen und auch hier nichts, was Ihre Partituren in einen Kontext oder ein Verständnis bringen könnte. Da es sich jedoch zunächst nicht um ein wissenschaftliches Wörterbuch handelt, können Sie die Ergebnisse sowieso so gut wie ignorieren. Sie könnten zufällig entwickelt worden sein und ebenso viele hilfreiche Informationen liefern.

Der letzte Teil der aktuellen Analyse lautet „Andere mögen Sie“, eine häufige Komponente jedes Social-Networking-Dienstes. Seltsamerweise fehlte diese Komponente in der ersten Version dieses Tools. Basierend auf dem, was Sie twittern, wird "Einige Personen, die wie Sie denken" angegeben und anschließend eine Liste anderer Personen angezeigt, die zu TweetPsych gegangen sind und ihren Benutzernamen zur Analyse eingegeben haben.

Natürlich ist es das nicht Menschen, die wie Sie denken - es sind Menschen, die wie Sie twittern. Dies ist eine wichtige Unterscheidung. Ein Dienst, der einen winzigen Teil dessen, was Sie jeden Tag schreiben, analysiert und auf einer Analyse basiert, die möglicherweise durch die weit verbreitete Verwendung von Abkürzungen durch seine Benutzer fehlerhaft ist, kann sicherlich nicht behaupten, zu analysieren, was Sie schreiben denken.

Wie zuverlässig ist TweetPsych? Nun, als ich heute diesen Artikel schrieb, bemerkte ich, dass sich alle Punktzahlen von Dan Zarrella aufgrund eines einzelnen Tweets geändert haben (er hat heute nur einmal getwittert). Sein „Beruf und Arbeit“ -Wert fiel um 20% und sein „Präsens“ -Wert stieg um 16%. Sein abstrakter Gedankenwert ging um 16% zurück. Wie könnte das alles mit nur einem Tweet geschehen? Ein Tweet sollte - verglichen mit seinen 999 anderen Tweets - die Punktzahl nicht so stark beeinflussen. Es sei denn, etwas anderes ist los.(Vergleichen Sie den Screenshot unten, der um 14.55 Uhr ET aufgenommen wurde, mit dem obigen Screenshot, der heute um 9.00 Uhr ET aufgenommen wurde.)

Meine eigenen Ergebnisse bei der Analyse der letzten 1.000 Tweets von Zarrella im LIWC2007-Programm zeigen etwas ganz anderes. Ich kenne Zarrellas Methodik nicht (da er sie nicht geteilt hat), aber ich habe den Text seiner letzten 1.000 Tweets genommen und sie in zwei Formen durch das LIWC verarbeitet - stammend und "wie sie sind". Keiner der beiden produziert Punkte, die dem entsprechen, was auf TweetPsych erscheint. Dies kann daran liegen, dass er eine ältere Version des Wörterbuchs verwendet oder an einer Transformationsvariablen, die er zu TweetPsych hinzufügt und die er nicht veröffentlicht hat. Die Ergebnisse dieser LIWC2007-Analyse können Sie hier anzeigen. (Ich habe in gelben Dingen hervorgehoben, die TweetPsych hervorgehoben hat, und in grünen anderen Bereichen, die von TweetPsych nicht mehr hervorgehoben werden. Beachten Sie den signifikanten Unterschied in der Bewertung.) Sie fragen sich jedoch, was genau mit dem Dienst los ist. Wie nützlich ist es, wenn seine psychometrische Zuverlässigkeit und Gültigkeit fraglich sind?

TweetPsych erhält viel positive Presse, mit nur einem Schuss Skepsis. Josh Lowensohn von CNet schrieb über den Dienst und bemerkte nur beiläufig: „Dies macht es weniger um Psychologie als um Ihr persönliches Lexikon, aber die Ergebnisse sind immer noch recht Spaß." Ja, Spaß! Ben Patterson bei Yahoo! Tech sagte: „Leider sind die psychologischen Profile, die TweetPsych abgibt, nicht die kohärente, narrative Vielfalt, die Sie vom ansässigen Psychiater zu„ Law & Order: Criminal Intent “hören könnten.“ Und dennoch ist eine kohärente Erzählung nicht viel nützlicher als einige unscheinbare Kategorien? Keiner der Reporter oder der Originalartikel über Mashable (wo, überraschend!, Zarrella einen Beitrag leistet) bemerken den Mangel an psychologischem Hintergrund, den Zarrella mitbringt. Keiner verband die Punkte damit, warum die Ergebnisse in ihrer Interpretation so unbefriedigend sind. Anscheinend sind Tech-Journalisten großartig darin, ihre eigenen positiven Pressemitteilungen neu zu verteilen, aber nicht so großartig darin, echte Journalisten zu sein, die sich mit der behaupteten Wissenschaft eines solchen Dienstes befassen.

Natürlich gibt Zarrella selbst zu, dass er nicht viel über den Service nachgedacht hat, wie er dem sagte NY Post"Die Leute lieben es einfach, sich mit anderen Leuten zu vergleichen und zu versuchen, in die Köpfe anderer Leute zu gelangen", sagt Zarrella. "Es ist wie eine Fliege an der Wand bei einer Therapiesitzung." "Eine Therapiesitzung? Ist es wirklich so aufschlussreich, jemanden zu finden, der von „Aufwärtsbewegung“ spricht? In der Eile, den Dienst online zu stellen, stellte Zarrella anscheinend nie die Frage: "Sind diese Informationen tatsächlich nützlich?" Der Dienst, wie er heute existiert, ist ein unvollendeter Gedanke, den nur wenige noch einmal besuchen werden.

TweetPsych hat trotz seiner Einschränkungen die Tür zu zukünftigen Diensten geöffnet, die tatsächlich nutzbare, nützliche und umsetzbare Informationen bereitstellen, die wahrscheinlich eine größere Gültigkeit haben würden. Stellen Sie sich vor, Sie nehmen nicht nur die Tweets einer Person, sondern auch die Informationen, die in ihrem Facebook-Profil, Blog usw. enthalten sind, und lassen sie alle in einer riesigen Analyse-Engine zusammenfassen. Eine solche Engine könnte dann die Fähigkeit haben, echte psychologische Einblicke in eine Person zu gewähren auf was sie online sagen.

Bis zu diesem Zeitpunkt haben wir Neulinge wie TweetPsych, die eigentlich "TweetFun!" Heißen sollten. Denn während es in der Tat Spaß macht, damit zu spielen, bietet es - abgesehen von der flachsten Art - wenig psychologischen Einblick in irgendjemanden.

(Weitere Bedenken zu TweetPsych von Tyler Hayes finden Sie hier.)