Mechanischer Türke zur Rettung der Psychologieforschung?
Was ein echtes Problem ist, denn wie ich bereits im August 2010 feststellte, gibt es buchstäblich Tausende von Psychologiestudien, die auf nichts anderem als einer Gruppe von College-Studenten von einem einzigen Campus an einer Universität in den USA basieren, während junge Erwachsene, die das College besuchen, möglicherweise Wenn Sie uns helfen, einige Aspekte des menschlichen Verhaltens zu verstehen, können Sie nicht einfach davon ausgehen, dass die in diesen Studien beobachteten Verhaltensweisen auch für 60-jährige Frauen und Männer gelten.
Rufen Sie zur Rettung den Mechanical Turk-Dienst von Amazon.com auf. Kann Technologie dazu beitragen, das Problem zu lösen, genügend Menschen zu finden, die repräsentativer für die Bevölkerung sind, und dies auf kostengünstige Weise?
Zunächst kann es hilfreich sein zu verstehen, was Mechanical Turk ist. Es ist ein Online-Marktplatz, auf dem Verkäufer menschliche Arbeitskräfte zu sehr günstigen Kosten für eine Online-Aufgabe kaufen können. „Die Website verfügt über eine große, vielfältige Belegschaft von über 100.000 Benutzern aus über 100 Ländern, die täglich Zehntausende von Aufgaben erledigen“, stellen die Forscher fest. Diese Arbeiter werden für jede Aufgabe stückweise bezahlt, manchmal sogar nur 1 Cent. Die Aufgaben variieren und können vom Durchsuchen einer Website nach Fehlern bis zum Ausfüllen von Umfragen reichen.
Ah ja, Umfragen ausfüllen. Ein Großteil der psychologischen Forschung basiert darauf, dass Menschen Umfragen ausfüllen. Wäre es nicht schön, wenn wir Leute - Leute, die keine College-Studenten waren - dazu bringen könnten, dies für weniger als 10 US-Dollar pro Umfrage zu tun ... Sagen wir, 10 Cent?
Buhrmester et al. (2011) wollten herausfinden, ob solche Mechanical Turk-Leute Umfragen auf eine Weise ausfüllen würden, die mit Leuten übereinstimmt, die Sie möglicherweise bitten, etwas Ähnliches von Angesicht zu Angesicht zu tun.
Zunächst untersuchten die Forscher die Demografie von 3.006 Teilnehmern von Mechanical Turk und verglichen sie mit einer großen Internet-Stichprobe, die nicht von Mechanical Turk erhalten wurde. Sie stellten fest, dass die Teilnehmer von Mechanical Turk (MTurk) vielfältiger waren als die Internet-Stichprobe und die Standard-Stichprobe der College-Studenten.
Dann überprüften sie verschiedene Preispunkte (2, 10 und 50 Cent), um eine Reihe von Umfragen auszufüllen, die unterschiedlich lange dauerten (5, 10 und 30 Minuten). Was sie gefunden haben, sollte niemanden überraschen, der MTurk verwendet hat:
Diese Analysen legen nahe, dass Teilnehmer schnell und kostengünstig rekrutiert werden können. Die Teilnahmequoten sind abhängig von Entschädigungsbeträgen und zeitlichen Verpflichtungen. Unsere Ergebnisse zeigen jedoch, dass es möglich ist, über MTurk Stichproben in angemessener Größe für nur US-Dollar zu sammeln. Selbst wenn wir nur 2 Cent für eine 30-minütige Aufgabe anbieten, haben wir 25 Teilnehmer gesammelt (in ungefähr 5 Stunden Posting-Zeit). Darüber hinaus konnten wir durch eine geringfügige Erhöhung der Vergütung (z. B. auf 50 Cent) die gleiche Teilnehmerzahl in weniger als 2 Stunden Postzeit erreichen.
Was nützen billige Arbeitskräfte, wenn sie nicht von guter Qualität sind und nicht den psychometrischen Standards entsprechen, die Psychologieforscher benötigen?
Die Forscher stellten fest, dass selbst bei der niedrigsten Vergütungsstufe von 2 Cent die Zahlungsniveaus die Datenqualität nicht zu beeinträchtigen scheinen. Forscher können ein paar Cent für das Ausfüllen von Umfragen bezahlen und erhalten zuverlässig qualitativ hochwertige Daten zurück.
Die Forscher berechneten für die sechs online verwalteten Persönlichkeitsfragebögen über alle Vergütungsstufen hinweg mittlere Alpha-Zuverlässigkeitswerte. Sie fanden heraus, dass die MTurk-Alpha-Werte innerhalb von zwei Hundertstel eines Punktes der traditionellen Stichprobenalphas lagen. Sie testeten auch Test-Retest-Zuverlässigkeitswerte und fanden den Mittelwert r = 0,88 bei einer Retest-Abschlussrate von 60 Prozent. Dies sind alles sehr gute Zahlen und im Vergleich zu herkömmlichen Methoden günstig.
Das Ergebnis dieser Forschungsstudie legt nahe, dass Mechanical Turk eine zuverlässige Alternative zur Verwendung von Hochschulpopulationen zum Abrufen von Umfragedaten darstellt - und möglicherweise sogar eine bessere Alternative als herkömmliche Internetumfragen. Für nur ein paar Cent füllen die Leute sogar lange Fragebögen aus, um anderen bei ihren Projekten und Forschungen zu helfen. Während mehr Forschung erforderlich ist, um diese Ergebnisse zu bestätigen, scheint MTurk ein Marktplatz zu sein, den mehr Psychologieforscher bei der Vorbereitung ihrer nächsten Studie in Betracht ziehen sollten.
Referenz
M. Buhrmester, T. Kwang & S.D. Gosling (2011). Der mechanische Türke von Amazon: Eine neue Quelle für kostengünstige und dennoch qualitativ hochwertige Daten? Perspektiven der Psychologie, 6 (1), 3-5.
Dieser Artikel enthält Affiliate-Links zu Amazon.com, wo beim Kauf eines Buches eine kleine Provision an Psych Central gezahlt wird. Vielen Dank für Ihre Unterstützung von Psych Central!
