Schlechte Wissenschaft: MyType iPad Research
In der vergangenen Woche hat MyType, eine Facebook-Persönlichkeitsanwendung, die Ihre Daten erfasst und dann aggregierte Berichte basierend auf Ihren Antworten auf das Quiz verkauft, einen Bericht über das iPad veröffentlicht. Sie schlugen vor, dass iPad-Besitzer und diejenigen, die eine kaufen wollten, „egoistische Eliten“ waren, während diejenigen, die iPad-Kritiker waren, als „unabhängige Geeks“ charakterisiert wurden.
Sie können bereits erkennen, dass dies keine wissenschaftliche Analyse sein wird, oder?
Zunächst einmal berichtet MyType über die Ergebnisse. Was im aktuellen Bericht nicht enthalten ist, sind die tatsächlich verwendeten statistischen Tests, die statistische Signifikanz (p-Werte) und die Anzahl der Probanden in jeder untersuchten Gruppe. Sie wissen, nach welchen grundlegenden Daten andere Forscher suchen, um die präsentierten Ergebnisse zu bewerten. Ohne diese grundlegenden Informationen ist diese Art der „Forschung“ nicht besser als eine Abschlussarbeit für ihre Klasse Psychologie 101.
Eine Person namens John Hall hat sie in ihrem Kommentarbereich darauf hingewiesen. Zu diesem Zeitpunkt gaben sie umfassende Aussagen zu p-Werten ab (aber auch hier keine Einzelheiten, die jede Analyse aufschlüsseln, was Sie auf dem Markt oder in der Wissenschaft erwarten würden Forschung). Dr. F hat versucht, die MyType-Leute über die grundlegende statistische Theorie aufzuklären, da sie anscheinend nicht viel darüber wissen, wie man eine gute Forschungsstudie entwirft.
Aus dem Kommentarbereich geht auch hervor, dass jemand die Kommentare bearbeitet, um Dinge zu entfernen, die er später bereut hat. John Hall zitiert anscheinend Tim Koelkebeck und sagt, dass er aufgrund seines Informatik-Abschlusses (anscheinend eines Bachelor-Abschlusses) in Bezug auf Forschungsdesign und -methodik sowie Statistik irgendwie qualifiziert ist. Seltsam.
Das größte Werbegeschenk dafür, dass dies keine ernsthafte Forschungsstudie ist, sind die Adjektive, die zur Beschreibung der beiden Personengruppen ausgewählt wurden. Sie nahmen einige willkürliche Persönlichkeitsmerkmale, um jede Gruppe zu beschreiben. Sie hätten genauso gut sagen können, dass Nicht-iPad-Besitzer neurotisch, unsicher, stolz und nachlässig sind. Ist das jedoch eine legitime Charakterisierung von Nicht-iPad-Besitzern? Natürlich nicht, das zeigt nur ihr winziger, voreingenommener Datensatz. Angesichts der Tatsache, dass der Geruchstest nicht einmal bestanden wurde, hätten die meisten Forscher innehalten müssen, um sich zu fragen, ob sie den falschen Weg eingeschlagen haben.
Nach ihren eigenen Daten hätten sie iPad-Kritiker als intolerant charakterisieren können, Nächstenliebe und Freundschaft nicht mögen, aggressive und zynische Teenager. Wow, keine Überraschung - Sie müssten herausfinden, ob Geschlecht oder Alter diese Ergebnisse verzerren (und eine alternative Erklärung zu den angegebenen Merkmalen anbieten). Die „Forscher“ hätten iPad-Besitzer auch als familienorientierte, intelligente und leistungsstarke Erwachsene bezeichnen können, die sowohl einfallsreich als auch anspruchsvoll sind.
Aber sie haben es nicht getan. Sie versuchten, eine Reihe unterschiedlicher Merkmale in eingängigen Marketing-Phrasen zusammenzufassen, um Schlagzeilen zu machen - Phrasen, die weder besonders genau noch wissenschaftlich gültig waren. Das hat Dutzende legitimer Mainstream-Nachrichtenagenturen wie CNET, ZDNet und sogar Wired nicht davon abgehalten, über die Ergebnisse zu berichten, ohne eine Augenbraue über den Mangel an wissenschaftlicher Genauigkeit oder Methode zu ziehen.
