Party-School-Rankings eine voreingenommene, sich selbst erfüllende Prophezeiung?

Die Princeton Review veröffentlicht jährliche „Best of…“ - Hochschullisten, die auf einer jetzt online verfügbaren Umfrage unter Studenten an jedem College basieren. Sie beschreiben den Umfrageprozess als:

Die Princeton Review-Umfrage stellt den Schülern 80 Fragen zu den Akademikern / der Verwaltung ihrer Schule, dem Leben auf dem Campus, der Studentenschaft und sich selbst. Die Ergebnisse der Rangliste dieser Ausgabe basieren auf Umfragen unter 120.000 Schülern (ca. 325 pro Campus) an den 366 Schulen des Buches (nicht an allen Schulen des Landes) in den Jahren 2006 bis 2007 und / oder in den beiden vorangegangenen Schuljahren.

Was alles gut und schön klingt, bis Sie das Kleingedruckte lesen:

Unsere Umfrage ist eher qualitativ und anekdotisch als quantitativ. Um zu verhindern, dass eine für ein bestimmtes College ungewöhnliche Beschreibung erstellt wird, senden wir unserem Verwaltungskontakt an jeder Schule eine Kopie des Profils, das wir veröffentlichen möchten, mit ausreichend Gelegenheit, mit Korrekturen, Kommentaren und / oder direkten Antworten zu antworten Einwände. In jedem Fall, in dem wir Änderungswünsche erhalten, ergreifen wir sorgfältige Maßnahmen, um die Vorschläge der Schule anhand der von uns gesammelten Daten der Schülerumfrage zu überprüfen und gegebenenfalls entsprechende Änderungen vorzunehmen.

Was uns am meisten daran überzeugt, wie repräsentativ unsere Umfrageergebnisse sind, ist Folgendes: Wir bitten Schüler, die an der Umfrage teilnehmen - nachdem sie diese abgeschlossen haben -, die Informationen, die wir im vergangenen Jahr über ihre Schule veröffentlicht haben, zu überprüfen und uns auf ihre Richtigkeit und Genauigkeit zu bewerten Gültigkeit. Jahr für Jahr haben wir gute Noten bekommen: In diesem Jahr gaben 81 Prozent der Studenten an, dass wir richtig liegen.

Im Grunde genommen geben sie zu, dass ihre Umfragedaten ein subjektives, narratives Bild von Hochschulen liefern sollen - keine Dinge, aus denen Sie breite Verallgemeinerungen ziehen können. Und genau das ist es Princeton Review Erlös, der mit ihren Daten zu tun hat - ziehen Sie breite Verallgemeinerungen aus ihren Umfragen und bewerten Sie die Colleges quantitativ. Die Colleges selbst können einen unbekannten zusätzlichen Einfluss darauf ausüben, ob ihre Schule auf einer bestimmten Liste erscheint.Wenn der Ranking-Prozess weniger transparent und geheimnisvoll erscheint, ist dies absichtlich der Fall.

Wie können Forscher anekdotische Daten in quantitative Daten umwandeln? Wissenschaftlich gesehen ist dies nicht möglich (z. B. gibt es kein forschungsbasiertes Verfahren, da es sich buchstäblich um einen Vergleich von Äpfeln oder Orangen handelt). Wenn eine Organisation wie diese etwas in dieser Art tut, können Sie argumentieren, dass solche Rankings nur die Meinungen der Personen sind, die die Liste zusammengestellt haben, basierend auf den Meinungen anderer Personen derjenigen, die die Schule tatsächlich besucht haben.

All das wäre in Ordnung, außer dass die Rezension fügt all diese Dinge in Listen ein, die darauf hindeuten, dass sie eine verallgemeinerbare Bedeutung haben, wenn sie dies nicht tun. Die Liste der "Top 20 Party Schools" ist nichts anderes als die Meinung einiger Leute, die auf einer "Kombination von Umfragefragen zum Alkohol- und Drogenkonsum, zu den täglichen Lernstunden und zur Popularität des griechischen Systems" basiert. Sie hätten genauso gut eine andere Reihe von Antworten auswählen können, um die Rangfolge der Schulen anders zu verzerren.

Größere Schulen mit größeren Schülergruppen unterscheiden sich wahrscheinlich nicht wesentlich in Bezug auf die Größe ihres griechischen Systems (groß) und die Vielzahl sozialer und anderer nicht-akademischer Möglichkeiten, die sie ihren Schülern bieten (was zu weniger Unterrichtsstunden pro Tag führt). . Macht das eine solche Schule eher zu einer „Partyschule“, wenn man sich ansieht, was die Schüler sagen, wie viel sie trinken? Natürlich nicht. Es kann nur bedeuten, dass die Schule ein großartiger Ort ist, um zu lernen und Kontakte zu knüpfen.

Ein Poster, das am vergangenen Wochenende auf der APS vorgestellt wurde und den Titel "Selbstverwirklichende Prophezeiung und Princeton Review: Beschreibungen oder Rezepte für das Trinken im College?" Setzen Sie den Vorschlag in meinen Kopf, der wie der misst Princeton Review haben eine fragwürdige Gültigkeit. Die Forscher untersuchten die tatsächlichen Daten zum Alkoholkonsum über ein Jahrzehnt für eine einzelne mittelgroße Universität im Westen von New York und verglichen sie mit verschiedenen verwandten Rankings in der Princeton Review. Sie fanden die Rangliste in der Princeton Review hat keine systematische Korrelation mit den von ihnen untersuchten Alkoholkonsumdaten. Was sie fanden, war, dass die Daten zum Alkoholkonsum mit den veröffentlichten Rankings nach ihrer Veröffentlichung korrelierten - was auf eine Art sich selbst erfüllende Prophezeiung hindeutet.

Die Forscher stellten fest, dass, da ihre Studie nur an einer Universität durchgeführt wurde, die Forschung an anderen Hochschulen und Universitäten wiederholt werden müsste, bevor man die Ergebnisse verallgemeinern könnte. Trotzdem sind die Ergebnisse interessant.

Referenz:

Clark, C.D. et. al. (2008). Sich selbst erfüllende Prophezeiung und Princeton Review: Beschreibungen oder Rezepte für das Trinken im College? Poster präsentiert auf der 20. Jahrestagung der Association for Psychological Science, Chicago IL, 24. Mai.