Bitte weniger Bling Bling

Das U-Multirank wird von seinen Machern als das bessere
Ranking gefeiert. Dabei zeigt auch diese Hochschul-Rangliste massive Schwächen. Ein Gastbeitrag von Gerd Grözinger.

GERADE WURDE DIE NEUE WELLE des U-Multirank (UMR) veröffentlicht. Das ist ein weltweites hochschulbezogenes Ranking entlang mehrerer Dimensionen wie "Teaching and Learning", "Research", "Knowledge Transfer", "International Orientation", "Regional Engagement". Erstellt wird es von einigen europäischen Schergewichten der institutionellen Hochschulforschung wie etwa in Deutschland dem CHE. 

Die Medienberichte über das Projekt sind durchgängig positiv. So lobt der ZEITWissen3-Newsletter die dadurch erreichte bessere Tiefenschärfe bei der Leistungsbewertung. Und natürlich kommt allerlei Marktgeschrei von den relativen Gewinnerhochschulen. Es dominieren Schlagzeilen wie: "U-Multirank 2022: Universität Hohenheim erringt Spitzenplatz in der Forschung", "Top-Noten für HTW und Saar-Uni", "HM punktet mit regionalen Kooperationen, Wissenstransfer und pädagogischer Kompetenz", "Top Bewertungen für die Universität Bayreuth im U‑Multirank", "Uni-Siegen erreicht Spitzenwerte im internationalen Vergleich" und so weiter und so weiter.

Ich habe mir deshalb vom UMR schon vor drei Jahren die damaligen Ausgangsdaten geben lassen und bin dabei auf eine Vielzahl unglaubhafter und falscher Werte gestoßen, die das ganze Vorhaben als wenig solide erschienen ließ (QiW, Heft 4, 2020). Meine Frage heute: Haben die UMR-Macher:innen aus der Kritik gelernt und ist die neue Version vielleicht besser? Ich werde das anhand zweier Größen diskutieren, einmal der Repräsentativität und dann der Datenzuverlässigkeit. Wieder sind die vom UMR-Team auf Anfrage zur Verfügung gestellten Ausgangsdateien, diesmal für 2022, die Grundlage zur Beantwortung dieser Fragen, wobei sie zumeist nicht die wirklichen Rohdaten enthalten, sondern die bereits errechneten Relationen (etwa den Anteil der Masterabschlüsse in der Regelstudienzeit).

Repräsentativität und Vermeidungsstrategien

Das UMR lobt sich für seine weltweite Relevanz, weil es das Sample mit jeder Welle etwa auszubauen in der Lage war und aktuell immerhin 2.201 Einrichtungen zur Mitarbeit bewegen konnte. Man würde also annehmen, dass diese den Fragebogen vollständig ausgefüllt hatten mit Ausnahme der Fälle, wo eine Fragestellung nicht zutrifft (zum Beispiel die nach Patenten bei einer geisteswissenschaftlichen Spezialisierung). Stimmt aber nicht. Gerade einmal eine Handvoll von Hochschulen hat tatsächlich Werte für alle der gut 40 Variablen, für die das UMR Positionsgruppen errechnet, zur Verfügung gestellt. Es wurden wohl eher nach Lust und Laune oder strategischen Überlegungen Teile des Fragebogens ausgefüllt oder eben nicht. Die Quote der brauchbaren Angaben schwankt stark und beträgt nicht selten nur zwischen einem Viertel und einem Fünftel oder noch weniger. Warnende Hinweise auf dieses selektive Verhalten sucht man im UMR vergebens. Dabei geht man sicher nicht falsch mit der Vermutung, dass etliche Hochschulen vor allem dann keine Informationen preisgeben, wenn sie diese als eher schwach einschätzen. In dem Fall aber wäre das Ergebnis systematisch verzerrt und eine Gruppierung der verbleibenden Werte gäbe kein vernünftig interpretierbares Bild ab.

Diese Vermeidungsstrategie ist nicht nur bei vielleicht weniger gewichtigen Größen wie der regionalen Verankerung zu beobachten, sondern auch in Kernbereichen. Die Bachelor Graduation Rate (BGR) kann als der zentrale Erfolgsindikator im Bereich "Teaching and Learning" angesehen werden. Trotzdem haben über 40 Prozent der Hochschulen es vorgezogen, hier lieber keine Angaben preiszugeben. Den Vogel schießt dabei China ab. Von den 146 teilnehmenden chinesischen Universitäten hat bei dieser Variablen nur eine einzige Daten geliefert Aber auch die 106 deutschen Einrichtungen im UMR stellen keine besonders rühmliche Ausnahme dar. Nur 68 haben ihre BGR angegeben. Wer die Berichtspflichten unserer Universitäten für die amtliche Statistik kennt, weiß, dass es für Präsidien/Rektorate eine Kleinigkeit ist, die dafür nötigen Informationen zu besorgen. Offensichtlich ist man aus anderen Gründen scheu. Aber von denen, die Daten gemeldet haben, stimmen dann diese zumindest?

Datenzuverlässigkeit und Merkwürdigkeiten

Aus dem UMR-Indikatorenbuch lässt sich entnehmen, dass die BGR aus den Examenskohorten 2018 bis 2020 besteht, die in Bezug gesetzt werden zu den Bachelor-Erstsemestern der Regelstudienjahre vorher plus späteren Einschreibungen. Im Ergebnis gibt es eine echte Sensation. Denn der weltweite Gewinner kommt tatsächlich aus Deutschland! Es ist die private Psychologische Hochschule Berlin. Hier haben nicht weniger als glatte 100,0 Prozent ihr Studium erfolgreich abgeschlossen. Bravo! Und sie haben diese erstaunliche Leistung sogar zu 100,0 Prozent in der Regelstudienzeit geschafft. Noch mal Chapeau! Aber ein genauerer Blick lässt Zweifel aufkommen. An der Hochschule gibt es nämlich einen Bachelor erst seit 2018, also keine regulären Absolvent:innen im UMR-Examenszeitfenster. In der Berliner Statistik für 2018 bis 2020 finden sich zwar einige erfolgreiche Bachelorabschlüsse, ganze 3. Das sind offensichtlich Quereinsteiger:innen im höheren Semester, die keinerlei Aussage erlauben, wieviel von einer Beginnerkohorte abschließen und in welchem Zeitraum. Das hätte dem UMR, dem die absoluten Angaben ja vorliegen, auffallen müssen.    

Dabei heißt es eigentlich mit großem Stolz über den Umgang mit den beantworteten Fragebögen: "Data are then intensively checked by the U-Multirank team, applying both automated and manual checks for consistency, plausibility (including checks of outliers) and missing data." Ist die Ansage einer strengen Qualitätsprüfung mit angeblich mehreren Rückkopplungsschleifen doch eher Marketingblabla denn eine zuverlässige Beschreibung des Vorgehen?

Vielleicht handelt es sich aber auch um ein einmaliges Versehen, könnte man denken. Aber nein: Den übernächsten Spitzenplatz in der BGR nimmt eine US-Hochschule ein. Das Interessante ist, dass bei diesem Land viele Daten vom UMR angeblich direkt aus der dortigen vorzüglichen amtlichen Statistik entnommen wurden. Die weltweit drittplatzierte University of Miami kommt im Datensatz auf fantastische 99,8 Prozent Erfolgsquote. Wenn man aber den College Navigator  befragt, sieht das anders aus. Das ist die Webseite des National Center for Education Statistics, die für jede einzelne Hochschule eine Vielzahl vergleichbarer Daten enthält. Und hier gibt es beim Bachelor den Indikator der "First-Time, Full-Time Students", die in maximal 150 Prozent der Regelstudienzeit abschlossen. Das Ergebnis für Studienbeginn 2015:  Insgesamt schafften das 91 Prozent und 73 Prozent für den vierjährigen Standardabschluss. Keine schlechten Werte, aber doch erheblich weniger als die UMR-Quote von 99,8 Prozent.

Und die US-Daten im UMR zeigen noch eine Merkwürdigkeit auf. Von den 343 dortigen Hochschulen im Sample haben nur etwas mehr als die Hälfte, nämlich 198, überhaupt eine BGR-Angabe eingetragen. Der College Navigator, da auf einer amtlichen Statistikvorschrift beruhend, hingegen ist vollständig. So ist die Boston University mit einem fehlenden Wert im UMR-Datensatz zu finden. Der College Navigator zeigt jedoch mit wenigen Klicks eine BA-Erfolgsquote von 92 Prozent (und von 84 Prozent für den 4-Jahres Bachelor).

Das UMR-Konsortium sollte sich eine Pause verordnen

Das UMR enthält eine Vielzahl von Variablen, die sich oft kaum von außen überprüfen lassen. Und da, wo es wenigstens teilweise möglich ist, findet man viele falsche Werte. Womöglich ist es zu viel verlangt, von Hochschulen Ehrlichkeit zu erwarten, wenn Reputation und letztlich die Finanzen davon abhängen. Gerade wird die US-Hochschulszene wieder von einem diesbezüglichen Skandal erschüttert. Im berühmtesten Ranking, dem von US News and World Report, war die Columbia University in New York eigentlich auf Platz 2 gelandet, für eine Ivy League-Einrichtung nicht unangemessen.  

Ein Mathematiker der eigenen Fakultät hat sich dann aber die Zahlen vorgenommen und viel Unplausibles und Geschöntes entdeckt. Die Universitätsleitung gab sich zunächst empört, musste dann die Daten zurückziehen und nimmt dieses Jahr am Ranking nicht mehr teil. Man wünscht sich, dass sich auch das UMR-Konsortium eine Pause verordnet. Es könnte die Auszeit nutzen, um selbstkritisch die eingesetzte Methodik zu reflektieren, künftig Qualität vor Masse zu setzen und offensiver die Grenzen solcher Rankings zu thematisieren. Mehr Seriosität, weniger Bling Bling.