Wenn führende Universitäten in Pressemitteilungen ihre Platzierung
in methodisch fragwürdigen Rankings verkünden, dann vergessen sie
dabei ihre eigenen wissenschaftlichen Standards. Ein Gastbeitrag von Gero Federkeil.
Illustration: Mohamed Hassan / Pixabay.
HOCHSCHULEN SIND ORTE, an denen wissenschaftliche Standards und Methoden entwickelt und gelehrt werden. Die nach diesen Standards Forschung betreiben und Forschungsergebnisse auf deren Einhaltung überprüfen.
Doch sobald es gute Rankingergebnisse zu verkünden gibt, scheint wissenschaftliche Qualität für viele Hochschulen, für deren Pressestellen und Rektorate, plötzlich keine Rolle mehr zu spielen. Hauptsache, man kann stolz verkünden, dass man in einem Ranking 57. in der Welt und damit national der beste oder zweitbeste ist – egal, ob dieses Ranking einer kritisch-wissenschaftlichen Überprüfung standhält – oder eben nicht.
Ein besonders eindrucksvolles Beispiel hierfür lieferten jüngst die Reaktionen auf neue Publikationen des kommerziellen QS World University Rankings. Vor einigen Wochen publizierte QS eine Serie von Ranglisten für 51 Fächer von Physik bis zu Kunst und Design, sogar "Theology, Divinity and Religious Studies" wurden präsentiert. Reihenweise verkündeten Universitäten (Fachhochschulen kommen in dem Ranking prinzipiell nicht vor) im In- und Ausland ihre exzellenten Ergebnisse. Zwei Beispiele unter vielen: "Im Bereich Geschichte sind wir deutschlandweit auf Platz 1, weltweit auf Platz 23 – und somit die einzige deutsche Universität in den
Gero Federkeil ist Leiter internationale Rankings am CHE Centrum für Hochschulentwicklung.
Top 25", verkündete die FU Berlin. "Auch in der Archäologie können wir unsere Platzierung behaupten und stehen auf Platz 2 (nach der Eberhard Karls Universität Tübingen)." Und die Universität Erlangen-Nürnberg feierte per Pressemitteilung: "Am besten schneidet die FAU in den Werkstoffwissenschaften ab. Sie belegen weltweit Rang 95, liegen deutschlandweit auf Platz 5 und verfestigen damit ihre exzellente internationale Reputation."
Die Fächerrankings von QS
unterschreiten alle Qualitätsstandards
Internationale Ranglisten in Form einer Bundesligatabelle, die eine Hochschule auf Rang 57 als besser aussehen lassen als eine Hochschule auf Platz 61, sind an sich schon mehr als simplistisch. Doch die Fächerrankings von QS unterschreiten alle Qualitätsstandards noch einmal meisterhaft. Ihnen gemein ist für alle Fächer eine zugrundeliegende sehr geringe Zahl von (maximal vier) Indikatoren, die nur zwei Aspekte des komplexen Leistungsgeschehens an Hochschulen abbilden.
Erstens einen (Teil)-Aspekt der Forschung, nämlich Zitationen (mit der Rate der Zitationen je Paper und dem H-Index), zweitens die Reputation der jeweiligen Hochschule unter Akademiker*innen und Arbeitgeber*innen. Zu anderen wichtigen Funktionen und Leistungen von Hochschulen wie ihrer internationalen Ausrichtung, dem Wissenstransfer, ihrer regionalen Rolle oder gar zu Studium und Lehre erfährt man nichts. Gleichwohl erhebt das Ranking jedoch den Anspruch, Studierenden zu helfen, "zu entdecken, wo sie studieren sollten".
In einigen Fächern, künstlerischen vor allem, werden keine Daten zu Zitationen einbezogen. Je nach Fall tragen dann die beiden Reputationsindikatoren zu 80 bis 100 Prozent (!) des Gesamtergebnisses bei. Mit dem Ergebnis, dass das Ranking kaum noch oder gar nicht mehr faktische Leistungen misst, sondern nur noch den Ruf – und dies mit einer Methodik, die an deutschen Hochschulen wohl kaum als Masterarbeit durchgehen würde.
Einige "Qualitätsaspekte"
des QS-Reputation Surveys
o Die Hochschulen können an QS selbst Listen mit "experts" senden, die in den Survey einbezogen werden. Damit eröffnen sich Hochschulen mit gutem "Reputationsmanagement", um es mal so zu formulieren, Aussichten auf einen hohen Reputationswert. QS macht denn auch auf seiner Webseite seit Jahren keinerlei Angaben zum Sample, zur Beteiligung bzw. zum Rücklauf der Surveys unter Experten und Arbeitgebern. Es gibt indes Hinweise, dass die Rücklaufquote äußerst gering ist: In den Jahren, in denen QS noch Hinweise dazu veröffentlicht hat, lag sie bei unter fünf Prozent. Mittlerweile hat QS die Surveys aus mehreren Jahren zusammengeworfen. Jetzt wird nur noch angegeben, dass die Stichprobe im "academic survey" weltweit rund 130.000 Antworten umfasst, also durchschnittlich gerade einmal 2.549 pro Fach weltweit. Zum Vergleich: Allein Professor*innen in der Humanmedizin gibt es in Deutschland mehr.
o Zum "employer survey" werden über die Stichprobengröße von 75.000 hinaus, die im Mittel auf 1.078 Antworten pro Fach hinausläuft, keinerlei Angaben dazu gemacht, wie die Befragten ausgewählt und welche Arbeitgeber einbezogen wurden. In den großen wirtschaftsnahen Fächern, in denen viele Unternehmen weltweit rekrutieren, kann man sich vielleicht noch vorstellen, dass Arbeitgeber kompetent Auskunft über die Qualität der Absolventen geben können. In Archäologie, Darstellender Kunst, aber auch bei Zahnmedizin versagt meine Fantasie aber. Erst recht bei Absolventen der Theologie fragt man sich, welche Arbeitgeber da international Auskunft geben könnten – bei Hochschulen in christlichen Ländern vielleicht der Vatikan? Oder noch eine Ebene höher? Interessant dann auch die beiden "Sieger" in der Arbeitgeberreputation: Radboud Uni Nijmegen und Al-Farabi Kazakh National University.
o Offenbar haben QS-Rankingmacher selbst eine Ahnung von den Unwägbarkeiten dieses Kristallkugellesens. Sie versuchen dann, im Ansatz dem deutschen Steuersystem nicht unähnlich, Einzelfallgerechtigkeit herzustellen, indem sie eine ganzen Reihe von Gewichtungen und Korrekturen in die Berechnung aufnehmen – die dazu führen, dass der Indikator völlig intransparent wird und letztlich nicht mehr zu erkennen ist, was er wirklich misst und aussagt. Nur einige Beispiele von Anpassungen und Gewichtungen: nach nationaler und internationaler Reputation, nach den Reputationsunterschieden im Fach und in der breiteren Fächergruppe, dem Spezialisierungsgrad der Hochschule, sowie eine Gewichtung der internationalen Nennungen über fünf Jahre.
Rankingwahn macht blind
für Qualitätsstandards
Im Ergebnis ergeben sich dann von einem Jahr zu nächsten zum Teil heftige Sprünge in der Platzierung einzelner Hochschulen, bei der TU Dresden im Bereich Technology und Engineering beispielsweise sage und schreibe 39 Plätze. Wenn wir jedoch eines sicher wissen (auch aus langjähriger Erfahrung aus Studien zur Reputation im CHE), dann, dass Reputation stabil ist und sich nur langsam wandelt. Starke Veränderungen von einem Jahr zum anderen sollte man daher eher zum Anlass nehmen, die Reliabilität der Umfrage zu hinterfragen, anstatt sie zu bejubeln.
Kein Ranking ist perfekt, auch nicht die des CHE (CHE-Ranking, U-Multirank); Methoden und Indikatoren sind immer diskutierbar und auch grundlegende Skepsis gegenüber Rankings ist vielfach nachvollziehbar.
Rankings können aber, wenn sie gut und selbst transparent gemacht sind, zur Transparenz über die Leistungen von Hochschule beitragen. Dazu sollten sie aber methodische Standards einhalten und auf marktschreierische Ranglisten ("Nr. 67 ist besser als Nr. 71") verzichten.
Unter Marketing-Gesichtspunkten ist es verständlich, dass Hochschulen kommunizieren, wenn sie irgendwo gut abschneiden. Trotzdem ist es erstaunlich, wie komplett sie als wissenschaftliche Einrichtungen dabei oft jede Referenz zu methodischen Standards und Qualität aus den Augen verlieren. Der Kognitionspsychologe Daniel Kahnemann unterscheidet zwischen "langsamem Denken", das rational und gründlich ist, und "schnellem Denken", das intuitiv, automatisch und gefühlsgesteuert ist. Sobald es um – positive – Rankingergebnisse geht, egal wie unsinnig die Rankings sind, gewinnt an den Hochschulen offenbar das schnelle Denken allzu oft die Oberhand. Der Entwicklung zu sinnvollen Rankings und Transparenzinstrumenten leisten sie damit einen Bärendienst.
Der Autor dieses Beitrags ist am CHE Centrum für Hochschulentwicklung selbst für ein Hochschulranking verantwortlich (U-Multirank), also bei dem Thema weder neutral noch ein genereller Gegner von Instrumenten, die Transparenz über quantitative Indikatoren herstellen sollen. Er betont jedoch, dass die Hochschulen und die Öffentlichkeit weniger auf simple Ranglisten schauen sollten – zumal, wenn diese keinerlei Qualitätsstandards einhalten.
Kommentar schreiben
na ja (Donnerstag, 12 Mai 2022 08:44)
Da ist man platt. Das CHE gehoert doch selbst zu den Einrichtungen, die das ranking von Universitaeten massiv vorwaerts treiben. Sicherlich mit anderer "Methodik", aber insgesamt mit genauso zweifelhaften Ergebnissen wie diejenigen von THE oder QS. Auch bei CHE kann man die Ergebnisse sortieren lassen nach einzelnen Scores, auch dort gibt es Rangordnungen, die von den Universitaeten in der peinlichsten, marktschreierischen Art und Weise auf ihren Webseiten verkuendet werden. Unter Kollegen schickt man sich das gegenseitig zu und lacht sich tot.
Am Rande:
Ein besonders netter Trick der Ergebnisinterpretation seitens der Marketingabteilungen deutscher Universitaeten besteht uebrigens darin, einen permanenten Abstieg in einem ranking dadurch zu verschleiern, dass auf der Webseite laut verkuendet wird, wieder einmal habe man es geschafft, sich unter den besten 10% zu platzieren, obwohl mehrere hundert zusaetzliche Universitaeten am ranking teilnehmen. Dass diese zusaetzlichen Universitaeten typischerweise zu Feld- Wald- und Wiesenunis gehoeren, die gar keine Konkurrenz bilden, und dass es bei zunehmender Teilnehmerzahl also immer leichter wird, sich unter den ersten 10% zu befinden, wird verschwiegen.
St. L. (Donnerstag, 12 Mai 2022 15:27)
Auch hier gilt das Winston Churchill zugesprochene Bonmot: "Ich traue keiner Statistik, die ich nicht selbst gefälscht habe."
Nach meiner Ansicht werden an deutschen Hochschulen, insb. an deutschen Universität, zwei Sachen fundamental überschätzt: der eigene Internetauftritt und (damit verbunden) der eigene Platz in den diversen Rankings. Überhaupt finde ich, dass die Selbstüberschätzung der deutschen Hochschulen derzeit ein Höchstmass erreicht hat. Da wird tagein tagaus wissenschaftliche Durchschnittsleistung als bahnbrechende Forschung verkauft, und das quer durch alle Disziplinen.
Den tatsächlichen wissenschaftlichen Spitzenleistungen kommt dadurch leider nicht die Bedeutung und Anerkennung zu, die sie eigentlich verdient haben.
na ja (Freitag, 13 Mai 2022 00:14)
@St. L.: ja, genau so ist es. Jeder kleine Publikationspups wird als Pressemitteilung herausgebracht, in peinlicher Zusammenarbeit von ausser Kontrolle geratenen Kommunikationsabteilungen und nach Aufmerksamkeit geiernden Durchschnittswissenschaftlern. Dieser Zustand wird noch schlimmer werden, weil ja Wissenschaftkommunikation allerorten als unbedingt notwendig gehypt wird. Otto Normalverbraucher muss und will angeblich unbedingt "verstehen", was an den Universitaeten in der Forschung passiert.