"Die meisten reagieren neugierig"

Henrike Hartmann. Credit: Mirko Krenzel für VolkswagenStiftung

Frau Hartmann, der Wissenschaftsrat (WR) hat jüngst in einem Positionspapier eine Neuorientierung bei wissenschaftlichen Begutachtungen gefordert. "Mit einer Mischung aus behutsamen Veränderungen und mutigen Experimenten sollte es uns gelingen, das Begutachtungswesen krisenfest für die Zukunft zu machen“, erläuterte die WR-Vorsitzende Martina Brockmeier im ZEITChancen Brief. Die beiden wichtigsten Reformvorschläge dürften Ihnen bekannt vorgekommen sein, oder?

Sie meinen die im Positionspapier erwähnte Zufallsauswahl und das, was der Wissenschaftsrat als „Wild Card“ bezeichnet. Bei uns heißt die Wild Card Förderjoker. Beide Begutachtungsinstrumente setzen wir in unserer Förderinitiative „Experiment! – Auf der Suche nach gewagten Forschungsideen“ ein: die Wild Card seit Beginn der Initiative 2014, das Losverfahren erstmals in diesem Jahr. 

Und? Funktionieren die Ideen so gut, wie der Wissenschaftsrat es hofft?

Unsere Erfahrungen sind sehr vorläufig. Es wurde auch im Kuratorium der VolkswagenStiftung lange diskutiert, ob wir Förderjoker und Losverfahren überhaupt einsetzen sollen. Was aber von Anfang an klar war: Wenn wir es machen, müssen wir die gemachten Erfahrungen systematisch auswerten in Form einer Begleitforschung, deren Ergebnisse dann allen Förderorganisationen zur Verfügung stehen. Bis dahin dauert es allerdings einige Vergaberunden, und selbst dann werden wir sicherlich keine statistisch signifikanten Aussagen machen können. Dafür sind die Fallzahlen wohl zu gering. 

Können Sie das mit den Fallzahlen konkretisieren?

In den bisher fünf Vergaberunden von „Experiment!“ haben wir 96 Projekte in die Förderung aufgenommen, davon elfmal auf der Grundlage eines Förderjokers. Jeder Gutachter hat pro Vergaberunde einen Joker. Eingesetzt wird er, wenn die Mehrheit der Gutachter einen Antrag für nicht gut genug befindet, aber mindestens einer sagt: Ich finde den trotzdem super, dieses Projekt muss unbedingt gefördert werden. Was seltener vorkommt, als man denken könnte. Die Gutachter sind durch das bisherige System offenbar weitgehend so sozialisiert, dass sie möglichst einen Konsens suchen. Interessant ist, dass wir bislang keinerlei Indiz dafür haben, dass die durch einen Joker ausgewählten Projekte sich wissenschaftlich schlechter entwickeln. 

Und wie finden die Wissenschaftler selbst, dass ihr Projekt durch ein Einzelvotum ausgewählt wurde, obwohl die Mehrheit der Gutachter dagegen war?

Sie erfahren es gar nicht. Die einzigen, die wissen, welches Projekt warum bewilligt wurde, sind die Gutachter selbst, die Begleitforscher und natürlich wir in der Stiftung. Beim Losverfahren ist das genauso.

Weil sonst andere Wissenschaftler den Geförderten vorhalten könnten, sie verdankten ihren Erfolg nur einer „Lotterie“? 

Das könnte in der Tat eine Belastung sein. Auf jeden Fall müssen wir fragen: Was bedeutet das für die Reputation eines Förderprogramms, wenn keiner weiß, auf welcher Grundlage die Gelder bewilligt wurden, ob per Joker, Losverfahren oder, was auch bei „Experiment!“ immer noch für die Hälfte und in diesem Jahr für die Mehrheit der Projekte gilt, per Peer Review? Dazu müssen die Wissenschaftler und Forschungseinrichtungen erst eine Haltung entwickeln.

Was bekommen Sie derzeit für Rückmeldungen aus der Szene?

Die meisten reagieren neugierig, nach dem Motto: Endlich traut sich da mal einer ran. Doch den Einfluss unseres Versuchs auf das Positionspapier des WR würde ich deshalb nicht überbewerten. Wir wurden vom WR nach unseren Erfahrungen gefragt, das schon, aber die Ideen stammen von den Ökonomen Margit Osterloh und Bruno Frey, die solche Veränderungen im Begutachtungssystem schon länger vehement gefordert haben. 

Wie viele Förderentscheidungen sind bei Ihnen schon per Los gefallen?

In der vergangenen Sitzung, in der das Losverfahren zum ersten Mal zum Einsatz kam, haben wir insgesamt 594 Förderanträge bearbeitet. Vier Fünftel davon haben wir schon in einer hausinternen Vorauswahl und nach Rücksprache mit den Gutachtern herausgenommen, aus formalen Gründen oder wegen offensichtlicher Schwächen. 119 erreichten die Shortlist, über die die Jury dann diskutiert hat. Aus diesen 119 haben die Gutachter zunächst 17 herausragende Vorhaben ausgewählt. Danach wurden von ihnen 34 einvernehmlich als nicht exzellent genug ausgeschlossen. Die restlichen 85 kamen in die Lostrommel, aus der ebenfalls 17 Anträge gezogen wurden. Weil von den zuerst ausgewählten Vorhaben fünf zugleich Losglück hatten, kamen wir am Ende auf insgesamt 29 Bewilligungen. 

Der WR argumentiert, das Losverfahren könne besonders dann helfen, wenn die Zahl der Antragsteller hoch liege und damit die zu vergebenden Fördermittel sehr knapp seien. Bei den von Ihnen zitierten Zahlen sieht es aber nicht so aus, als hätten die Gutachter die Antragsflut nicht auch auf herkömmlichem Weg bewältigen können. 

Die Last der Gutachter zu reduzieren darf nicht die Hauptmotivation sein. Es kann auch nicht darum gehen, das Peer-Review-Verfahren abzulösen oder zu beschädigen. Aber wir stellen fest, dass Gutachter immer wieder einem impliziten Bias unterliegen, selbst wenn die Verfahren doppelt anonymisiert ablaufen, also die Gutachter zum Beispiel nicht wissen, ob die Antragsteller Männer oder Frauen sind. In solchen Fällen haben Frauen trotzdem offenbar schlechtere Erfolgschancen. Zum anderen kann unsere Gutachterkommission, die aus acht oder neun Leuten besteht, naturgemäß nicht die gesamte Breite wissenschaftlicher Disziplinen abdecken. Schließlich war unsere Fragerichtung: Wie stellen wir sicher, dass Projektthemen, die am Rande der Jury-Expertise liegen, nicht zu schnell hinten runterfallen? Kriegen wir mit dem Losverfahren eine größere Vielfalt in die Förderung, ohne dass es zu Qualitätseinbußen kommt?

Als Grund für Losverfahren wird auch genannt, dass die Qualität der Anträge eben oft nicht so eindeutig in „toll“ und „mäßig“ abzugrenzen sei. 

Wer behauptet, er könne so eine Antragsflut exakt nach der Qualität ordnen und dann den fairen Cut machen zwischen den Geförderten und denen, die leer ausgehen, sagt nicht die Wahrheit, zumindest wenn budgetäre Festlegungen den Rahmen bestimmen. Das führt nur allzu oft in eine Grauzone mit dem Trostpflaster „Approved, but not funded“. 

Und um diese Grauzone geht es?

Genau. Wenn die Gutachter etwas können, dann die paar wirklich exzellenten Projekte aus der Masse herauszufiltern. 

Und was ist mit den richtig schlechten?

Den echten Schrott auszusortieren, fiel den Gutachtern tatsächlich schwerer. Das ist normalerweise nicht ihre Perspektive, weil sie nur auf die absolut Besten schauen, aber für das Losverfahren war auch das Aussortieren am unteren Ende wichtig. Wir wollen als Stiftung ja nicht, dass am Ende Projekte durchkommen, die unseren Ruf als Forschungsförderer beeinträchtigen. Und den Projekten, die schließlich übrigbleiben, gibt das Losverfahren den benefit of the doubt. Aus Sicht der Gutachter ist es nicht trivial, da loszulassen und sich auf so ein Verfahren einzustellen. 

Und wie leicht fiel Ihnen als Stiftung das Loslassen?

Klar ist das für uns auch ein Wagnis, ein Test. Darum haben wir ja auch bei einem kleinen Förderprogramm angefangen. Die 120.000 Euro pro Projekt, die es bei „Experiment!“ gibt, sind im heutigen, von kollektiven Großformaten geprägten Drittmittelmarkt vergleichsweise wenig. Bei unseren „Freigeist“-Fellowships, die mit je einer Million Euro dotiert sind, würden wir Joker und Losverfahren zurzeit auch nicht einsetzen. Wir glauben, dass die neuen Verfahren in vielerlei Hinsicht die Auswahlverfahren bereichern. Aber zu dem Glauben muss jetzt erst noch die Evidenz kommen.