"Es bleibt ein Fragezeichen"

ALS KURZ VOR Weihnachten die Ergebnisse der aktuellen Pisa-Studie veröffentlicht wurde, hagelte es Kritik. Die Frankfurter Allgemeine Zeitung schrieb, die Pisa-Macher hätten die Vergleichbarkeit der aktuellen Ergebnisse mit früheren Runden aufs Spiel gesetzt. Mein Kollege Thomas Kerstan von der ZEIT meinte sogar, wegen der neuen Methode wisse keiner "genau, ob die deutschen Schüler im Vergleich zu 2012 besser oder schlechter geworden sind." Damit stehe eigentlich nur ein Verlierer der Studie fest: "die Studie selber." Der Grund für die Aufregung: Die Pisa-Macher hatten technisch aufgerüstet. Erstmals mussten die 15 Jahre alten Schüler die Aufgaben anstatt mit Stift und Papier am Computer lösen. Frank Goldhammer vom Deutschen Institut für Internationale Pädagogische Forschung (DIPF) ist Experte für computerbasiertes Testmethoden. Er sagt, was dran ist an den Vorwürfen.

Herr Goldhammer, hat die OECD als internationale Organisation hinter der Pisa-Studie ohne Not deren Ruf aufs Spiel gesetzt?

Die OECD hatte gute Gründe, von Papier auf Computer umzustellen. Die technischen Möglichkeiten schreiten auch im Einsatz digitaler Unterrichts- und Prüfungsmethoden voran, das ist die Zukunft. Warum sollte also bei den internationalen Vergleichstests alles beim Alten bleiben? Stattdessen können wir durch computerbasierte Studien mehr über die Kompetenzen der Getesteten erfahren. Wir gewinnen Erkenntnisse darüber, wie schnell Aufgaben gelöst werden und wer sich wo besonders schwertut. Das hilft uns außerdem, die Tests noch besser und zielgenauer zu machen.

Aber stimmt es denn nun: War Pisa 2015 deshalb nicht vergleichbar mit 2012?

Wir sprechen von so genannten Moduseffekten bei der Umstellung von Papier auf Computer. Dass die existieren, wissen wir nicht erst seit Pisa 2015, sondern dazu forschen meine Kollegen und ich schon seit vielen Jahren. Die Frage ist, wie man mit ihnen umgeht. Nehmen wir zum Beispiel das Leseverständnis. Wenn ich am Bildschirm am Text entlangscrollen muss, anstatt ihn einfach auf dem Papier vor mir zu haben, bedeutet das für viele der Getesteten eine zusätzliche Herausforderung. Das gleiche gilt für die Veränderung des Layouts von oben nach unten zu einem mehr horizontalem Format. Und auch die Navigation zwischen Text und Aufgaben ist unter Umständen eine andere, wenn man am Bildschirm hin- und herspringen muss. Die entscheidende Frage für den internationalen Vergleich ist: Fallen die Moduseffekte von Land zu Land gleich aus, oder fällt zum Beispiel den deutschen Schülern die Umstellung besonders schwer?

Das heißt: Solange die neue Art, getestet zu werden, für alle Teilnehmer die gleiche Herausforderung bedeutet, heben sich die Effekte gegenseitig auf, und die Ergebnisse bleiben vergleichbar?

Zumindest was die Ergebnisse zwischen den Ländern in der aktuellen Studie angeht, also 2015. Das war die Annahme der OECD. Ich halte es aber für denkbar, dass es Unterschiede von Land zu Land gegeben hat. Jedenfalls wurde das bei Pisa nicht breit untersucht. Was für mich heißt: Solange man es nicht empirisch ausgeschlossen hat, muss man es für möglich halten.

Weil in deutschen Schulen Computer weniger eingesetzt werden als in anderen Ländern?

Mein Team und ich waren in der Pisa-Studie verantwortlich für einen Fragebogen zur Computervertrautheit, bei dem es auch um die Selbstwahrnehmung ging, also um die Frage, für wie kompetent man sich selbst im Umgang mit dem Computer hält. Die Ergebnisse sind noch nicht veröffentlicht. Was man zumindest auf Basis der internationalen IEA-Studie ICILS sagen kann: In anderen Staaten äußern sich die Schüler selbstbewusster als bei uns. Ansonsten sind die Ursachen von Moduseffekten in Pisa empirisch nicht eingehend untersucht. Es ist aber plausibel, dass die Vertrautheit mit Computern, was in Pisa Desktop-Computer beziehungsweise Laptops mit Maus und Tastatur waren, eine Rolle spielt.

Und wieso kann dann die OECD behaupten, die Folgen der Umstellung seien nicht so groß?

Weil auch sie stichhaltige Argumente anführt. Wieder das Beispiel Leseverständnis: Wenn ich weiß, dass Leseaufgaben am Computer anspruchsvoller sind, dann kann ich die Testergebnisse entsprechend gewichten gegenüber den auf dem Papier gelösten Aufgaben. Anders formuliert: Ich rechne den Unterschied heraus und mache die Ergebnisse wieder vergleichbar.

Wofür ich die Stärke des Effekts aber genau kennen müsste.

Exakt. Hier bleibt ein Fragezeichen in der Argumentation beziehungsweise bei den Annahmen der OECD.

Warum hat Deutschland überhaupt mitgemacht bei der Umstellung? Immerhin gab es die Option, dass die Pisa-Teilnehmerstaaten weiter die Papiermethode wählen.

Diese Option gab es, aber es wurden für den papierbasierten Teil keine neuen Aufgaben mehr entwickelt. Nicht nur deshalb war diese Option mit Verlusten verbunden. Wie ich schon sagte, ermöglicht das computerbasierte Testen neue, interaktive Aufgabentypen. Am Ende ist es ja so: Selbst wenn die Vergleichbarkeit der aktuellen Pisa-Studie im Verhältnis zu früheren Jahren etwas eingeschränkt gewesen sein sollte, bieten computerbasierte Testmethoden einen so großen zusätzlichen Erkenntnisgewinn, dass es diesen Preis wert wäre.

Sie sagen das immer so. Machen Sie es mal konkret.

Internationale Vergleichstests leiden unter einem Kernproblem: Im Gegensatz zu normalen Prüfungen bringt ein gutes Ergebnis dem Getesteten persönlich keinerlei Vorteil. Also ist die Motivation, sich richtig anzustrengen, im Schnitt geringer. Mit der Antwortzeit einer Person können wir aber unmotivierte Antworten erkennen, nämlich solche, die zu schnell für eine vernünftige Antwort sind, und dann ausschließen. Forschungsergebnisse geben außerdem Anhaltspunkte, dass das Aufgabenlösen am Computer als attraktiver wahrgenommen wird. Unter anderem dank ihrer möglichen Adaptivität. Das heißt: Der Computer richtet sich nach der Qualität meiner vorgehenden Antworten, wenn er die nächste Aufgabe heraussucht, was die Sache für mich persönlich spannender macht. Ich werde nicht unterfordert.

Genau wie das Gegenteil, wenn die Getesteten ständig das Gefühl hatten, keine Frage richtig beantworten zu können.

So ist es. Überforderung hat bei papierbasierten Tests in der Vergangenheit zu Motivationsproblemen geführt. Und wenn man weiter in Richtung von Interaktivität und Adaptivität denkt, erkennt man ein noch größeres Potenzial durch das computerbasierte Testen. Sagen Sie mal ehrlich: Sind die gegenwärtigen Pisa-Aufgaben spannend genug im Verhältnis zu den Apps, mit denen Schüler sonst so ihre Freizeit verbringen? Das ist eine Frage, die in der Bildungsforschung aktuell diskutiert wird, der Trend zur so genannten Gamification, zu „serious games“: Wie kann man Test- und Lernaufgaben so gestalten, dass die als Teil einer Spielsituation wahrgenommen werden, die einen herausfordern, das zu zeigen, was man wirklich kann und weiß?   

Das klingt überzeugend. Aber denkt man weiter in die Richtung, wäre die Vergleichbarkeit mit früheren Testrunden endgültig flöten.

Nein, natürlich möchte man bei wiederholten Messungen die Vergleichbarkeit beibehalten. Darum wird man auch nie alle Fragen auf einmal austauschen, also alle so genannten Test-Items, sondern es gibt immer einen großen Anteil von „Link-Items“, die die Verbindung zu früheren Testrunden gewährleisten sollen. Was zugegebenermaßen unterschiedlich gut klappt und immer wieder zu prüfen ist.

Welche Lehren lassen sich aus Pisa 2015 ziehen?

In Pisa 2015 wurde der Umstieg auf computerbasiertes Testen vollzogen, aber der Modellfall war schon die Umstellung der Erwachsenen-Kompetenzstudie PIAAC, an der wir auch mitgearbeitet haben. Demnächst ist dann auch die TIMSS-Grundschulstudie an der Reihe. In allen Fällen ergeben sich durch die interaktiven Aufgabenformate ganz neue Möglichkeiten. Bei Pisa können wir jetzt online Experimente simulieren, und die Schüler sind so viel dichter dran an der naturwissenschaftlichen Erkenntnisgewinnung. Außerdem wissen wir künftig nicht nur, wer richtig oder falsch geantwortet hat, sondern auch, wie es zur richtigen oder zur falschen Antwort kam. Aber natürlich stellen all die methodischen Veränderungen bei Pisa 2015 eine Herausforderung dar, und der Moduswechsel war nur eine davon. Daran forschen wir weiter. Nein, ein Selbstläufer ist das computerbasierte Testen nicht. Aber es eröffnet die Möglichkeit für viele Innovationen in der Bildungsforschung und bei internationalen Bildungsvergleichen.   

Frank Goldhammer gehört zum Leitungsteam des Zentrums „Technology Based Assessment“ am DIPF und ist Mitglied des Zentrums für internationale Bildungsvergleichsstudien.