ChatGPT und Co sind eine Herausforderung für das Lernen und Lehren. Und eine einmalige Chance für die Hochschulen: Wenn sie jetzt selbst zu Anbietern freier Sprachmodelle werden, stärken sie ihre Lehre, Forschung und digitale Autonomie. Ein Gastbeitrag von Benjamin Paaßen.
Benjamin Paaßen ist Juniorprofessor für Wissensrepräsentation und Maschinelles Lernen an der Universität Bielefeld und Senior Researcher im Educational Technology Lab des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI). Foto: Studio Monbijou.
SEIT ZEHN JAHREN forsche ich zum Einsatz von Methoden der Künstlichen Intelligenz (KI) in der Bildung – bislang ein Nischenthema, denn die Digitalisierung in der Bildung, von Künstlicher Intelligenz ganz zu schweigen, schreitet hierzulande nur langsam voran. Im Jahr 2023 konnte ich mich plötzlich vor Vortrags- und Interviewanfragen kaum retten: ChatGPT war über das deutsche Bildungssystem hereingebrochen, und nun wünschte man sich seitens der KI-Expert*innen Einordnung und Rat.
Mein Eindruck aus all diesen Gesprächen und Begegnungen: Lehrende und Lernende sind sich im Wesentlichen einig, dass es keinen Sinn ergibt, Sprachmodelle wie ChatGPT (englisch: large language models oder LLM) zu verbieten. Zum ersten, weil ein solches Verbot ohnehin nicht durchsetzbar wäre, denn es gibt bis dato keinen verlässlichen Weg, Erzeugnisse von LLM von menschlichen Texten zu unterscheiden. Zum zweiten (und wichtiger), weil wir den Anspruch haben sollten, Lernenden beizubringen, wie mit den neuen Technologien verantwortungsvoll umzugehen ist. Zum dritten, weil LLM als Werkzeuge für das Lernen und Lehren große Potenziale haben. Die ständige wissenschaftliche Kommission (SWK) der Kultusministerkonferenz beispielsweise plädierte kürzlich erst für die Nutzung von LLM im Unterricht.
Um diese Potenziale zu erschließen, müssen sie Lernenden und Lehrenden allerdings so zur Verfügung gestellt werden, dass eine verantwortungsvolle Nutzung überhaupt möglich wird. Überspitzt gefragt: Können wir Lehrkräften guten Gewissens empfehlen, die Daten der eigenen Lernenden auf die Server eines US-Konzerns zu übertragen? Können wir gleiche Bedingungen zwischen Lernenden sicherstellen, wenn der Zugang zu den Modellen kostenpflichtig ist? Und wollen wir uns im Bildungssystem überhaupt davon abhängig machen, dass Unternehmen die Modelle verlässlich zu akzeptablen Bedingungen zur Verfügung stellen? Viele würden diese drei Fragen verneinen.
Glücklicherweise haben die Hochschulen jetzt die einmalige Chance, dem gesamten Bildungssystem eine Alternative anzubieten – und zwar, indem sie sich strategisch dazu entscheiden, selbst LLM bereitzustellen. Transparent, kostengünstig und verlässlich.
Drei Zutaten für
eigene Sprachmodelle
Dafür braucht es drei Zutaten: Erstens die trainierten Modelle selbst. Diese sind unter freier Lizenz ("open source") auf Seiten wie huggingface.co zu finden. Zweitens die Recheninfrastruktur, um die Modelle zu betreiben, vor allem Server mit starken Grafikkarten. Drittens, am wichtigsten, die Expertise, um die aktuell leistungsfähigsten LLM auszuwählen, auf die eigene Infrastruktur zu bringen und einfache Benutzungsschnittstellen für Lernende und Lehrende bereit zu stellen.
Viele Institutionen verfügen über Zutaten eins und zwei – aber kaum jemand ist im Hinblick auf die dritte Zutat so gut aufgestellt wie die Hochschulen. Eine besonders gute Ausgangslage haben Standorte mit einer starken LLM-Forschung, etwa die TU Darmstadt oder die LMU München. Aber auch an vielen anderen Hochschulen (meine Universität eingeschlossen) wurde seit 2022 rapide Expertise zu LLM-Forschung aufgebaut – und im gleichen Zuge die nötige Recheninfrastruktur beschafft.
Ganz ohne Investitionen wird es freilich nicht gehen. LLM für die Forschung zu betreiben ist naturgemäß etwas Anderes, als sie im Rahmen eines Web-Service für Millionen von Lernenden und Lehrenden bereit zu stellen. Daher wird es voraussichtlich nötig sein, Serverkapazitäten auszudehnen und Personal auf Dauerstellen dafür einzusetzen, die Server, Modelle und Schnittstellen stets aktuell zu halten und die Nutzenden zu betreuen. Dafür braucht es Fördermittel von Bund und Ländern. Aber in überschaubarer Höhe. Pro teilnehmende Hochschule belaufen sich die Kosten für den Hochlauf im ersten Jahr voraussichtlich auf nicht mehr als eine Million Euro.
Ziel sollte es sein, in jedem Bundesland mindestens eine Hochschule zu finden, die frei lizensierte LLM für alle Hochschulen und Schulen (mindestens für die Sekundarstufe, wie von der KMK empfohlen]) im Bundesland bereitstellt. Mit diesen LLM können Lernende und Lehrende den verantwortungsvollen Umgang lernen bzw. eigene pädagogische Konzepte entwickeln. Nicht nur das: Die Hochschulen können mit den Daten der Lernenden und Lehrenden – informiertes Einverständnis vorausgesetzt – an der Entwicklung neuer Bildungstechnologien forschen, etwa weiter trainierter LLM oder neuer Nutzenden-Schnittstellen für das Bildungssystem. Forschung und Lehre könnten hier also Hand in Hand gehen.
Schon in wenigen Monaten könnten wir technologisch oder vertraglich auf proprietäre Modelle festgelegt sein. Insofern ist die digitale Autonomie im Bildungssystem gefährdet, wovor Amrei Bahr und Maximilian Mayer in einem Gastbeitrag in der FAZ zu Recht gewarnt haben. Auch der Wissenschaftsrat betont die Relevanz digitaler Souveränität in der Wissenschaft. Um diese Souveränität zu wahren, ist es jetzt an den Hochschulen, die Initiative zu ergreifen. Es ist eine einmalige Chance, die die Hochschulen nutzen sollten – für ein starkes und zukunftsfähiges Bildungssystem, das sich nicht ohne Not von Privatunternehmen abhängig macht.
In eigener Sache: Blog-Finanzierung
Welche guten Nachrichten ich in Sachen Blogfinanzierung habe, warum ich weiter dringend Ihre Unterstützung brauche – und welche Artikel im Dezember am meisten gelesen wurden.
Kommentar schreiben
Edith Riedel (Freitag, 26 Januar 2024 10:07)
BITTE nicht noch eine von den Hochschulen selbstgestrickte Lösung für Aufgaben, die mit den Tools kommerzieller Anbieter problemlos und vor allem professionell gelöst werden können. Ich möchte erinnern an HISinOne, selbstgebastelte Alternativen zu SAP, hochschulstart.de und Konsorten. Das klappt nicht! Auch dann nicht, wenn ein Professor meint, er hätte da mal wieder die ultimative Lösung und sei cleverer als der Rest der Welt...
Tobias Denskus (Freitag, 26 Januar 2024 10:33)
"Ziel sollte es sein, in jedem Bundesland mindestens eine Hochschule zu finden, die frei lizensierte LLM für alle Hochschulen und Schulen im Bundesland bereitstellt." Ach Gottchen, also 16 neue ChatGPTs...genau so ein Quatsch, wie die föderale Entwicklung von Lernplattformen oder Video-Konferenztools...
Benjamin Paaßen (Freitag, 26 Januar 2024 11:02)
Herzlichen Dank für Ihre Rückmeldungen. Ich fürchte, da liegt ein Missverständnis vor. Es geht hier nicht um Software-Entwicklung (auch das ließe sich diskutierten, ist aber hier nicht Kern). Es geht darum, bereits existierende Modelle zu hosten und ggf. im Rahmen von Forschung zu verbessern. Der zutreffende Vergleich mit bisherigen Systemen wären also eher open source-Technologien wie sciebo, big blue button oder moodle einzusetzen statt proprietäre Systeme. Und das wird ja auch an vielen Stellen erfolgreich getan.
Marc Mausch (Freitag, 26 Januar 2024 11:31)
Das Problem ist ja nicht die Auswahl der Software und der Betrieb, sondern der sinnvolle Betrieb. Die Datenbanken und Prozessorleistungen sind atemberaubend hoch. ChatGPT kostet derzeit 700.000 US-$ pro Tag!
Das eigentliche Problem ist also, dass wir hierzu keine ausreichenden Serverfarmen haben. Das ist in der Tat ein grundsätzlicher Mißstand für Europa.
Tobias Denskus (Freitag, 26 Januar 2024 13:37)
Auf Big Blue Button habe ich gewartet, während sich die anderen 99% der Welt bei Teams, Zoom und WebEx treffen…
Patrick Zauner (Freitag, 26 Januar 2024 17:46)
@Edith Riedel:
Ich stimme dir insoweit zu, dass die exakte Implementierung nicht immer neu erfolgen sollte. Es braucht gute Frameworks und Tools, um einfach Modelle einzubinden. Nicht jeder muss eine neue Oberfläche erfinden, aber diese selbst hosten zu können und nicht auf OpenAIs Modelle angewiesen zu sein halte ich für essenziell.
Zwar kann es ein Vorteil sein, dass Modelle sich weiterentwickeln und so OpenAI ein leistungsfähigeres Modell bereitstellt, aber darauf ist kein Verlass. Eher wurde die Qualität von ChatGPT-3.5 etwas schlechter - hier hätte man mit selbstgehosteten Modellen einen Vorteil, weil man nicht zum Wechsel gezwungen ist. Ebenfalls sind Ergebnisse qualitativ reproduzierbar, weil man zum Vergleich immer die exakte Version nochmals installieren kann. Bei der OpenAI-API geht das nicht.
Ferner ist die Entwicklung einiger Modelle (Falcon, Mixtral, Llama2) so stark vorangeschritten, dass man auch nicht mehr per se behaupten könnte, dass OpenAIs-Modelle »professioneller« wären. Die Leistungsfähigkeit von GPT 3.5 hat man mittlerweile gut erreicht - mit kleineren und deutlich weniger ressourcenhungrigen Modellen. Das spielt spätestens bei der Frage nach den ökologischen Auswirkungen eine Rolle.
@Tobias Denskus:
Das halte ich für unwahrscheinlich. Es würden vermutlich dieselben paar großen LLMs verwendet, die open source sind und ähnliche Qualität bieten. Vielleicht auch mit der Auswahl von feintrainierten Modellen für bestimmte Anwendungszwecke - aber es wären niemals 16 Eigenentwicklungen. Dafür ist das Training viel zu aufwendig. Ebenfalls dürften Modelle schnell ausgetauscht werden. Dafür gibt es längst gute Frameworks.
Schau dir doch gerne die Seite huggingface.co an.
@Marc Mausch:
Es ist mittlerweile sehr gut möglich mit kleineren Modellen Ergebnisse zu erzielen, die besser als die Qualität von ChatGPT-3.5 sind. Da brauchst du ein paar tausend € für die einmalige Anschaffung oder aber ein paar mehr GPUs in den schon existierenden Rechenzentren für eine einzelne Uni (denn tatsächlich mangelt es nicht einmal an CPU-Leistung, sondern GPUs). Aber hier einen Vergleich zu den Kosten für OpenAI aufstellen zu wollen halte ich für einen Strohmann. Die Kosten skalieren primär mit der Nutzung. OpenAI bietet diesen Dienst für die gesamte Welt an, das müssten Universitäten gar nicht. Zumal man bei der Nutzung eigener Hardware auch auf Warteschlangen für eine automatisierte Nutzung setzen könnte. Nicht jede Anfrage im Hochschulkontext verlangt eine unmittelbare Antwort durch das Modell. Damit ließe sich die Last über den Tag hinweg gut verteilen.
Dass im Allgemeinen aber mehr Geld in neue (und wie oben geschrieben, andere) Hardware als bisher fließen muss, ist dennoch richtig.
Marco Winzker (Samstag, 27 Januar 2024 11:07)
Die Idee ist gut und richtig. Es braucht eine Infrastruktur, ein digitales Ökosystem für Hochschullehre. Frage ist, was gehört dazu und wo kommt es her.
Zum Vergleich, einige andere Tools: Videokonferenz ist Commodity ("Standardware") und mit Teams, Zoom und WebEx sind mehrere gute Anbieter verfügbar. Also nicht nochmal selber entwickeln. Anders bei Learning Analytics und elektronischen kompetenzorientierten Prüfungen. Das ist recht spezifisch für Hochschullehre, sollte gefördert werden und wird es ja auch.
Und wo steht Generative KI? Fakt ist, Hochschulen und Studierende brauchen bezahlbaren Zugriff. Es gibt mehrere Anbieter, was eher dafür spricht, eine Lösung einzukaufen, am besten mit Rahmenvertrag, um gute Bedingungen auszuhandeln. Allerdings ist Generative KI eine Schlüsseltechnologie, bei der Europa nicht den Anschluss verlieren darf. Darum sind die vorgeschlagenen drei Zutaten richtig: Modelle weiterentwickeln, Rechenleistung bereitstellen, Anwendungsschnittstellen.
Nur beim Weg dahin bin ich noch etwas ratlos. Ein verteiltes System in 16 Bundesländern und das in allen 27 EU-Staaten scheint mir zu zersplittert. Eine zentrale Behörde oder Auslagerung in eine Firma wird träge und setzt alles auf eine Karte. Auch nicht gut. Eine handvoll großer Unis mit gesunder Mischung aus Kooperation und Konkurrenz. Dann dürfen die Bedarfe kleiner, mittlerer Hochschulen nicht untergehen. Vielleicht sollte man sich das Projekt Gaia-X ansehen: Was hat geklappt? Was geht besser?
Laubeiter (Samstag, 27 Januar 2024 14:20)
Warum ist dies ist in paar Monaten vielleicht nicht mehr möglich und derzeit noch möglich? Muss man diesen Zeitdruck mitmachen? Wenn es open source ist, warum drohen dann proprietäre und kostenpflichtige Regelungen?
Bodo Steffen (Montag, 29 Januar 2024 11:41)
Es ist sicher absolut notwendig, dass im Bildungssektor eigene LLM entstehen. Ein weiteres Argument wäre auch, dass hier dann die Bedingungen und Regeln für die Nutzung festgelegt und das Outcome zumindest grob gesteuert werden könnten. LLM also in diesem Kontext künftig nach den Regeln spielen, die der akademische Betrieb sich selbst auferlegt.
Allerdings halte ich es zum einen für wenig sinnvoll wenn Hochschulen nun anfangen je eigene Modelle zu entwickeln und zu betreiben... Zum anderen sollten hier dringend auch die (Universitäts-)Bibliotheken ins Boot geholt werden.
1) Statt eigener Modelle an einzelnen Hochschulen wäre es sicher sinnvoller, eine Art Bildungs-LLM in einem bundesweiten Verbund aufzubauen und nach den eigenen Vorstellungen und Vorgaben dauerhaft das Finetuning vorzunehmen. Zur Not wären das auch auf Landesebene denkbar. Aber es erscheint mir doch langfristig deutlich sinnstiftender Kapazitäten, Ressourcen und Know-How in kooperativ zu bündeln und die Betriebskosten möglichst breit zu verteilen.
2) Die Bibliotheken müssen dringend mit ins Boot. Nicht nur sind diese seit Jahren Innovationstreiber in Sachen Digitalisierung von Bildung(sressourcen), sie sitzen auch auf den Daten, die man für ein zielführendes Finetuning im Sinne des Vorhabens benötigt. Selbst dann, wenn das Urheberrecht und die Verlage einem solchen Projekt im Wege stehen und man ausschließlich auf freiwillig bereitgestellte Beiträge, Open-Access Publikationen, OER und Co. angewiesen wäre, sollte doch ein LLM für den Bildungssektor auf wissenschaftlichen Publikationen aufbauen. Dann braucht es zudem langfristig Personal für das Finetuning eines eigenen Modells.
...Das alles lässt sich, denke ich, sicher sehr viel besser im Verbund erledigen, als an Einzelstandorten.
Titus von der Malsburg (Mittwoch, 31 Januar 2024 14:26)
Danke für diesen Text. Falls sich LLM wirklich als hilfreich in der Lehre herausstellen sollten, müssten wir tatsächlich Lösungen finden, die uns nicht von OpenAI und Konsorten abhängig machen. Allerdings zweifele ich an der Prämisse, dass LLM unbedingt in die Lehre müssen. Zumindest in den Gebieten, in denen ich lehre, redet ChatGPT zum großen Teil vollkommenen Quatsch, der sich aber leider oft total plausibel anhört. Wollen wir den Studierenden wirklich beibringen, sich auch solche unzuverlässigen Quellen zu stützen? Klar, können LLM in manchen Bereichen auch wirklich hilfreich sein, z.B. beim Verbessern von Texten. Aber auch da muss man fragen: Soll man an der Uni denn nicht lernen, selbst brauchbare Texte zu formulieren? Ich habe die Killer-Anwendung von LLM bislang nicht gefunden, und würde deswegen trotz allem Hype hier ein bisschen auf die Bremse steigen bevor wir uns total vergaloppieren.
Anne-Sophie Waag (Montag, 05 Februar 2024 11:44)
Vielen Dank Ihnen für diesen Aufschlag und das Aufzeigen von anderen Möglichkeiten neben der schnellen Anbindung proprietärer LLM-Systeme an die (hoch-)schulischen Lernsysteme, wie es aktuell verstärkt passiert.
In diesem Szenario muss eben nichts neu erfunden werden. Hingegen schließen sich Hochschulen der Open-Community an und tragen ihren Teil zur unabhängigen und ethischen Nutzung digitaler Tools bei.