Deutschtest: So schlägt sich die Künstliche Intelligenz bei der Zürcher Gymi-Prüfung

Publiziert

DeutschtestSo schlägt sich die Künstliche Intelligenz bei der Zürcher Gymi-Prüfung

Wir haben den Chat-Bot GPT 3.0 die Sprachprüfung lösen lassen, um seine Grenzen zu testen. So hat er bei der Deutsch-Prüfung im Langzeitgymnasium abgeschnitten.

von
Tarek El Sayed

Darum gehts

  • Wir haben das KI-Schreibprogramm ChatGPT 3.0 einen Teil der Gymi-Prüfung lösen lassen.

  • Die Note ist zwar nicht genügend, aber das hat klare Gründe.

  • Es zeigte sich, dass die KI sehr schnell dazulernt.

  • In den Klassenzimmern ist die KI definitiv angekommen.

Das Forschungsunternehmen Open AI sorgt mit seinem neusten Chat-Bot für viel Aufsehen. Der ChatGPT 3.0 kann Liedtexte schreiben oder Programmiersprache analysieren und auch in den Klassenzimmern hält er Einzug. Ist er auch fähig, die Gymi-Prüfung mit einer genügenden Note abzuschliessen? Wir möchten die aktuellen Grenzen des KI-Systems testen und lassen es zum Deutschtest antreten.

Als Vorlage dient die Sprachprüfung für Langzeitgymnasien des Kantons Zürich aus dem Jahr 2022. In diesem Teil der Prüfung müssen ein Text analysiert und Fragen dazu beantwortet werden. Einige beziehen sich auf den Inhalt, andere sind grammatikalischer Natur. Der Text erzählt die Geschichte eines geizigen Kaufmanns und eines knausrigen Doktors. Wir stellen der KI jeweils eine Frage und kopieren den gesamten Text unter die Fragestellung. 

Frage:
Welche zwei unterschiedlichen gesundheitlichen Probleme des Kaufmanns werden in der Geschichte erwähnt? Nenne die beiden Begriffe, die im Text verwendet werden.

Antwort KI:
1. Gallenschmerzen
2. Lungenentzündung

Die KI braucht etwa drei Sekunden, um die, in diesem Fall, korrekte Antwort zu generieren. Solche Fragen sind für die KI kein Problem. Auch die Gemeinsamkeit oder den Unterschied zwischen den Begriffen «Geiz» und «Sparsamkeit» kann die KI innert Sekunden perfekt erläutern: «Geiz und Sparsamkeit haben beide das gemeinsame Ziel, Geld und andere Ressourcen zu sparen.» Ihre Stärke zeigt sich auch bei der Umwandlung von Wortbausteinen, um die gegenteilige Bedeutung auszudrücken. Sogar dann, wenn man Teile der Fragestellung und Beispiele entfernt.

Ersetze bei den folgenden Begriffen jeweils den ersten Wortbaustein so, dass die gegenteilige Bedeutung entsteht: bewaffnen, gelingen, verpacken, hochmütig, absagen.

Antwort KI: entwaffnen, misslingen, entpacken, demütig, zusagen

KI lernt sehr schnell dazu

Etwas schwieriger wird es, wenn die KI Verben konjugieren oder Bezugswörter finden soll. So zumindest beim ersten Versuch. Anstatt die gefragten Verben zu konjugieren, macht sie Beispielsätze. In der Prüfung muss eine Tabelle ausgefüllt werden. In der ersten Spalte steht die Grundform, in der zweiten und dritten Spalte eine konjugierte Form des Verbs. Die Tabelle kann sie nicht korrekt ausfüllen, deshalb ändern wir die Fragestellung, wie auf dem Screenshot unten zu sehen ist. Das Ergebnis: Die KI erstellt eine fehlerlose Tabelle.

Die KI erstellt selbst eine Tabelle und fügt die richtig konjugierten Verben ein.

Die KI erstellt selbst eine Tabelle und fügt die richtig konjugierten Verben ein.

Screenshot openai.com

Bewertung ernüchternd, aber Gründe sind offensichtlich

Die Antworten der KI lassen wir im Anschluss von Philippe Wampfler, Deutschlehrer und Experte für Lernen mit Neuen Medien, korrigieren. Das Ergebnis ist ernüchternd: 18 Punkte, Note 2,25.  Für dieses Ergebnis gibt es laut Wampfler einen klaren Grund: «Man muss sich überlegen, wie man der KI die Aufgaben füttert. Versteht sie die Aufgabe, kann sie deutlich besser abschneiden.»

Ein zweiter Versuch, nur ein paar Stunden später, fällt schon deutlich besser aus. Und bei weiteren Prüfungsaufgaben wie dem Deutsch-Aufsatz würde die KI laut Philipp Wampfler bessere Noten erzielen: «Ich habe sie Aufsätze schreiben lassen, dort kann sie bei der richtigen Themenwahl eine 5,5 oder sogar eine 6 erzielen.» Bei einem weiteren Versuch würde die KI mit der richtigen Eingabe der Fragen wohl auch die Sprachprüfung bestehen.

Philippe Wampfler ist beeindruckt von den Fähigkeiten der KI. Er nutzt sie bereits in einer Testphase, um Aufsätze seiner Schüler und Schülerinnen korrigieren lassen: «Sie gibt sehr gutes Feedback und kann sogar sinnvoll Punkte verteilen.» 

An Unis und Gymnasien ist die KI bereits omnipräsent. Philippe Wampfler legt Lehrpersonen ans Herz, sie spielerisch und sinnvoll zu adaptieren und Schüler und Schülerinnen zu sensibilisieren. Bereits jetzt bestehen Überlegungen, Prüfungen wieder von Hand schreiben zu lassen oder zusätzliche mündliche Prüfungen durchzuführen, um sicherzustellen, dass sie nicht von einer KI verfasst wurden.

Was hältst du von KI-Programmen?

Deine Meinung

25 Kommentare