Kurs-Quizze mit KI lokalisieren, ohne die Bewertung zu zerstören

Kurz gefasst

KI beschleunigt die Kurs-Lokalisierung enorm, doch bei Quizzen und Prüfungen entscheidet nicht der Stil, sondern die Messgenauigkeit. Dieser Artikel zeigt, wo Übersetzung die Bewertung still zerstört und wie Sie KI so einsetzen, dass alle Sprachversionen fair, gleich schwer und vergleichbar bleiben.

Inhaltsverzeichnis

• Warum übersetzte Quizze die Bewertung gefährden
• Typische Fehlerquellen: Distraktoren, Antworthinweise, Textexpansion
• Was KI bei der Prüfungs-Lokalisierung bereits leisten kann
• Wo KI an ihre Grenzen stößt
• Der Prozess: vom übersetzungsfertigen Original bis zur Verifikation
• Häufige Fragen
• Quellen

Das Wichtigste

• In einer Groninger Studie wiesen je nach Prüfungsdurchlauf 34 bis 36 Prozent der Items einer wörtlich übersetzten Prüfung messbaren Bias auf
• Eine Feldstudie über 91 Kurse zeigt: KI-generierte Prüfungsaufgaben können in Schwierigkeit und Trennschärfe mit Expertenaufgaben vergleichbar sein.
• Die ITC-Leitlinien definieren 18 Regeln in sechs Kategorien für faire Testübersetzung, darunter Doppelübersetzung und empirische Bestätigung.
• KI darf übersetzen, aber Fairness wird erst durch Pilotierung und DIF-Analyse über die Sprachversionen hinweg belegt.

Warum übersetzte Quizze die Bewertung gefährden

Ein Quiz in einem Online-Kurs ist kein Textblock, sondern ein Messinstrument. Die Punktzahl entscheidet, wer einen Kurs besteht, wer ein Zertifikat bekommt und wer sich ein Ergebnis in sein Portfolio schreibt. Genau deshalb darf man Prüfungsfragen nicht wie Marketingtexte behandeln, die man einfach mitübersetzt. Damit ein Vergleich zwischen zwei Sprachversionen überhaupt zulässig ist, müssen beide dieselbe Kompetenz messen. Die International Test Commission nennt diese Konstrukt-Äquivalenz in ihren Leitlinien zur Testübersetzung als Grundvoraussetzung: Eine schlechte Übersetzung kann die Validität eines Tests so weit beschädigen, dass sich die Scores beider Versionen nicht mehr sinnvoll vergleichen lassen[1].

Der Fachbegriff für das Problem ist Item-Bias: Ein einzelnes Item begünstigt systematisch eine Gruppe von Teilnehmenden und benachteiligt eine andere, obwohl beide dasselbe Wissen mitbringen. Wie schnell das passiert, zeigt eine Studie der Universität Groningen. Dort nehmen Studierende eines nationalen und eines internationalen Medizinstudiengangs am selben Progress-Test teil, der für die internationale Variante wörtlich aus dem Niederländischen ins Englische übersetzt wird. Obwohl ein zertifizierter medizinischer Fachübersetzer und ein englischsprachiger Arzt als Revisor beteiligt waren, zeigte die Differential Item Functioning-Analyse über vier aufeinanderfolgende Prüfungen, dass je nach Durchlauf 34 bis 36 Prozent der Items messbaren Bias aufwiesen[2].

• Ein Item ist im Zieltext schwerer zu verstehen, ohne dass der geprüfte Stoff sich geändert hat.
• Teilnehmende fallen durch, weil ihre Sprachkenntnisse nicht ausreichen, nicht weil ihre Kompetenz fehlt.
• Scores aus verschiedenen Sprachversionen sind nicht mehr vergleichbar, obwohl die Plattform sie identisch behandelt.
• Der Schaden bleibt unsichtbar: Ohne gezielte Analyse merkt niemand, dass das Messinstrument verzogen ist.

Für EdTech-Teams und Course Creator ist das die zentrale Gefahr: Der Test misst plötzlich Sprachkenntnisse statt Fachkompetenz. Die Folge ist keine etwas ungenauere Bewertung, sondern eine systematisch falsche, und sie trifft genau die Lernenden, die man mit der Lokalisierung eigentlich erreichen wollte.

Typische Fehlerquellen: Distraktoren, Antworthinweise, Textexpansion

Bias entsteht nicht als abstraktes Qualitätsproblem, sondern über konkrete, benennbare Mechanismen im Item selbst. Wer diese Mechanismen kennt, kann sie bei der Übersetzung gezielt prüfen, statt auf die fertige Sprachversion zu hoffen.

Fehlerquelle	Was passiert	Auswirkung auf die Messung
Linguistische Merkmale des Items	Passivkonstruktionen, ungleiche Länge von Schlüssel und Distraktoren oder grammatikalische Kongruenz steuern die Schwierigkeit. Die ITC-Leitlinien verlangen, dass die korrekte Antwort etwa gleich lang wie die Distraktoren ist und grammatikalische Hinweise die Lösung nicht verraten	Die Schwierigkeit verschiebt sich, weil die Übersetzung die Hinweisstruktur des Originals zerstört oder neu erzeugt
Antworthinweise im Zieltext	Der übersetzte Item-Stamm erwähnt plötzlich, dass eine Patientin zum Zahnarzt geht, und verrät damit das gefragte Fachgebiet. Oder eine wohlmeinende Erläuterung macht die richtige Antwort erkennbar	Erfahrene Teilnehmende lesen die Lösung aus der Formulierung heraus, das Item wird leichter als geplant
Textexpansion	Übersetzungen aus dem Englischen fallen in Sprachen wie Französisch oder Spanisch typischerweise 15 bis 30 Prozent länger aus, bei Deutsch um 35 Prozent oder mehr	Antwortoptionen rutschen in neue Zeilen, Layouts brechen, und die Länge allein macht einzelne Optionen auffälliger
Item-Flaws	Schon im Original schlummernde Schwächen im Item werden durch die Übersetzung verstärkt oder neu eingebaut. Die Groninger Studie führt Bias unter anderem auf solche Item-Merkmale wie Item-Flaws, Länge und Zahl der Antwortoptionen zurück	Bestraft werden eher die stärkeren als die schwächeren Teilnehmenden, die Fehlerwirkung bleibt psychometrisch oft unentdeckt

Auffällig an dieser Liste: Keine dieser Fehlerquellen hat mit Übersetzungsqualität im klassischen Sinn zu tun. Eine sprachlich einwandfreie, sogar elegant formulierte Übersetzung kann alle vier Probleme gleichzeitig enthalten. Deshalb reicht die Frage nach dem besten Übersetzungswerkzeug nicht, die entscheidende Frage lautet, wer nach der Übersetzung das Messinstrument selbst wieder prüft.

Was KI bei der Prüfungs-Lokalisierung bereits leisten kann

Nach all den Risiken lohnt die andere Seite der Bilanz, denn KI ist in diesem Feld längst mehr als eine Fehlerquelle. Die empirische Lage zeigt, dass maschinelle Übersetzung und automatisierte Bewertung in Prüfkontexten heute ein erstaunlich solides Niveau erreichen.

Ein Beleg kommt aus der internationalen Schulleistungsforschung: In einer Studie zu TIMSS 2019 wurden frei formulierte Schülerantworten aus acht Ländern und sechs Sprachen per maschineller Übersetzung, unter anderem mit ChatGPT, vereinheitlicht und dann automatisch bewertet. Die automatisierte Bewertung schnitt vergleichbar ab wie menschliches Scoring, und auch die psychometrischen Eigenschaften der Items blieben ähnlich[4]. Für mehrsprachige Prüfungen im großen Stil ist das ein starkes Signal dafür, dass die technische Pipeline grundsätzlich funktioniert.

Das zweite Signal betrifft die Aufgabenerstellung selbst. Die Feldstudie "Assessing the Quality of AI-Generated Exams" untersuchte 91 Kurse an Dutzenden US-Colleges mit knapp 1.700 Studierenden[5] und wertete die eingesetzten Multiple-Choice-Fragen per Item-Response-Theorie aus. Die KI-Fragen waren in Schwierigkeit und Trennschärfe mit Aufgaben vergleichbar, die Experten für standardisierte Prüfungen erstellt hatten.

Kontext-Prompting: der einfachste Hebel

Zwischen diesen Befunden und der Praxis liegt ein einfacher, direkt umsetzbarer Hebel: Kontext-Prompting. Statt einzelne Quizfragen isoliert zu übersetzen, liefert man dem Modell den Item-Stamm, die Antwortoptionen und idealerweise den thematischen Kontext des Kurses mit in den Prompt. In der TIMSS-Studie wurde ChatGPT genau so angewiesen, Antworten unter Berücksichtigung des englischen Item-Stamms zu übersetzen, und die so erzeugten Übersetzungen lieferten die beste automatisierte Bewertung[4]. Für ein Quiz heißt das: Die Frage gehört nie allein in die Übersetzungskiste, sondern immer zusammen mit dem Fachkontext, in dem sie gestellt wird.

Die realistische Rollenverteilung lautet also: KI übersetzt, generiert und beschleunigt, Menschen verifizieren Schwierigkeit und Fairness. Die nächsten beiden Abschnitte schärfen beide Seiten dieser Aufteilung.

Wo KI an ihre Grenzen stößt

Die Grenzen des Werkzeugs lassen sich präzise benennen, und gerade im Bildungsbereich sind sie ernster als im Marketing. Das größte Risiko sind Halluzinationen: KI-Modelle erzeugen plausibel klingende, aber fachlich falsche Inhalte. In Bildungskontexten wiegt das besonders schwer, weil Lernende Prüfungsinhalte als gesichertes Wissen behandeln und kaum gegenprüfen. Die Feldstudie zu KI-generierten Prüfungen setzt daher auf einen iterativen Prozess aus Erzeugung, Kritik und Überarbeitung der Fragen, statt Modellausgaben direkt einzusetzen[5]. In einem Quiz bedeutet das: Eine falsch übersetzte oder halluzinierte Fachaussage wird nicht nur gelesen, sondern als prüfungsrelevante Wahrheit gelernt.

Die zweite Grenze ist struktureller: Ein reines Text-in-Text-out-Übersetzen kennt weder den kulturellen Kontext der Zielgruppe noch die fachdidaktische Absicht des Items. Ob ein Beispiel aus dem Gesundheitswesen in der Zielkultur funktioniert, ob eine Abkürzung dort üblich ist und ob die Übersetzung die gewollte Schwierigkeit trifft, entscheidet sich außerhalb des Textausschnitts, den das Modell sieht. Genau deshalb verlangt die Leitlinie TD-1 ein Team, das gemeinsam Sprach-, Kultur-, Fach- und Prüfungskenntnis abdeckt[1]. Der auf Prüfungslokalisierung spezialisierte Anbieter cApStAn beschreibt dazu ein kollaboratives Modell, in dem Linguistik und Fachexpertise zusammenkommen und strittige Fälle moderiert werden[6].

• Halluzination im Feedback-Text: Das Modell ergänzt zur richtigen Antwort eine Begründung, die fachlich nicht stimmt. Gegenmaßnahme: Feedback- und Erklärungstexte werden von der Fachredaktion einzeln freigegeben, nicht nur die Frage.
• Kulturkontext im Item-Stamm: Eine Aufgabe rechnet in Gallonen, nennt einen US-Feiertag oder ein Schulsystem, das die Zielgruppe nicht kennt. Gegenmaßnahme: Maßeinheiten, Namen und Institutionen pro Sprachversion als Adaptionsentscheidung dokumentieren, nicht übersetzen.
• Fachkontext im Terminus: 'Belastung' kann Last, Beanspruchung oder finanzielle Bürde sein, und nur eine Variante trifft das geprüfte Konstrukt. Gegenmaßnahme: gepflegte Terminologieliste je Kurs, an die das Modell gebunden wird.
• Prüfungskenntnis im Distraktoren-Design: Das Modell übersetzt einen knappen Distraktor ausführlicher als die Schlüsselantwort und macht ihn dadurch attraktiver. Gegenmaßnahme: Länge und Parallelität aller Optionen nach der Übersetzung gegenprüfen.

Der Prozess: vom übersetzungsfertigen Original bis zur Verifikation

Aus den Leitlinien der ITC lässt sich ein praxistauglicher Ablauf ableiten. Die zweite Auflage der Guidelines bündelt 18 Leitlinien in sechs Kategorien, von Vorbedingungen über Testentwicklung bis zur empirischen Bestätigung[1]. Für einen Kursbetrieb lässt sich daraus eine kompakte Sequenz machen, die sich pro Sprachversion durchlaufen lässt.

1. Übersetzungsfähigkeit des Originals prüfen: Bevor das erste Item übersetzt wird, lohnt ein Translatability-Assessment des Originals. cApStAn empfiehlt genau dieses vorgelagerte Vorgehen, um Probleme zu erkennen, bevor sie in jede Sprachversion hineinwandern[6]. Items mit Kultur-bezogenen Beispielen, Wortspielen oder extrem langer Schlüsselantwort werden jetzt umgeschrieben, einmal statt zehnmal.
2. Doppelübersetzung mit unabhängigem Abgleich: Statt einer einzelnen Übersetzung werden zwei unabhängige Versionen erstellt und von einer dritten Person oder einem Expertenpanel abgeglichen. Dieses Doppelübersetzungs- und Abgleichsverfahren ist in den ITC-Leitlinien (TD-2) verankert und wird bei PISA in großem Stil praktiziert[1]. KI kann hier beide Erstübersetzungen liefern, der Abgleich bleibt menschlich.
3. Segmentweise Verifikation der Zielversion: Die fertige Sprachversion wird Item für Item gegen das Original geprüft, mit standardisierten Interventionskategorien wie Auslassung, Zusatz oder Bedeutungsverschiebung. So wird dokumentierbar, wo eine Übersetzung die Schwierigkeit verändert hat, statt dass das Urteil am Gesamteindruck hängt.
4. Pilotierung und empirische Prüfung: Die neue Sprachversion läuft zuerst an einer kleinen Stichprobe, bevor sie Bestehensentscheidungen trifft. Wie diese Antwortdaten ausgewertet werden, zeigt der nächste Abschnitt.

Häufige Fragen

Kann ich Quizfragen einfach per KI in andere Sprachen übersetzen?

Für Lektionstexte reicht das oft, bei Prüfungsaufgaben nicht. Wie der erste Abschnitt zeigt, enthält selbst eine professionell übersetzte und fachlich revidierte Prüfung messbaren Item-Bias in einem erheblichen Teil ihrer Items. Wer ein Quiz übersetzt, übersetzt ein Messinstrument und muss Schwierigkeit und Fairness pro Sprachversion prüfen.

Was ist Item-Bias bzw. DIF bei übersetzten Prüfungen?

DIF (Differential Item Functioning) bedeutet, dass Testteilnehmende mit gleicher Fähigkeit je nach Sprachversion unterschiedliche Chancen auf die richtige Antwort haben. Gemessen wird per psychometrischer Analyse der Antwortdaten, etwa auf Basis der Item-Response-Theory. Betroffene Items werden angepasst, entfernt oder neu geschrieben.

Wie viel länger werden Texte durch die Übersetzung?

Deutlich länger, als die meisten Quiz-Layouts vorsehen: Die Größenordnung nennt die Tabelle oben, für Deutsch liegt sie am oberen Ende. Bei Layouts, Buttons und Antwortoptionen muss dieser Platz von Anfang an eingeplant werden, sonst brechen Layouts, und überlange Distraktoren können zusätzlich die richtige Antwort verraten.

Sind KI-generierte oder KI-übersetzte Prüfungsaufgaben so gut wie menschlich erstellte?

Sie können es sein. Die im Artikel besprochene US-Feldstudie kommt zu psychometrisch vergleichbaren Ergebnissen für KI-Fragen und Expertenaufgaben. Voraussetzung ist ein strukturierter Prozess aus Erzeugung, Bewertung und Überarbeitung der Fragen.

Muss ich jede Sprachversion eines Quizzes pilotieren?

Für verbindliche Prüfungen ja: Der Prozessabschnitt oben endet genau deshalb mit Pilotierung und empirischer Prüfung der Äquivalenz. Bei niedrigschwelligen Kurs-Quizzen reicht oft eine Stichprobe plus DIF-Prüfung, sobald genug Antworten je Sprache vorliegen.

Welche Rolle bleibt für Menschen, wenn KI übersetzt?

Menschen liefern den Fach- und Kulturkontext, pflegen die Terminologie und verifizieren die Übersetzung Segment für Segment. Welche Kompetenzen dieses Team abdecken muss, beschreibt der Abschnitt zu den Grenzen der KI.

Was kostet die Lokalisierung von Prüfungen im Vergleich zu normalem Kurstext?

Mehr: Zur reinen Übersetzung kommen die Übersetzbarkeitsprüfung des Originals, Adaptionsnotizen je Item, segmentweise Verifikation und Pilotierung hinzu. Das zahlt sich aus, weil eine nachgebesserte Prüfung, deren Bias erst nach dem Livegang auffällt, deutlich teurer ist als eine einmal sauber lokalisierte.

Quellen

1. intestcom.org
2. pmc.ncbi.nlm.nih.gov
3. argotranslation.com
4. link.springer.com
5. arxiv.org
6. capstan.be