2. Datenschutzrecht

2.18. Hintergrundwissen - Automatisierte Entscheidungen - Art. 22 DS-GVO

Der Schutz vor der "Alleinentscheidung" der Maschine

Schon vor ChatGPT gab es Algorithmen, die über Schicksale entschieden. Die DS-GVO schützt uns mit Artikel 22 davor, dass weitreichende Entscheidungen ausschließlich durch Maschinen getroffen werden.

🇺🇸 Ein Blick zurück: Das VAM-Debakel in New York (2007)

In New York wurde 2007 das VAM (value-added-model) eingeführt, um die Effektivität von Lehrkräften zu bewerten und darauf aufbauend Entscheidungen über die Fortsetzung der Beschäftigung oder eine mögliche Kündigung zu treffen. Value‑Added‑Modelle nutzen komplizierte Statistik, um vorherzusagen, wie gut ein Schüler im Jahres‑Endtest abschneiden sollte – basierend auf Faktoren wie Fehlzeiten und früheren Testergebnissen. Lehrkräfte, deren Schüler Standardtests in Mathematik und Englisch schreiben, werden dafür „verantwortlich“ gemacht, diese vorhergesagten Werte zu erreichen. Wenn die Klasse im Schnitt unter der Prognose liegt, gilt die Lehrkraft als wenig wirksam. Erreicht die Klasse die Werte oder übertrifft sie sogar, gilt die Lehrkraft als wirksam oder sogar hochwirksam. Wie sich schnell herausstellte, waren die Modelle allerdings fehleranfällig. Schon die Veränderung einzelner Variablen reichte, um die Bewertungen einzelner Lehrkräfte dramatisch zu verändern. Eine Studie aus dem Jahr 2010 zeigte, dass Value‑Added‑Modelle bei der Einordnung von Lehrkräften relativ ungenau sind: Mit drei Jahren Daten wurde etwa jede vierte Lehrkraft falsch eingestuft, mit nur einem Jahr sogar jede dritte. Deshalb warnten die Forschenden und andere Experten davor, diese Werte für Personalentscheidungen wie Kündigungen oder Vertragsverlängerungen zu nutzen – und New York ging daraufhin von der alleinigen Verwendung dieses Verfahrens ab. Für die Berufslaufbahnen einer Anzahl von Lehrkräften kam diese Entscheidung leider zu spät.

Quelle: Hechinger Report

⚖️ Wann sind Ausnahmen vom Verbot möglich?

Von diesem Verbot sind Ausnahmen möglich, etwa wenn automatisierte Entscheidungen vom Gesetzgeber gem. Art. 22 Abs. 2 lit. b DS-GVO durch ein Gesetz oder eine Verordnung zugelassen werden.

Dann jedoch muss die entsprechende Rechtsvorschrift:

"angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person enthalten."

⚠️ Der aktuelle Status Quo:
Bisher gibt es in keinem Bundesland innerhalb des Schulrechts solche spezifischen Rechtsgrundlagen, die eine (teil-)automatisierte Leistungsbewertung durch KI-Systeme legitimieren würden.

Stopp Schild

Da eine Leistungsbewertung oder ein Zeugnis eine erhebliche rechtliche Wirkung auf den Bildungsverlauf hat, darf diese Entscheidung niemals allein von einer KI getroffen werden. Es muss zwingend eine menschliche Überprüfung und finale Festlegung durch die Lehrkraft stattfinden.

Hinweis: In der KI-Verordnung finden sich vergleichbare Regelungen. Dort fallen KI-Systeme, welche Leistungsnachweise automatisiert auswerten und in eine Note überführen, unter sogenannte Hochrisiko-KI-Systeme.

Bildquelle: Stop Sign by Cuputo; Noun Project; CC BY 3.0