2. Datenschutzrecht

2.17. KI-Systeme und Datenschutz-Folgenabschätzungen

Werden mittels eines KI-Systems personenbezogene Daten verarbeitet und es ist " aufgrund der Art, des Umfangs, der Umstände und der Zwecke der Verarbeitung" von einem voraussichtlich hohem Risiko für die Rechte und Freiheiten der von der Verarbeitung betroffenen Personen auszugehen, dann ist der Verantwortliche gem. Art. 35 DS-GVO zu einer Datenschutz-Folgenabschätzung (DSFA) verpflichtet. In dieser ist zu ermitteln, welche Folgen die geplanten Verarbeitungsvorgänge für den Schutz der personenbezogenen Daten haben. Auch wenn die DS-GVO KI-Systeme in ihrer heutigen Verbreitung noch nicht explizit berücksichtigt, können diese von Art. 35 DS-GVO betroffen sein. Aufsichtsbehörden veröffentlichen Positiv-Listen mit Verarbeitungsvorgängen, bei denen eine DSFA für erforderlich gehalten wird. Für den öffentlichen Bereich hat der Bundesbeauftragte für Datenschutz und Informationsfreiheit (BfDI) eine solche veröffentlicht. Dort gibt es zwei Bereiche, welche auch für den Einsatz von KI-Systemen in der Schule von Relevanz sind:

"2. Die Verarbeitung umfasst eine automatisierte Entscheidungsfindung mit einer Wirkung, die zwar nicht alleine die Grundlage für Entscheidungen mit Rechtswirkung oder ähnlichen bedeutsamen Auswirkungen für die Betroffenen darstellen, aber einen wesentlichen Beitrag zu solchen Entscheidungen liefern."

und

"7. Bei der Verarbeitung werden Daten zu schutzbedürftigen Betroffenen verarbeitet. Dies umfasst insbesondere die folgenden Gruppen:
a. Kinder"

Ob ein hohes Risiko für Betroffene zu erwarten ist, hängt vom Einsatzzweck des KI-Systems ab. Verantwortliche können sich hier an der KI-Verordnung und deren Einteilung von KI-Systemen in Risiko-Kategorien orientieren. Wie der Name anzeigt, ist im Kontext der Bildung bei den sogenannten Hoch-Risiko-KI-Systemen von einem hohen Risiko auszugehen. Soll ein Hoch-Risiko-KI-System in der Schule zum Einsatz kommen, etwa eine Plattform zur Korrektur und Bewertung von Leistungsnachweisen, würde dieses die beiden erwähnten Kriterien der Positiv-Liste des BfDI erfüllen und den Verantwortlichen zu einer DSFA verpflichten.

Auch in der Orientierungshilfe Datenschutz bei KI-Systemen in der Bayerischen Verwaltung (S. 106ff) des Bayerischen Landesbeauftragten für den Datenschutz geht man davon aus, dass eine DSFA erforderlich ist, wenn es um „Bewerten oder Einstufen (Scoring)“ geht oder um „automatisierte Entscheidungsfindung mit Rechtswirkung oder ähnlich bedeutsamer Wirkung“.

Wie in einem späteren Kapitel erklärt wird, fällt ein KI-System nicht unter die Kategorie Hoch-Risiko-KI-System, wenn es im oben genannten Beispiel nur zur Vorbereitung genutzt wird, die eigentliche Bewertung aber durch die Lehrkraft selbst erfolgt. Inwieweit auch in diesen Fällen eine DSFA erforderlich sein wird, lässt sich momentan noch schwer abschätzen.