Die Nutzung von Anwendungen, die auf algorithmischen Systemen oder künstlicher Intelligenz (KI) basieren, ist an Schulen bereits weit verbreitet. Die untenstehende Abbildung macht klar: Bereits über 80% der Schülerinnen und Schüler ab der Sekundarstufe I nutzen KI-basierte Übersetzungsprogramme und auch Textgeneratoren werden in Gymnasien sowie in der Berufsbildung rege genutzt. Weniger klar ist, wie häufig auch in der Bildungsverwaltung und Schulorganisation algorithmische Systeme und KI eingesetzt werden. Verlässliche Zahlen dazu fehlen. Gleichwohl besteht auch in diesen Anwendungsfeldern durchaus Potenzial für den Einsatz solcher Systeme.

KI in der Bildung
Nutzung von KI ist in den Schulen angekommen
Anmerkung: Insgesamt wurden im Jahr 2024 rund 5'300 Schülerinnen und Schüler zwischen 8 und 18 Jahren zur Nutzung von KI in der Schule befragt. Dabei wurde bei der Befragung zwischen folgenden KI-Anwendungen unterschieden: Textgeneratoren, Übersetzungsprogramme und Bildgeneratoren. Die Resultate werden nach Schulstufen ausgewiesen. Quelle: SKBF (2024).

Herausforderungen algorithmischer Systeme

Jeder Einsatz von algorithmischen Systemen bringt auch Herausforderungen mit sich, die vom Bildungssystem angegangen werden müssen. So führt die Datenbearbeitung durch algorithmische Systeme zu Unsicherheiten bezüglich rechtlicher Fragen. Wie eine von uns in Auftrag gegebene rechtliche Studie zeigt, verunmöglicht der heutige datenschutzrechtliche Rahmen die Nutzung von algorithmischen Systemen in der Bildung aber nicht per se.

Zu klären bleibt vielmehr die folgende Grundsatzfrage: Erlauben die Bildungsgesetze, welche die zulässigen Datenbearbeitungen für die Erfüllung des Bildungsauftrages definieren, auch Datenbearbeitungen durch KI-Systeme? Letztere stehen nämlich unter anderem zum Grundsatz der Verhältnismässigkeit (Datenminimierung) in einem Spannungsverhältnis: KI-Systeme funktionieren besser, wenn mehr Daten bearbeitet werden.

Zudem führen algorithmische Systeme in der Bildung in folgenden Themenfeldern zu Herausforderungen:

  • Manipulation und Transparenz: Generative KI-Systeme können für Manipulation verwendet werden, insbesondere dann, wenn nicht erkennbar ist, dass es sich um KI-generierte Inhalte handelt. Nebst der Erkennbarkeit beim Einsatz, muss bei automatisierten Einzelentscheidungen erklärbar sein, wie die Resultate algorithmischer Systeme zustande kommen. Gerade KI-Systeme gelten nach heutigem Stand der Forschung in aller Regel aber als Black-Box-Systeme, was eine praxistaugliche Erklärbarkeit der Entscheidfindung erschwert.
  • Diskriminierung: Das Bildungssystem darf niemanden diskriminieren. Algorithmische Systeme können Diskriminierung aber verstärken. Ein Grund dafür ist, dass KI-Systeme diskriminierende Resultate generieren können, da sie in den Trainingsdaten vorhandene Verzerrungen reproduzieren.
  • Chancengerechtigkeit: Der Zugang zu Bildung soll allen gleichermassen möglich sein. Die starke Nutzung von KI in der Schule (vgl. Abbildung) kann die Chancengerechtigkeit etwa dann negativ beeinflussen, wenn es sich um Dienste handelt, bei denen Bezahlversionen bessere Resultate liefern.

Damit diese Herausforderungen adressiert werden können, bietet sich eine Reihe an rechtlichen und organisatorischen Massnahmen sowie ein stärkerer Fokus auf die in algorithmischen Systemen verwendeten Daten an.

Klärung grundsätzlicher Rechtsfragen

Die Frage, ob die Bildungsgesetze den Einsatz von algorithmischen Systemen zur Datenbearbeitung erlauben, muss mittels kantonaler Rechtsgutachten geklärt werden. Dabei gilt es die Art und Weise wie algorithmische Systeme Daten bearbeiten auf ihre Zulässigkeit im Rahmen des Bildungsauftrages zu prüfen. Denn: Wenn die Art und Weise der Bearbeitung von Personendaten ein besonderes Risiko für die Grundrechte der betroffenen Personen darstellen (z.B. durch ein Profiling), muss sie in einer gesetzlichen Grundlage im formellen Sinn festgehalten werden.

Geht die Bearbeitung von Personendaten durch algorithmische Systeme in Art und Inhalt über den Bildungsauftrag hinaus, muss auf Ebene des Kantons – oder besser koordiniert auf interkantonaler Ebene – eine sorgfältige Güterabwägung vorgenommen werden (vgl. Info-Box). Sollen algorithmische Systeme eingesetzt werden, kann eine neue gesetzliche Grundlage im Bildungsrecht den Einsatz legitimieren. Zeigt die Güterabwägung, dass die Risiken den Nutzen übersteigen, sollte auf einen Einsatz von algorithmischen Systemen verzichtet werden. Bei dieser Güterabwägung können sogenannte «Sandboxen» oder Pilotprojekte wichtige Unterstützung bieten.

KI-Regulierungsvorhaben auf Bundesebene

Die Diskussionen zu Regulierungen zum Thema KI werden mit der Erarbeitung einer Vernehmlassung zur Umsetzung der KI-Konvention des Europarates auch auf Bundesebene andauern. Das Bildungssystem muss diesbezüglich die eigenen Bedürfnisse eruieren, bündeln und wo nötig koordiniert auf den politischen Prozess Einfluss nehmen.

Stärkung von Transparenz und Schutz vor Manipulation

Zur Verbesserung der Transparenz und als Prävention gegen Manipulation soll der Einsatz von algorithmischen Systemen in der Bildung offengelegt werden. Für die Offenlegung bietet sich einerseits das Führen eines öffentlichen Verzeichnisses für algorithmische Systeme an. Die Erstellung des Verzeichnisses schafft für die Bildungsverwaltung selbst einen Überblick, wo überall algorithmische Systeme eingesetzt werden. Die öffentliche Verfügbarkeit des Verzeichnisses kann zudem Vertrauen gegenüber dem Einsatz algorithmischer Systeme aufbauen und diesbezüglich mehr Transparenz schaffen.

Andererseits sollen auch Interaktionen mit und Inhalte aus algorithmischen Systemen, die explizit im Bildungskontext stattfinden bzw. verwendet werden, für alle Beteiligten erkennbar und damit transparent sein. Dazu soll für Schulen und Bildungsverwaltungen eine möglichst einfach gehaltene Informationspflicht für Interaktionen zwischen Menschen und algorithmischen Systemen (z.B. mit einem Chatbot) oder auch für von KI-generierte Inhalte (z.B. in einer Lernapplikation) gelten.

Schliesslich dürften algorithmische Systeme künftig öfter für die Entscheidfindung eingesetzt werden – was in gewissen Situationen Entscheidungen durchaus optimieren kann. Um diese Zusammenarbeit zwischen algorithmischen Entscheidsystemen und Menschen so transparent wie möglich zu gestalten, sollte die bestehende Informationspflicht bei «automatisierten Einzelentscheidungen» (Art. 21 DSG) auf «weitgehend automatisierte Einzelentscheidungen» ausgedehnt werden. Die Informationspflicht könnte dabei einem risikobasierten Ansatz folgen: Bei Entscheidungen, die auf algorithmischen Systemen basieren und einen erheblichen Einfluss auf Lehrpersonen, Schülerinnen und Schüler sowie deren Erziehungsberechtigte haben, soll die Informationspflicht strikt ausgestaltet werden (z.B. bei Promotionsentscheiden). Umgekehrt ist die Informationspflicht zu lockern, wenn Entscheide keine weitreichenden Auswirkungen haben.

Sicherung von Qualitätsstandards und Chancengerechtigkeit

Damit die Gefahr von Diskriminierungen durch den Einsatz insbesondere von KI-Systemen im Bildungswesen minimiert werden kann, muss ein Augenmerk auf Datenrichtigkeit und Datenqualität gelegt werden. Wo machbar, müssen daher für Input- und Output-Daten von KI-Systemen regelmässige Qualitätskontrollen stattfinden. Diesbezügliche Qualitätsstandards sind idealerweise auf übergeordneter Handlungsebene zu definieren. Anhaltspunkte für den Inhalt solcher Qualitätsstandards ergeben sich aus internationalen Regulierungsvorhaben, Forschungsprogrammen (z. B. KITQAR) oder Data-Governance-Überlegungen der öffentlichen Hand.

Auch mit Blick auf die Chancengerechtigkeit ist das Bildungssystem gefordert. Ab Sekundarstufe I sollten allen Schülerinnen und Schülern Basisvarianten von KI-Systemen zugänglich gemacht werden. Die vollumfängliche Chancengerechtigkeit kann auch ein solches Angebot nicht herstellen. Zumindest aber würde eine «Grundversorgung» mit generativen KI-Systemen allen Schülerinnen und Schülern erlauben, Erfahrungen im Umgang mit solchen Systemen zu sammeln. Wenn immer möglich, sind im Sinne der digitalen Souveränität der Schulen und Bildungsverwaltungen Open-Source-Lösungen vorzuziehen.

Mit Nutzung Schritt halten

Die eingangs gezeigte Abbildung verdeutlicht: Algorithmische Systeme und vor allem KI sind im Schulalltag angekommen. Das Bildungssystem bekundet dabei bisweilen Mühe, mit dieser raschen Diffusion bei der Nutzung Schritt zu halten. Damit algorithmische Systeme nicht zu Manipulation, Diskriminierung und Chancenungerechtigkeit führen, ist das Bildungssystem gefordert, rasch rechtliche und organisatorische Massnahmen zu ergreifen und die Datenqualität in algorithmischen Systemen zu überwachen. So kann es gelingen, die vielen Potenziale algorithmischer Systeme in der Bildung nutzbar zu machen.

 

Weiterführende Links