Lorsqu'en été 2021, la Confédération et les cantons nous ont chargés du développement d'une politique d'utilisation des données pour l'espace suisse de formation, l'intelligence artificielle (IA) dans la formation était encore un sujet de niche. Un an et demi plus tard, l'IA est sortie de l'ombre quasiment du jour au lendemain, notamment sous la forme de chatbots intelligents.
Cette évolution disruptive a ouvert une multitude de nouveaux cas d'application pour l'IA dans la formation, mais elle soulève également de nombreuses questions ouvertes jusqu'à aujourd'hui. Par exemple, les bases légales pour l'utilisation de l'IA dans la formation. Afin de clarifier la situation, nous avons commandé au «Center for Information Technology Society and Law» (ITSL) de l'Université de Zurich un rapport intitulé «État des lieux juridique du développement et de l'utilisation de l'IA dans l'espace de formation suisse».
Système d'IA: définition dans le présent rapport
Dans le présent rapport, on entend par système d'IA un système qui a été entraîné à l'aide de l'apprentissage automatique. Il ne suit pas des règles imposées par l'homme, mais reconnaît des relations statistiques dans les données et développe à partir de celles-ci des règles pour passer d'un input à un output.
En se basant sur quatre cas d'application – l'apprentissage personnalisé, l'évaluation des performances en vue de la promotion, l'élaboration de l'horaire et la répartition des écoles et des classes – l'ITSL a étudié l'utilisation des systèmes d'IA dans différents domaines du système éducatif et en se concentrant sur les questions juridiques (de protection des données). En effet, selon le cas d'application, les systèmes d'IA traitent de grandes quantités de données personnelles des élèves, du corps enseignant et des responsables légaux. Dans ce contexte, la licéité de l'utilisation des systèmes d'IA est au centre des préoccupations.
Nous résumons ci-après quelques-unes des conclusions du rapport. Il convient de garder à l'esprit qu'il s'agit de généralisations. Chaque utilisation de systèmes d'IA doit en fin de compte être évaluée au cas par cas sur la base du cadre juridique applicable.
Base légale pour l'utilisation de systèmes d'IA
Indépendamment de la technologie d'IA, il est clair que si des données personnelles sont traitées dans un système, l'utilisation d'un tel système est soumise à la loi sur la protection des données nationale (privés et administration fédérale) ou cantonale (administration cantonale) correspondante. Si des données personnelles sensibles sont traitées, par exemple dans le cas d'une attribution de classe basée sur l'IA et tenant compte des données de santé, une base légale explicite est généralement nécessaire pour ce cas d'application. Cela vaut également pour le profilage, qui pourrait par exemple se produire dans le cas d'un assistant IA personnalisé, lorsqu'un grand nombre de «données de performance» d'élèves individuels sont traitées de manière automatisée sur une longue période.
Les défis pour la législation dans le domaine de la formation (par ex. les lois cantonales sur l'école obligatoire) sont plus spécifiques à l'IA. En effet, les systèmes d'IA sont en mesure d'identifier des relations et de tirer des conclusions qui dépassent largement les capacités des êtres humains ou d'autres systèmes. Le rapport conclut donc comme suit: actuellement, on ne sait pas encore de manière définitive si les bases légales spécifiques à l'éducation qui règlent le traitement des données personnelles en vue de l'accomplissement de la mission éducative englobent également l'utilisation de systèmes d'IA complets.
Les responsabilités sont indépendantes des systèmes d'IA
Les systèmes d'IA, comme d'autres produits numériques, sont souvent achetés par les établissements éducatifs en tant que services auprès de tiers. Cela peut conduire à ce que des données personnelles soient traitées par des tiers et à ce que se pose la question de la responsabilité en matière de protection des données.
Selon le rapport, cette question ne doit pas être évaluée différemment simplement parce qu'un système d'IA est utilisé. Il convient donc de clarifier qui est le responsable et qui est le sous-traitant. En règle générale, l'école devrait intervenir en tant que responsable et les fournisseurs de systèmes d'IA (ainsi que les éventuels fournisseurs de cloud) en tant que sous-traitants des données. Mais ici aussi, la répartition des rôles dépend de la constellation dans chaque cas.
Les données personnelles comme données d'entraînement
Une question spécifique à l'IA est celle de l'utilisation admissible de données personnelles pour l'entraînement ou le développement (ultérieur) de systèmes d'IA. Ici aussi, le rapport souligne l'importance de l'évaluation au cas par cas. En principe, le rapport indique que l'utilisation de données par l'école à des fins d'entraînement ou de développement est plutôt autorisée si les données ont été collectées à l'origine dans un but similaire à celui de la formation. En revanche, l'utilisation de données personnelles pour l'entraînement et le développement par le fournisseur de l'outil d'IA à ses propres fins ne devrait pas être couverte par la base légale, car elle serait probablement liée à un changement de finalité. Une utilisation dans un but autre que celui prévu par la loi n'est possible que dans des cas exceptionnels.
Le rapport attribue la plus grande pertinence pratique au cas exceptionnel de la «communication à des fins non personnelles», lorsqu'il s'agit d'utiliser des données personnelles pour l'entraînement ou le développement (ultérieur) de systèmes d'IA. Il reste toutefois à clarifier si un tel traitement de données peut effectivement être qualifié de traitement non personnel.
Prise de décision en utilisant les systèmes d'IA
Une dernière question, étroitement liée à l'IA, concerne l'utilisation des systèmes d'IA pour la prise de décision. Il serait par exemple envisageable qu'une évaluation de performance liée à une promotion ou qu'une affectation à une classe pour une élève ou un élève soit effectuée par un système d'IA.
Si le système d'IA est utilisé pour une décision individuelle automatisée, une obligation d'information peut découler de la base légale, selon le contexte. En outre, les personnes concernées peuvent demander des informations sur la logique de la décision, en vertu du droit d'accès prévu par la législation sur la protection des données. Cependant, il semble difficile, du point de vue actuel, de comprendre cette logique, car les décisions des systèmes d'IA ne sont pas entièrement transparentes.glossary:décision_individuelle_automatisée
Même si la décision liée à une disposition n'a pas été prise de manière automatisée, le principe reste le même: les personnes concernées ont le droit à une justification. Toutefois, il n'est pas encore clair si les résultats d'un système d'IA peuvent être justifiés de manière compréhensible.
Utilisation possible de l'IA dans la formation du point de vue juridique
Le rapport montre que de nombreuses questions soulevées par l'IA, notamment en ce qui concerne les responsabilités, peuvent être abordées avec les règles existantes en matière de protection des données. Il est, le cas échéant, nécessaire d'agir dans la législation scolaire. En particulier, lorsqu'un système d'IA traite des données personnelles sensibles, il est nécessaire de vérifier si les dispositions générales de ces lois sont suffisantes. En effet, le traitement de données personnelles sensibles nécessite une base légale explicite.
De plus, le rapport fournit des indications sur des approches de développement, tant au niveau technique que systémique. Sur le plan technique, les efforts de recherche autour de «l'IA explicable» sont mentionnés. Ces approches devraient permettre que les résultats des systèmes d'IA deviennent plus compréhensibles et traçables à l'avenir, de manière à pouvoir être justifiés de façon juridiquement suffisante et à permettre le respect du droit à l'information.
Sur le plan systémique, le rapport identifie principalement trois approches de développement. Premièrement, les écoles ou administrations qui utilisent des systèmes d'IA devraient informer de manière adéquate. Même si l'obligation d'information disparaît dès lors que le traitement des données repose sur une base légale, l'utilisation de systèmes d'IA devrait être abordée dans un esprit de construction de confiance. Deuxièmement, des processus clairs doivent être définis pour empêcher les décisions individuelles automatisées lors de l'utilisation de systèmes d'IA. Cela doit garantir que les personnes responsables de la décision examinent les recommandations des systèmes d'IA à la lumière de leurs propres connaissances et expériences. Troisièmement, et en vue de clarifier la situation juridique dans les législations scolaires, le rapport propose des clauses pilotes. Celles-ci pourraient, par exemple, permettre l'introduction provisoire de systèmes d'IA au niveau réglementaire, en attendant que les bases légales nécessaires soient établies. De tels projets pilotes contribuent toujours à l'apprentissage systémique et donc à la réponse à de nombreuses questions en suspens.
Ce rapport a été résumé en français. Seule la version intégrale, disponible uniquement en allemand, fait foi (vers le rapport intégral).
Le résumé et l'interprétation du rapport référencé reflètent la lecture d'Educa. Ils ne correspondent pas nécessairement à celle des autrices et auteurs de l'étude. Les résultats du rapport reflètent l'avis de l'ITSL. Celui-ci ne correspond pas nécessairement à celui du Secrétariat d'État à la formation, à la recherche et à l'innovation (SEFRI) et de la Conférence des directrices et directeurs cantonaux de l'instruction publique (CDIP).