Les algorithmes n'ont pas de limites. Il appartient donc aux humains de veiller à l’éthique autour de l'intelligence artificielle (IA), et de poser des principes qui protègeront les intérêts des apprenants. Découvrez nos réponses aux 3 risques majeurs de l’IA dans la formation.
Le potentiel de l’IA dans la formation est énorme. Notamment avec des dispositifs ultra personnalisés qui tiennent mieux compte des préférences d'apprentissage des apprenants et en prenant en charge les tâches à faible valeur ajoutée permettant aux formateurs de se focaliser sur ce qui a de la valeur. Mais pas d'angélisme. L’IA comporte aussi des risques.
Les algorithmes n'ont pas d'éthique
Seuls les humains qui conçoivent les algorithmes peuvent anticiper leurs effets, et réguler ces derniers. Un chercheur ou ingénieur n’ayant pas le recul nécessaire sur son travail, peut faire que la machine devienne folle. Un exemple ?
Amazon lance en 2014 son IA de recrutement. L’idée était de trouver les profils les plus pertinents. Après plus d’une année, Amazon se rend compte que l’IA excluait les profils de femmes sur certains postes. Pourquoi ? L’IA s’appuyait sur une base de données qui contenait plus de CV qualifiés d’hommes que de femmes. Le système en a déduit que les profils des hommes étaient préférables à ceux des femmes. Amazon décide d’arrêter le recrutement par IA en 2018.
Imaginez le scénario suivant : exclure des apprenants de profils nouveaux (nouvelles générations entrantes) car votre IA ne dispose pas suffisamment de data sur ces profils ?
Une prise de conscience de la nécessité de réguler
Lors de sa déclaration de politique générale du 4 Juillet 2017, Édouard Philippe a notamment mentionné la nécessité de poser un cadre éthique autour de l’intelligence artificielle :
• Transparence des algorithmes
• Création d’un groupe international d’experts sur l’IA pour organiser une expertise mondiale indépendante
• Créer des programmes d’éducation qui mettent transparence et loyauté au cœur de la formation
Dans leur rapport The Malicious Use of Artificial Intelligence : Forecasting, Prevention, and Mitigation, publié en février 2018, 26 spécialistes de l’IA fournissent des recommandations pour éviter ou limiter les principaux dangers.
Les 3 risques majeurs de l’IA dans la formation
Dans le cadre de la journée d'échanges du Cluster Innovation by Cegos dédiée à l'IA, nous avons cherché à identifier plus spécifiquement les risques potentiels associés à l'usage de l'IA en formation, en nous projetant sur des scénarios catastrophes plausibles.
Nous avons également cherché à formuler des principes qui permettraient de gérer ses 3 risques majeurs :
- L'enfermement
- La duperie
- La diffusion non contrôlée de la donnée
1. Le risque d'enfermement provoqué par l’IA
Scénario catastrophe:Imaginez une IA qui ne vous nourrirait en tant qu'apprenant que sur certains thèmes, parce que ce sont les plus pertinents ou parce qu'ils répondent le mieux à vos préférences d'apprentissage.
Ou une IA qui vous interdirait d'accéder à telle formation parce que vous n'avez pas le niveau requis ("vous avez le droit de regarder des épisodes de Tchoupy, pas plus !"), ou parce que votre état physiologique ou émotionnel n'est pas compatible avec cette formation ("vous n'avez pas suffisamment dormi cette nuit, donc vous n'êtes pas apte à apprendre ce matin", "je vous sens trop stressé, donc je vais arrêter la formation et nous reprendrons demain".).
Principe d'accessibilité aux parcours : chaque contenu dont dispose l'IA doit être accessible à tout individu, sauf s'il peut mettre en danger un être humain.
Principe de supervision humaine de toute utilisation de l'IA: l'apprenant doit pouvoir bénéficier d'un contact humain pour obtenir les informations de son parcours.
2. Le risque de duperie de l’IA
Scénario catastrophe:Imaginez que l'ensemble des formateurs soient remplacés par des tuteurs IA, et qu'in fine, vous réalisiez que votre "tuteur" est dans une logique uniquement productiviste, sans aucun supplément d'âme, sans désir réel de vous faire progresser.
Principe de transparence : obligation de déclarer si le tuteur est une IA ou un humain.
Scénario catastrophe:Imaginez que vous obteniez un score insuffisant pour un examen important, sans comprendre où vous vous êtes trompé et pourquoi vous n'êtes pas sélectionné.
Principe d'explicabilité de l'algorithme: l'apprenant doit pouvoir comprendre un score qui lui est attribué (comment il est construit, avec quelles règles…) ou les mécanismes qui sous-tendent toute décision le concernant.
Scénario catastrophe:Imaginez un système de curation de contenu qui vous communiquerait des fake news (elles-mêmes générées par des IA spécialisées pour rendre ces news les plus crédibles possibles).
Principe de sincérité de la donnée : dans le cadre de curation de contenu, indiquer à l'apprenant comment l'algorithme réalise son sourcing, et si le contenu a été ou non approuvé par un expert (avec accès possible à l'expert).
3. Le risque de diffusion non contrôlée de la donnée
Scénario catastrophe : Imaginez que toutes vos données d'apprentissage soient divulguées au sein de l'entreprise, ainsi que vos préférences d'apprentissage (dans l'objectif que toutes et tous puissent s'y adapter).
Imaginez qu'un échec subi au début de votre carrière vous suive toute votre vie professionnelle.
Principe du consentement de la personne sur la collecte des données : tenir compte de la pédagogie différenciée, mais bien protéger les données personnelles confidentielles :
- Données statistiques anonymisées
- Différencier les données d'intérêt public des données obligatoires à partager, que l’on peut choisir de ne pas donner
- Disposer d'un droit de retrait (les capteurs disent que c'est ok, mais j'ai le droit de dire non), en vue de renégocier mon objectif / d'échanger avec un humain…
- Donner le droit d'effacer les données / l'algorithme d'oubli
Retrouvez notre infographie résumant les risques éthiques de l’IA et ses antidotes
Cet article fait partie d’une série dédiée à l’IA et nous espérons qu’il aura contribué à vous préparer pour négocier ce virage majeur.
Nos précédents billets :
Comment l’IA va changer le métier de formateur
Quelles missions pour les compagnons d’apprentissage grâce à l’IA ?
De nouveaux compagnons d’apprentissage émergent grâce à l’IA
Ces billets ont été rédigés par des êtres humains, et visés par le comité d'experts suivants : Fabienne Bouchut, François Debois et Jonathan Tronchet que nous remercions pour la mise en forme.
