Retour aux formations
IA & Data
Audit et évaluation des systèmes d’IA – AI Act, risques, biais, robustesse et traçabilité
3 jour(s) • 18h
Description
Cette formation permet d’acquérir une méthode structurée pour évaluer un système d’intelligence artificielle à partir de preuves documentaires, organisationnelles et techniques. Les participants apprennent à cadrer une mission d’évaluation, identifier les risques, examiner les données et les biais, analyser la performance et la robustesse, vérifier la supervision humaine et la traçabilité puis formaliser des constats et recommandations. La formation utilise l’AI Act comme l’un des principaux cadres de référence, tout en tenant compte du niveau de risque, du rôle de l’organisation et du calendrier d’application des exigences. Elle s’appuie sur un système d’IA fil rouge évalué progressivement pendant les trois jours.
Objectifs pédagogiques
- Cadrer l’évaluation d’un système d’IA
- Identifier les exigences et critères d’évaluation applicables
- Distinguer preuve, déclaration, observation et hypothèse
- Construire un registre de risques
- Analyser la qualité des données et les biais
- Interpréter des indicateurs de performance et d’équité
- Définir des tests de robustesse adaptés
- Évaluer les mécanismes de supervision humaine
- Vérifier la traçabilité et la documentation
- Qualifier et hiérarchiser des constats
- Formuler des recommandations exploitables
- Construire un rapport et un plan d’actions
Public concerné
Cette formation s’adresse notamment aux auditeurs internes, responsables risques et conformité, responsables IA et gouvernance, chefs de projets IA / Data, Data Scientists et AI Engineers impliqués dans l’évaluation, RSSI et spécialistes cybersécurité, responsables qualité, DPO ou juristes participant à des équipes d’évaluation, architectes et responsables techniques, membres d’équipes chargées de contrôler ou valider des systèmes d’IA. La formation est particulièrement adaptée à une équipe d’évaluation pluridisciplinaire, combinant compétences métier, risques et techniques.
Prérequis
Les participants doivent connaître les principes généraux de l’IA, comprendre les notions de modèle, données d’entraînement, données de test et métriques de performance, disposer de notions générales de gestion des risques, et savoir interpréter des résultats chiffrés simples. Une connaissance générale de l’AI Act constitue un plus mais n’est pas obligatoire. La programmation n’est pas un prérequis.
Déroulé du programme
1
Cadrer l’audit d’un système d’IA – 2 h 30
2h
- Distinguer audit technique, risques, gouvernance et conformité
- Identifier la finalité et le contexte d’utilisation du système
- Identifier les parties prenantes
- Déterminer le rôle de l’organisation : fournisseur, déployeur ou autre acteur
- Comprendre l’approche par les risques de l’AI Act
- Identifier les critères d’évaluation pertinents
- Définir le périmètre de l’audit
- Identifier les documents, données et preuves à collecter
- Construire un plan d’évaluation
2
Repères AI Act :
- classification des systèmes ;
- rôle des différents acteurs ;
- exigences applicables selon le niveau de risque ;
- prise en compte du calendrier réglementaire.
3
Travaux pratiques : À partir du système fil rouge : définir le périmètre ; identifier les parties prenantes ; qualifier le rôle de l’organisation ; recenser les preuves nécessaires ; construire une première grille d’audit.
4
Évaluer les risques et les impacts – 3 heures
3h
- Identifier les risques liés à l’usage prévu
- Examiner les usages raisonnablement prévisibles
- Identifier les personnes et processus potentiellement affectés
- Évaluer probabilité, gravité et criticité
- Examiner les risques liés à la supervision humaine
- Identifier les risques liés aux fournisseurs
- Examiner les mesures de maîtrise existantes
- Évaluer le risque résiduel
- Vérifier la prise en compte du cycle de vie du système
5
Repères AI Act :
- gestion continue des risques ;
- usage prévu et mauvais usage raisonnablement prévisible ;
- risques pour la santé, la sécurité et les droits fondamentaux ;
- nécessité de définir des métriques et seuils adaptés aux tests.
6
Travaux pratiques : construire plusieurs scénarios de risques ; les évaluer ; examiner les contrôles existants ; identifier les risques insuffisamment maîtrisés ; compléter un registre de risques ; formuler un premier constat d’audit.
7
Auditer les données, les biais et l’équité – 3 heures
3h
- Examiner l’origine et la qualité des données
- Vérifier leur adéquation avec la finalité du système
- Identifier les traitements appliqués aux données
- Examiner représentativité et couverture
- Identifier les principales sources de biais
- Identifier les populations susceptibles d’être affectées
- Comparer performance globale et performance par sous-population
- Choisir des indicateurs d’équité adaptés au contexte
- Examiner les limites connues
- Vérifier la documentation des données
8
Repères AI Act :
- gouvernance des données ;
- origine et collecte ;
- préparation et nettoyage ;
- hypothèses concernant les données ;
- représentativité et qualité des jeux utilisés.
9
Travaux pratiques : À partir d’un jeu de résultats pédagogique : analyser la distribution des données ; identifier plusieurs déséquilibres ; comparer les performances entre groupes ; interpréter des métriques d’équité ; identifier la cause probable d’un écart ; proposer une mesure corrective ; rédiger un constat étayé par une preuve quantitative.
10
Évaluer performance, robustesse et sécurité – 3 heures
3h
- Définir les métriques adaptées à la finalité
- Définir des seuils d’acceptation
- Tester les situations normales et limites
- Évaluer la stabilité face aux variations d’entrée
- Tester des données incomplètes ou inhabituelles
- Identifier les modes de défaillance
- Comprendre les principes des tests adversariaux
- Examiner les risques de cybersécurité liés à l’IA
- Vérifier le comportement après modification du système
11
Pour les systèmes génératifs :
- erreurs factuelles et hallucinations ;
- non-respect des instructions ;
- contenus indésirables ;
- sensibilité aux formulations ;
- prompt injection : principes et impacts ;
- comportement face à des entrées non fiables.
12
Repères AI Act :
- exactitude ;
- robustesse ;
- cybersécurité ;
- fonctionnement cohérent tout au long du cycle de vie.
13
Travaux pratiques : définir une batterie de tests ; examiner des résultats normaux et dégradés ; comparer les résultats aux seuils attendus ; identifier plusieurs défaillances ; qualifier leur criticité ; proposer des tests complémentaires.
14
Vérifier transparence, supervision humaine et traçabilité – 3 heures
3h
- Vérifier les informations communiquées aux utilisateurs
- Examiner la documentation des capacités et limites
- Identifier le rôle réel de l’humain dans la décision
- Vérifier les possibilités d’intervention, de correction ou d’arrêt
- Évaluer le risque d’automatisation excessive
- Examiner les événements journalisés
- Vérifier la conservation des traces
- Identifier les versions du modèle, des données et des paramètres
- Reconstituer le parcours d’un résultat
- Vérifier la documentation technique disponible
15
Repères AI Act :
- information des déployeurs ;
- transparence ;
- contrôle humain effectif ;
- journalisation permettant la traçabilité ;
- documentation appropriée.
16
Travaux pratiques : analyser un dispositif de supervision humaine ; identifier les traces indispensables ; reconstruire la chaîne ayant produit un résultat ; relever les preuves manquantes ; rédiger un constat complet selon la structure : critère → preuve → constat → risque → recommandation.
17
Formaliser et présenter les conclusions de l’audit – 3 h 30
3h
- Consolider le plan d’audit
- Croiser entretiens, documents et résultats de tests
- Distinguer : preuve ; observation ; hypothèse ; opinion.
- Qualifier un écart
- Évaluer sa criticité
- Identifier la cause lorsque cela est possible
- Rédiger un constat clair et factuel
- Formuler une recommandation proportionnée
- Prioriser les actions correctives
- Définir responsables, échéances et critères de clôture
- Construire la synthèse exécutive
- Adapter la restitution à un comité de décision
- Organiser le suivi et la réévaluation
18
Structure d’un constat d’audit :
19
1. le critère utilisé ;
20
2. la preuve examinée ;
21
3. le constat factuel ;
22
4. le risque ou impact associé ;
23
5. la recommandation ;
24
6. le niveau de priorité.
25
Référentiels mobilisables :
- AI Act ; ISO/IEC 42001 ; ISO/IEC 23894 ; ISO/IEC 42005 ; politiques et référentiels internes ; exigences métier ou contractuelles.
Informations
Durée
3 jour(s)
18h
Tarif
Sur demande
Formations similaires
IA & Data
Migration vers le Cloud
2 jour(s)
Sur demande
IA & Data
Agents IA — Concevoir des systèmes autonomes avec LangChain et LangGraph - Avancé
3 jour(s)
2200 € HT
IA & Data
AI Act européen — Comprendre vos obligations et vous mettre en conformité - Niveau débutant
1 jour(s)
Sur demande
IA & Data
Analyse bayésienne (4-107)
3 jour(s)
Sur demande