L’AI Act et le nouveau rôle du DSI comme garant de l’IA de confiance

Alors que l’Union Européenne se positionne à l’avant-garde de la régulation numérique avec le Cyber Resilience Act, elle établit en parallèle un cadre tout aussi fondateur pour l’intelligence artificielle : l’AI Act. Prévu pour entrer en application progressivement jusqu’en 2026, ce règlement est le premier de son genre à l’échelle mondiale, visant à encadrer le développement et l’utilisation de l’IA sur la base d’une approche par les risques. Pour les DSI, l’AI Act représente bien plus qu’une nouvelle contrainte réglementaire ; il consacre une évolution fondamentale de leur rôle. Ils ne sont plus de simples fournisseurs de technologie permettant aux métiers d’innover avec l’IA, mais deviennent les garants centraux de l’IA de confiance (Trustworthy AI) au sein de l’organisation.  

Le but de notre article est de fournir une checklist de conformité et de détailler les actions concrètes à mener pour les DSI. En effet, les exigences de l’AI Act en matière de gouvernance des données, de documentation, de détection des biais, de robustesse et de supervision humaine sont profondément techniques et centrées sur la donnée. Ces responsabilités incombent naturellement aux équipes IT, data et sécurité. Le DSI se retrouve donc en première ligne, chargé de mettre en place le cadre de gouvernance qui préviendra les risques légaux, financiers et réputationnels liés à une utilisation non maîtrisée de l’IA. Il passe d’un rôle de facilitateur à celui de régulateur interne, le « Chief Trust Officer » de l’ère de l’IA.  

Cet article propose une checklist opérationnelle structurée autour des obligations clés de l’AI Act pour les systèmes d’IA classés à « haut risque ». C’est cette catégorie qui concernera la majorité des grandes entreprises, notamment dans les secteurs de la finance (scoring de crédit), des ressources humaines (tri de CV), de la santé (aide au diagnostic) ou de la gestion des infrastructures critiques.

Checklist 1 – Classification et documentation des systèmes d’IA

La première étape de toute démarche de conformité à l’AI Act est de savoir à quoi l’on a affaire. Il est impératif de recenser l’ensemble des systèmes d’IA utilisés ou développés au sein de l’entreprise et de les classifier selon l’échelle de risque définie par le règlement (risque inacceptable, haut risque, risque limité, risque minimal).

Déterminer si votre système d’IA est à « haut risque »

Un système d’IA est considéré comme à « haut risque » s’il est utilisé dans l’un des domaines listés à l’Annexe III du règlement et qu’il pose un risque significatif pour la santé, la sécurité ou les droits fondamentaux des personnes. La responsabilité du DSI est de mettre en place un processus de classification systématique pour chaque nouveau projet d’IA.

Un arbre de décision simple peut guider ce processus :

1. Le système est-il utilisé dans un des domaines listés à l’Annexe III?
   • Exemples : Identification biométrique, gestion des infrastructures critiques (eau, gaz, électricité), éducation et formation professionnelle (évaluation des étudiants), emploi (tri de CV, évaluation des employés), accès à des services essentiels (évaluation de la solvabilité), application de la loi, etc.
2. Si oui, le système pose-t-il un risque significatif?
   • La plupart des cas d’usage listés seront considérés comme posant un risque significatif par défaut. Par exemple, un système qui présélectionne des candidats pour un poste aura un impact direct sur les opportunités d’emploi et sera donc classé à haut risque.

Le DSI doit maintenir un registre centralisé de tous les systèmes d’IA, leur classification de risque et la justification associée. Ce registre sera le document de référence pour les auditeurs et les régulateurs.

Les exigences de documentation technique : Le « passeport » de votre modèle

Pour chaque système identifié comme étant à haut risque, l’AI Act exige la constitution d’une documentation technique exhaustive avant sa mise sur le marché ou sa mise en service. Cette documentation est le « passeport » du modèle d’IA ; elle doit permettre aux autorités de vérifier sa conformité. Loin d’être une simple formalité bureaucratique, elle constitue un outil essentiel de gestion du risque et de gouvernance interne.

Le DSI doit s’assurer que cette documentation, détaillée à l’Annexe IV du règlement, contient au minimum :

• Une description générale du système : son architecture, sa finalité, ses utilisateurs cibles, les hypothèses de conception.
• Les algorithmes utilisés : une description des méthodes d’apprentissage, des paramètres et de la logique du modèle.
• Les données d’entraînement, de validation et de test : leur provenance, leur périmètre, leurs caractéristiques principales et les méthodes de gouvernance des données appliquées (voir Checklist 2).
• Les métriques de performance et de robustesse : les indicateurs de précision, les limites connues du système et le niveau de robustesse aux erreurs ou aux attaques.
• Les systèmes de gestion des risques : la description des risques identifiés et des mesures prises pour les atténuer.
• Les instructions d’utilisation et les mécanismes de supervision humaine.

Checklist 2 – Traçabilité et gouvernance des données d’entraînement

L’AI Act place la qualité des données au cœur de la conformité. Le principe « garbage in, garbage out » (des données de mauvaise qualité en entrée produisent des résultats de mauvaise qualité en sortie) acquiert une dimension légale. Un modèle d’IA, aussi sophistiqué soit-il, ne sera jamais meilleur que les données sur lesquelles il a été entraîné. Par conséquent, une gouvernance des données mature n’est plus une option, mais le fondement même de toute stratégie de conformité à l’AI Act. La capacité à prouver l’intégrité, la pertinence et l’absence de biais dans les données d’entraînement devient la principale ligne de défense de l’entreprise.

Assurer la provenance, la pertinence et l’intégrité des datasets

L’article 10 de l’AI Act exige que les jeux de données d’entraînement, de validation et de test soient « pertinents, représentatifs, exempts d’erreurs et complets ». Pour le DSI, cela se traduit par la mise en place de processus techniques et organisationnels rigoureux.

Les actions concrètes à mener incluent :

• Mettre en place une traçabilité des données (data lineage) : Il faut pouvoir documenter l’origine de chaque donnée, les transformations qu’elle a subies, et les raisons de son inclusion dans le jeu de données. Des outils de gouvernance des données peuvent automatiser une partie de ce suivi.
• Créer des « Datasheets for Datasets » : Inspiré par les travaux de recherche de Google, ce concept consiste à créer une fiche d’identité pour chaque jeu de données, documentant sa motivation, sa composition, son processus de collecte et ses usages recommandés ou déconseillés. C’est un élément de preuve essentiel de la diligence de l’entreprise.
• Valider la qualité des données : Mettre en œuvre des contrôles automatisés pour détecter les erreurs, les valeurs manquantes ou les incohérences dans les données avant qu’elles ne soient utilisées pour l’entraînement.

Méthodologies et outils pour l’audit des biais algorithmiques

L’une des exigences les plus critiques de l’AI Act est la détection, la prévention et l’atténuation des biais discriminatoires. Un modèle d’IA qui reproduit ou amplifie des biais existants dans la société peut entraîner des conséquences juridiques et réputationnelles désastreuses.

Le DSI doit collaborer avec les équipes de data science pour intégrer l’audit des biais comme une étape non négociable du cycle de vie des modèles :

• Identifier les types de biais potentiels : Il peut s’agir de biais de sélection (le jeu de données n’est pas représentatif de la population réelle), de biais de mesure (les données sont collectées de manière erronée pour certains groupes) ou de biais historiques (les données reflètent des préjugés passés).
• Utiliser des outils d’audit : De nombreuses bibliothèques open source (comme AIF360 d’IBM ou Fairlearn de Microsoft) et des solutions commerciales permettent de mesurer statistiquement les disparités de performance d’un modèle entre différents groupes démographiques (par exemple, par genre, origine ethnique, etc.).
• Appliquer des techniques de mitigation : Si des biais sont détectés, plusieurs stratégies peuvent être employées : le rééchantillonnage des données pour mieux représenter les minorités, la modification de l’algorithme d’apprentissage pour qu’il pénalise les décisions discriminatoires, ou le post-traitement des résultats du modèle pour rééquilibrer les prédictions. Le choix de la méthode doit être documenté et justifié.

Checklist 3 – Transparence, robustesse et supervision humaine

La confiance dans un système d’IA ne repose pas uniquement sur la qualité de ses données, mais aussi sur sa fiabilité en production et sur la capacité des humains à en garder le contrôle. L’AI Act formalise ces exigences à travers les concepts de supervision humaine, de robustesse technique et de transparence.

Mettre en œuvre les mécanismes de supervision humaine

L’article 14 de l’AI Act impose qu’une « supervision humaine effective » soit possible pour tous les systèmes à haut risque. Cela signifie que les opérateurs humains doivent être en mesure de comprendre, d’interpréter et, si nécessaire, d’annuler les décisions prises par l’IA.

Pour le DSI, cela a des implications directes sur la conception des applications qui intègrent l’IA :

• Concevoir des interfaces utilisateur adaptées : L’interface doit présenter non seulement la décision de l’IA, mais aussi les éléments qui ont conduit à cette décision (explicabilité) et un indicateur de confiance.
• Prévoir un « bouton d’arrêt » : Les opérateurs doivent avoir la capacité de désactiver le système d’IA instantanément en cas de comportement anormal ou de risque imminent.
• Définir des processus d’intervention : Les procédures doivent clairement indiquer quand et comment un humain doit intervenir pour valider, corriger ou rejeter une recommandation de l’IA.

Garantir la robustesse technique et la cybersécurité des modèles

L’article 15 exige que les systèmes d’IA à haut risque soient résilients face aux erreurs et aux tentatives de manipulation. Cette exigence crée un pont direct entre la conformité à l’AI Act et la discipline de la cybersécurité des modèles d’IA. Le DSI et le RSSI doivent collaborer pour protéger les modèles comme ils protègeraient n’importe quel autre actif critique de l’entreprise.

Cela implique de mettre en place des défenses contre des menaces spécifiques aux modèles d’IA, telles que les attaques adverses (qui visent à tromper le modèle avec des données subtilement modifiées) ou l’empoisonnement de données (qui corrompt le jeu de données d’entraînement). Ces menaces, qui seront explorées en détail dans le prochain article de ce dossier, ne sont plus seulement des sujets de recherche académique ; elles sont désormais des préoccupations réglementaires concrètes.

Domaine de Conformité	Exigence de l’AI Act	Actions Concrètes pour le DSI	Articles Pertinents
Documentation	Documentation technique complète et tenue à jour.	Créer un registre des systèmes d’IA. Rédiger la documentation technique selon l’Annexe IV.	Article 11, Annexe IV
Gouvernance des Données	Données d’entraînement de haute qualité, pertinentes et sans biais.	Mettre en place la traçabilité des données (data lineage). Conduire des audits de biais systématiques.	Article 10
Supervision & Robustesse	Supervision humaine effective. Robustesse technique et cybersécurité.	Concevoir des interfaces de supervision. Mettre en œuvre des tests de robustesse et de sécurité.	Article 14, Article 15
Transparence	Fournir des informations claires aux utilisateurs sur le fonctionnement du système.	Rédiger des instructions d’utilisation claires. Mettre en place des mécanismes d’explicabilité.	Article 13

Intégrer la conformité AI Act dans le cycle de vie MLOps

La conformité à l’AI Act ne peut être une réflexion après coup, ajoutée à la fin d’un projet. Tenter d’appliquer rétroactivement ces exigences de gouvernance des données, de documentation et de robustesse à un système existant serait une tâche herculéenne, coûteuse et probablement vouée à l’échec.

La seule approche viable est d’adopter une démarche de « Compliance by Design ». Le DSI doit piloter l’intégration des exigences de l’AI Act à chaque étape du cycle de vie des opérations de machine learning (MLOps), de l’idéation et de l’acquisition des données jusqu’au déploiement, au monitoring et au retrait du modèle. Chaque étape du pipeline MLOps — ingestion des données, entraînement, tests, déploiement — doit inclure des points de contrôle de conformité automatisés et des validations manuelles. C’est en faisant de la conformité une partie intégrante de la « chaîne de production » de l’IA que les entreprises pourront innover de manière responsable et durable dans le cadre réglementaire de 2026.