IA explicable

  • Concept
  • Avancé
  • Transversal
  • Toujours utilisé

En bref

L'IA explicable regroupe les méthodes qui permettent de comprendre et de justifier pourquoi un modèle d'intelligence artificielle a pris telle décision.

Définition complète

L’IA explicable (explainable AI, souvent abrégée XAI) regroupe l’ensemble des méthodes et outils qui permettent de comprendre, en termes clairs, pourquoi un modèle d’intelligence artificielle a produit tel résultat plutôt qu’un autre. Elle s’oppose à l’idée de « boîte noire », où un modèle donne une réponse sans qu’on puisse en retracer les raisons précises.

Par exemple, un algorithme qui refuse un crédit bancaire à un client peut, grâce à des techniques d’IA explicable, indiquer que ce refus s’explique principalement par un taux d’endettement élevé et une ancienneté professionnelle courte, plutôt que de se contenter d’un simple « refusé » sans justification.

Attention : plus un modèle est complexe et performant (comme certains grands réseaux de neurones), plus il est généralement difficile à expliquer précisément ; il existe souvent un compromis entre la précision brute d’un modèle et la facilité avec laquelle on peut comprendre son fonctionnement interne.

À quoi ça sert

L’IA explicable sert à instaurer de la confiance envers des décisions automatisées, en particulier lorsqu’elles ont un impact important sur une personne, comme un refus de crédit, un tri de candidature ou un diagnostic médical assisté. Sans explication, une décision automatisée peut sembler arbitraire, même si elle repose sur une logique réelle.

Elle aide aussi les entreprises à répondre à des obligations réglementaires, en particulier lorsque la loi impose de pouvoir justifier une décision automatisée qui affecte une personne, comme c’est le cas dans plusieurs textes européens sur la protection des données et sur l’intelligence artificielle.

Enfin, elle permet aux équipes techniques elles-mêmes de mieux détecter les erreurs ou les biais d’un modèle : en comprenant sur quels critères il se base réellement, on peut repérer s’il utilise, par exemple, un critère discriminatoire de façon détournée.

Cas d'usage typiques

– Justifier : expliquer à un client pourquoi un algorithme a refusé sa demande de prêt bancaire.
– Répondre : donner des éléments d’explication à un candidat écarté par un outil de tri automatique de CV.
– Prouver : démontrer la conformité réglementaire d’un outil de notation client utilisant l’intelligence artificielle.
– Auditer : vérifier qu’un modèle de détection de fraude ne se base pas sur des critères inappropriés.
– Rassurer : présenter à un client les principaux critères utilisés par un système de recommandation produit.
– Documenter : constituer un dossier de conformité pour un projet d’intelligence artificielle utilisé dans des décisions sensibles.

Ce que tu sauras faire

Savoir expliquer pourquoi certaines décisions automatisées nécessitent une justification compréhensible, et identifier dans quels contextes professionnels l'explicabilité d'un modèle devient une obligation plutôt qu'un simple confort.

Mises en situation

Situation 1 : un refus de crédit contesté

Contexte : Une banque utilise un algorithme pour évaluer les demandes de crédit à la consommation. Un client refusé demande des explications précises sur cette décision.

Application : Grâce à un outil d’IA explicable, le conseiller peut indiquer au client que le refus s’explique principalement par un taux d’endettement déjà élevé et un historique de retards de paiement récents.

Résultat attendu : Le client reçoit une explication claire et compréhensible plutôt qu’un simple refus, ce qui préserve la relation de confiance et permet éventuellement d’orienter le client vers une solution adaptée à sa situation.

Situation 2 : un tri de candidatures critiqué

Contexte : Une entreprise utilise un outil automatisé pour présélectionner les CV reçus en grand nombre pour un poste ouvert. Un syndicat interne s’inquiète d’un possible biais discriminatoire.

Application : Le service des ressources humaines fait auditer l’outil grâce à des méthodes d’IA explicable, afin de vérifier sur quels critères réels reposent les décisions de présélection.

Résultat attendu : L’audit révèle que l’outil se base principalement sur l’expérience et les compétences déclarées, sans critère discriminatoire caché, ce qui rassure les équipes internes et peut être présenté en toute transparence.

Situation 3 : une mairie qui déploie un outil d’aide à la décision

Contexte : Une mairie souhaite utiliser un outil d’intelligence artificielle pour prioriser les demandes de logement social, mais craint de ne plus pouvoir justifier ses décisions devant les administrés.

Application : Elle choisit un outil conçu pour rester explicable, capable d’indiquer clairement les critères (ancienneté de la demande, situation familiale, revenus) ayant conduit à un classement donné.

Résultat attendu : La mairie peut justifier chaque décision auprès des administrés et des élus, ce qui renforce l’acceptabilité de l’outil et limite les contestations.

Application guidée : arbitrer entre performance et explicabilité

Contexte : Une entreprise compare deux modèles pour détecter des transactions frauduleuses. Le modèle A, complexe, détecte 94 % des fraudes mais reste difficile à expliquer précisément. Le modèle B, plus simple, détecte 87 % des fraudes mais permet d’indiquer clairement les critères de chaque alerte.

Question : Quel modèle choisir pour un usage soumis à des obligations réglementaires de justification ?

Résultat attendu : Si la réglementation ou les enjeux de confiance client exigent de pouvoir justifier chaque décision, le modèle B peut être préférable malgré sa performance légèrement inférieure ; si aucune obligation d’explication forte ne s’applique et que la détection maximale prime, le modèle A peut être retenu, éventuellement complété par des outils d’explication a posteriori.

Application guidée : repérer un manque d’explicabilité problématique

Contexte : Un responsable RH utilise depuis six mois un outil de notation automatique des entretiens vidéo de recrutement, sans jamais avoir demandé comment les scores étaient calculés.

Question : Quel risque cette situation fait-elle courir à l’entreprise, et quelle action faut-il engager ?

Résultat attendu : L’entreprise s’expose à un risque de discrimination non détectée et à une difficulté à se justifier en cas de contestation ou de contrôle ; il faut demander au fournisseur une documentation claire sur les critères utilisés, voire faire réaliser un audit indépendant avant de continuer à utiliser l’outil pour des décisions de recrutement.

Pour bien le retenir

L'analogie

L’IA explicable, c’est comme un médecin qui explique son diagnostic plutôt que de simplement l’annoncer. Au lieu de dire seulement « vous avez telle maladie », il détaille les symptômes observés et les résultats d’examens qui l’ont conduit à cette conclusion. Le patient peut alors comprendre, poser des questions et faire confiance au raisonnement, plutôt que de devoir accepter un verdict sans en connaître les raisons.

« Une bonne décision automatisée s'accompagne toujours d'un "pourquoi" compréhensible. »

Pièges à éviter

À ne pas confondre avec

Le premier piège est de croire qu'une explication donnée après coup par un outil d'IA explicable reflète exactement le raisonnement interne exact du modèle : dans de nombreux cas, il s'agit d'une approximation compréhensible pour un humain, pas d'un accès direct et parfait au mécanisme réel du modèle.

Un autre piège consiste à penser que l'explicabilité est optionnelle dès lors que le modèle « fonctionne bien » : dans plusieurs secteurs (banque, assurance, recrutement, santé), l'absence de justification compréhensible peut poser un problème réglementaire, indépendamment de la performance technique du modèle.

Enfin, il ne faut pas confondre l'IA explicable avec la simplicité d'un modèle : un modèle simple n'est pas automatiquement facile à expliquer correctement, et un modèle complexe peut être rendu partiellement explicable grâce à des techniques dédiées, sans pour autant devenir totalement transparent.

Évolution historique

Apparition : Sujet de recherche depuis les années 2010, fortement structuré depuis 2018-2020

Quels changements depuis l’arrivée de l’IA ?

Cette notion est directement née des progrès de l’intelligence artificielle : plus les modèles sont devenus puissants et complexes, plus le besoin de pouvoir expliquer leurs décisions est devenu pressant, en particulier pour les usages ayant un impact sur les personnes.

Avant

Les premiers systèmes experts des années 1980, bien que déjà critiqués pour leur complexité, reposaient sur des règles explicites relativement faciles à retracer, contrairement aux réseaux de neurones modernes.

Aujourd’hui

Avec la généralisation du deep learning depuis les années 2010, l’effet « boîte noire » de nombreux modèles a rendu l’explicabilité un enjeu central de recherche et de réglementation, notamment avec l’entrée en vigueur progressive de textes européens encadrant les usages sensibles de l’intelligence artificielle.

Évolution historique

Années 1980 : les premiers systèmes experts sont déjà critiqués pour la difficulté à comprendre certaines de leurs règles complexes.

Années 2010 : la montée du deep learning rend le problème de la « boîte noire » beaucoup plus visible et préoccupant.

2016-2018 : développement de méthodes de recherche dédiées à l’explicabilité des modèles complexes.

Années 2020 : intégration progressive de l’explicabilité dans les exigences réglementaires européennes concernant l’intelligence artificielle.

Aujourd’hui : exigence croissante des entreprises et des régulateurs pour les systèmes d’intelligence artificielle utilisés dans des décisions à fort impact humain.