Le véritable risque de l'IA n'est peut-être plus l'erreur mais l'incompréhension

La publication d’Eric Horvitz et Robert West dans Science, intitulée A Narrowing Window to Understand AI, pose un constat difficile à ignorer : les systèmes d’intelligence artificielle deviennent de plus en plus difficiles à comprendre, au moment même où ils prennent une place croissante dans nos activités. Ce constat intéresse évidemment les chercheurs. Mais il devrait surtout retenir l’attention des dirigeants.

Le sujet ne se limite pas à la technologie. Il touche à une question plus ancienne, plus politique au sens organisationnel du terme : qui comprend les systèmes qui structurent l’action collective ? Une entreprise peut-elle rester pleinement gouvernable lorsque ses outils comprennent davantage son fonctionnement qu’elle ne comprend les outils eux-mêmes ?

Pendant des années, le débat public a surtout porté sur l’erreur de l’IA : la réponse fausse, le biais, l’hallucination, la recommandation absurde, le classement injuste. Ces sujets restent importants. Mais ils ne suffisent plus. Le risque le plus profond pourrait désormais résider ailleurs : dans l’incapacité progressive des organisations à comprendre, questionner et contester les systèmes sur lesquels elles s’appuient.

1. Le signal faible : l’IA progresse plus vite que notre capacité à l’expliquer

Les modèles d’IA se complexifient. Ils ne sont plus seulement entraînés pour reconnaître des formes, classer des données ou générer du texte. Ils sont intégrés à des produits, connectés à des bases documentaires, associés à des outils métier, capables de dialoguer avec d’autres systèmes et parfois conçus pour agir dans la durée sous forme d’agents.

Cette évolution modifie le niveau de difficulté. Un modèle isolé peut déjà être difficile à interpréter. Un agent relié à un CRM, à une messagerie, à un outil de ticketing, à des documents internes et à des règles métiers devient plus difficile encore à reconstituer. Il ne produit pas seulement une sortie. Il peut filtrer une demande, proposer un ordre de priorité, déclencher une séquence, recommander une réponse ou orienter un arbitrage.

À cela s’ajoute un autre mouvement : une partie de la conception des systèmes d’IA est elle-même assistée par l’IA. Des modèles aident à produire du code, à optimiser des architectures, à générer des jeux de tests, à écrire des prompts, à créer des agents ou à composer des workflows. L’organisation ne dépend donc plus seulement d’un outil complexe. Elle dépend parfois d’une chaîne de conception où une part du raisonnement technique est déjà médiée par des systèmes automatisés.

Ce point ne doit pas être dramatisé. Les entreprises ont toujours utilisé des systèmes qu’elles ne comprenaient pas dans leur totalité. Un dirigeant ne maîtrise pas chaque ligne de code de son ERP, chaque protocole réseau ou chaque algorithme de cybersécurité. La nouveauté tient plutôt à la place que ces systèmes prennent dans la formation de la décision.

Lorsque l’IA résume, classe, recommande, priorise et orchestre, elle ne reste plus à la périphérie du management. Elle entre dans la fabrique des arbitrages.

2. Pourquoi le débat sur l’explicabilité est insuffisant

Le débat sur l’explicabilité de l’IA est nécessaire, mais il peut devenir trop étroit. Il laisse parfois croire que le problème consisterait à rendre chaque modèle transparent, comme si l’on pouvait ouvrir une boîte, observer son mécanisme interne et produire une explication complète.

Pour une entreprise, cette ambition est rarement réaliste. Elle n’a pas besoin de comprendre chaque paramètre d’un modèle, pas plus qu’elle n’a besoin de connaître l’intégralité de la chaîne électronique de ses serveurs pour gouverner son système d’information. En revanche, elle doit comprendre ce que le système fait dans son contexte, sur quelles données il s’appuie, quelles décisions il influence, quelles limites il rencontre et comment une équipe peut reprendre la main.

La vraie question n’est donc pas seulement : le modèle est-il explicable ? Elle devient : l’organisation est-elle encore capable de discuter ce que le système produit ?

Cette nuance change profondément la gouvernance. Une décision assistée par l’IA peut être techniquement difficile à expliquer, mais rester gouvernable si les critères utilisés sont documentés, si les données d’entrée sont connues, si les seuils d’autonomie sont définis, si un responsable humain peut arbitrer et si un circuit de contestation existe. À l’inverse, un outil vendu comme transparent peut devenir dangereux si personne ne sait réellement où il intervient dans les processus, qui l’a paramétré, comment il évolue ou quelles décisions il influence.

Les dirigeants doivent donc déplacer le centre de gravité. La transparence n’est pas une fin en soi. Elle n’a de valeur que si elle permet une action : comprendre, challenger, corriger, suspendre, expliquer à un client, répondre à un collaborateur, justifier une décision ou modifier un processus.

L’explicabilité utile n’est pas un exercice académique. C’est une capacité managériale.

3. Le véritable enjeu : la gouvernance de systèmes devenus opaques

L’opacité de l’IA devient un problème de management avant d’être un problème technologique. Dans beaucoup d’organisations, la difficulté ne viendra pas d’un modèle mystérieux utilisé dans un laboratoire interne. Elle viendra de l’accumulation de solutions métiers intégrant de l’IA dans des fonctions ordinaires : relation client, marketing, support, recrutement, veille, reporting, rédaction, finance, juridique, achats.

Chaque outil apporte une promesse locale. Il accélère une tâche, réduit une friction, améliore une réponse, automatise une relance, synthétise une information. Pris isolément, le bénéfice est lisible. Mais l’effet global peut devenir beaucoup moins clair. Qui sait exactement combien de systèmes influencent déjà les priorités commerciales ? Qui peut expliquer pourquoi certains dossiers remontent plus vite que d’autres ? Qui vérifie la manière dont les agents internes reformulent des consignes, filtrent des informations ou recommandent des actions ?

La dépendance aux fournisseurs renforce cette difficulté. Une entreprise peut utiliser un outil performant sans savoir précisément quelles données sont mobilisées, quelles mises à jour modifient le comportement du système, quelles règles de classement sont appliquées ou quels mécanismes d’audit sont réellement disponibles. Elle peut aussi dépendre d’une documentation commerciale rassurante, mais insuffisante pour traiter un incident, répondre à une contestation ou conduire un audit interne.

La responsabilité se dilue alors. Le fournisseur a conçu l’outil. La DSI l’a intégré. Le métier l’a demandé. Le manager l’a accepté. Les collaborateurs l’utilisent. La direction a validé la trajectoire. En cas de décision contestée, cette chaîne devient fragile si personne ne peut reconstituer l’arbitrage.

Ce phénomène est discret. Il ne se présente pas comme une crise. Il ressemble plutôt à une perte progressive de lisibilité. L’organisation continue à fonctionner. Les indicateurs semblent s’améliorer. Les équipes gagnent du temps. Mais une part croissante des décisions préparatoires est déplacée vers des systèmes que peu de personnes savent expliquer.

4. Les agents IA changent la nature du pouvoir dans l’entreprise

Les agents IA rendent cette question plus sensible parce qu’ils ne se contentent pas de répondre. Ils deviennent des intermédiaires. Ils assistent, filtrent, orchestrent, reformulent, priorisent et parfois exécutent. Dans une organisation, cette position d’intermédiaire est une position de pouvoir.

Un assistant qui résume des comptes rendus influence ce que les participants retiennent d’une réunion. Un agent commercial qui classe des prospects influence l’effort de vente. Un outil RH qui présélectionne des profils influence la perception du marché candidat. Un agent support qui recommande des réponses influence la relation client. Un système de veille qui filtre des signaux faibles influence la lecture stratégique d’un secteur.

Aucun de ces usages n’est problématique par nature. Ils peuvent même améliorer fortement la qualité du travail. Mais ils déplacent une partie du pouvoir de décision vers des couches intermédiaires dont les critères ne sont pas toujours visibles. Celui qui comprend le système détient alors une forme de pouvoir. Celui qui ne le comprend pas dépend de ses sorties.

La difficulté n’est pas que l’IA décide seule à la place des dirigeants. Le vrai risque est plus subtil : les dirigeants peuvent continuer à décider, mais à partir d’options déjà filtrées, de synthèses déjà orientées, de priorités déjà classées et de recommandations déjà cadrées. La décision humaine reste formellement présente, tandis que le champ des possibles a été préorganisé par des systèmes difficiles à contester.

C’est ici que la notion de pouvoir de compréhension devient centrale. Comprendre ne signifie pas tout savoir. Comprendre signifie disposer d’assez de prise pour poser les bonnes questions : pourquoi cette option remonte-t-elle ? Quelles données ont été ignorées ? Quel objectif a été optimisé ? Quel risque a été minoré ? Quelle règle métier a été appliquée ? Quelle alternative n’a pas été proposée ?

Une organisation qui ne peut plus poser ces questions perd une partie de son autonomie, même si elle conserve tous ses organigrammes, ses comités et ses procédures.

5. Ce que les dirigeants devraient surveiller dès maintenant

La première vigilance concerne la cartographie des usages. Beaucoup d’entreprises sous-estiment déjà le nombre d’outils IA réellement utilisés par leurs équipes. Certains sont officiels, d’autres intégrés dans des logiciels existants, d’autres encore utilisés de manière individuelle. Sans inventaire, il est impossible de savoir quels processus sont influencés par quels systèmes.

La deuxième vigilance porte sur la supervision humaine. Il ne suffit pas d’écrire qu’un humain reste dans la boucle. Encore faut-il préciser où il intervient, avec quelle information, dans quel délai, sur quel type de décision et avec quel pouvoir réel de refus. Une supervision humaine purement formelle ne protège pas l’organisation.

La troisième vigilance concerne l’auditabilité. Les systèmes qui préparent ou automatisent des décisions doivent laisser des traces compréhensibles : données mobilisées, consignes utilisées, actions déclenchées, recommandations proposées, validations humaines, modifications ultérieures. Sans traçabilité lisible, l’audit devient un rituel, pas un outil de gouvernance.

La quatrième vigilance touche à la dépendance fournisseur. Le choix d’un outil IA ne doit pas se limiter à sa performance immédiate. Il doit intégrer la portabilité des données, la qualité de la documentation, les garanties contractuelles, les possibilités d’export, les mécanismes d’explication disponibles et la capacité à suspendre ou contourner le système en cas de difficulté.

La cinquième vigilance concerne les compétences humaines critiques. Plus l’IA assiste une fonction, plus l’entreprise doit préserver des personnes capables d’en comprendre les fondamentaux. Un service juridique ne peut pas perdre la capacité à qualifier un risque. Une direction commerciale ne peut pas déléguer entièrement la lecture de son portefeuille. Une DSI ne peut pas dépendre uniquement de fournisseurs pour comprendre l’architecture de ses automatisations. Une direction générale ne peut pas piloter une organisation dont les arbitrages lui deviennent illisibles.

Cette exigence demande une discipline sobre : documenter les décisions importantes, définir des seuils d’autonomie, organiser des revues régulières, former les managers à questionner les sorties IA, maintenir des circuits de contestation et clarifier les responsabilités.

La gouvernance IA ne sera pas seulement un dossier de conformité. Elle deviendra une compétence de direction.

Conclusion

Le débat sur l’IA reste souvent attiré par les performances visibles : vitesse de réponse, qualité des textes, précision des modèles, puissance des agents, capacité d’automatisation. Ces dimensions comptent. Mais elles ne disent pas tout de ce qui se joue pour les organisations.

Le point décisif pourrait être ailleurs. L’histoire des organisations a toujours été liée à leur capacité à comprendre les systèmes qu’elles utilisent. Une entreprise qui ne comprend plus ses coûts, ses processus, ses dépendances ou ses arbitrages perd progressivement sa capacité à se diriger elle-même. L’IA ajoute une couche nouvelle à cette histoire, parce qu’elle s’installe non seulement dans les outils, mais dans la préparation même des décisions.

Le défi posé par l’IA n’est donc pas seulement de construire des systèmes plus performants. Il est de préserver notre capacité à les questionner. Une organisation peut accepter de ne pas tout comprendre. Elle ne peut pas accepter de ne plus pouvoir contester.

Car lorsqu’une entreprise ne sait plus discuter les décisions produites par ses outils, elle ne gagne pas seulement en dépendance technique. Elle commence à perdre une partie de sa capacité à se gouverner elle-même.