Comment justifier les décisions d’une IA pour créer la confiance ?

1. Faire de bonnes prédictions ne suffit pas !

Lorsque l’on dit qu’une IA fait une prédiction il faut entendre ce terme au sens large. Ainsi un système de recommandation qui fait une suggestion prédit une affinité entre un client et un produit. Un système de classification visuelle prédit la catégorie dans laquelle il faut ranger une image. Un système de diagnostic médical prédit une pathologie sur la base de symptômes cliniques observés et un système de traduction automatique… prédit une traduction d’une phrase dans une langue cible. Ce qu’il convient de garder à l’esprit pour notre sujet, c’est que toutes ces prédictions sont de nature statistique. Elles sont faites par des algorithmes de machine learning (ML) qui analysent de grandes quantités de données pour prédire ce qui est le plus vraisemblable dans un contexte donné. Ces algorithmes de ML n’effectuent aucun raisonnement, ils n’appliquent aucune règle, c’est d’ailleurs ce qui fait leur intérêt. Ils « apprennent » à partir d’une liste d’exemples dont ils parviennent à extraire de nombreux signaux faibles pour les agréger dans une fonction de prédiction. Ils procèdent par analogie en quelque sorte. La fonction de prédiction qu’ils créent est généralement d’une complexité inextricable et reste de ce fait inintelligible à l’esprit humain. Se pose dès lors la question de la confiance qu’on peut leur accorder à ces systèmes. Quels sont les éléments d’informations exploités par un algorithme lorsqu’il fait une certaine prédiction ?