Mesurer le retour d'une mission IA sans inventer de chiffres

Les chiffres qui accompagnent l'IA sont souvent des promesses : tant d'heures gagnées par semaine, tant de dossiers traités en plus. Beaucoup sont calculés avant que l'outil ait tourné une seule journée.

Je me méfie de ces chiffres, y compris des miens. Chez Oliverlist, le chiffre d'affaires par personne a été multiplié par trois entre 2019 et 2023. Ce gain, je peux l'expliquer : il vient de l'automatisation mise en place à partir de 2020, de l'import des contacts jusqu'à la facture. Il ne vient pas de l'IA générative. L'IA, entrée dans notre produit en mai 2023, trie aujourd'hui les réponses des prospects, écrit les scripts d'appel et coache l'équipe. Ses effets, je préfère les regarder tâche par tâche plutôt que de les additionner en un seul grand chiffre.

Mesurer le retour d'un projet IA n'a rien de compliqué. Cela demande surtout de la discipline : une mesure avant, peu d'indicateurs, une mesure après, et de l'honnêteté sur ce qui reste à prouver.

Poser une mesure de départ

Sans point de départ, il n'y a pas de retour à mesurer. C'est la première étape, et c'est souvent celle que l'on saute, parce qu'on est pressé de voir l'outil tourner.

Pendant deux à quatre semaines, avant de changer quoi que ce soit, relevez :

• le volume : combien de pièces, de demandes ou de devis passent par la tâche chaque semaine ;
• le temps : combien d'heures l'équipe y consacre, reprises comprises ;
• le délai : combien de temps s'écoule entre l'arrivée d'une demande et son traitement ;
• les erreurs : combien de corrections, de retours ou de réclamations.

Partez de ce qui existe déjà : dates des e-mails, historique du logiciel, horodatage des demandes. Pour le reste, un relevé simple tenu par l'équipe suffit, à condition d'expliquer pourquoi. Il ne s'agit pas de surveiller les personnes, mais de connaître la tâche.

Écrivez cette mesure, datez-la et faites-la relire par ceux qui font le travail. Elle devient votre référence. Choisissez aussi une période normale : une mesure prise en pleine clôture ou au creux de l'été faussera toutes les comparaisons.

Choisir deux ou trois indicateurs

Avec dix indicateurs, on trouve toujours un chiffre qui s'améliore. Deux ou trois suffisent, à condition qu'ils correspondent à ce que vous voulez vraiment changer.

Choisissez selon votre problème. Si vos clients attendent trop, mesurez le délai, pas les heures. Si l'équipe est débordée, mesurez le temps et le volume. Et gardez toujours un indicateur de qualité : un processus plus rapide qui fait plus d'erreurs n'est pas un gain, c'est un risque déplacé.

Mesurer après, avec les mêmes règles

La seconde mesure se fait avec la même méthode, sur une période de même durée et de charge comparable. Pas pendant les premières semaines : l'équipe apprend, les consignes se règlent, les chiffres ne disent encore rien. Attendez que l'usage soit stable.

Trois coûts disparaissent souvent du calcul :

• la relecture : si chaque sortie de l'IA est relue, ce temps se déduit du gain ;
• les réglages : corriger les consignes, traiter les exceptions, suivre les erreurs ;
• les abonnements et les outils nécessaires.

Regardez aussi les erreurs de l'IA, pas seulement celles de l'équipe. Une méthode simple : chaque semaine, la personne qui connaît la tâche relit un échantillon de cas traités par l'IA et note ce qui est juste, ce qui est faux et ce qui aurait dû lui être signalé.

Enfin, demandez-vous ce que devient le temps gagné. Des heures que personne ne réutilise restent un gain théorique. Décidez avant le lancement ce que l'équipe fera de ce temps : traiter plus de volume, répondre plus vite, réduire les heures supplémentaires. C'est ce choix qui transforme un gain mesuré en retour réel.

Se méfier des gains estimés

Un gain estimé se calcule presque toujours de la même façon : le temps d'une tâche, multiplié par le nombre de fois où elle revient, multiplié par la part que l'IA prendrait en charge. Le calcul est juste. Ses hypothèses le sont rarement. Il oublie les exceptions, la relecture, le temps d'adoption, et le fait que personne ne passe ses journées entières sur une seule tâche.

Je sépare trois types de chiffres, et je les nomme comme tels :

• estimé : calculé avant, sur des hypothèses. Utile pour décider de lancer un projet, jamais pour juger son résultat ;
• mesuré : constaté après, avec la même méthode que la mesure de départ ;
• extrapolé : mesuré sur quelques semaines, puis projeté sur l'année. À utiliser avec prudence, et en le disant.

Pour remplacer une estimation par une mesure avant de vous engager, faites tourner l'IA à côté de l'équipe pendant quelques semaines, sans qu'elle décide ni n'envoie rien. Comparez ses propositions à ce que l'équipe a réellement fait. Vous connaissez alors sa justesse sur vos propres dossiers, avant de lui confier quoi que ce soit.

Attention aussi aux effets mêlés : une nouvelle recrue, une saison plus calme ou un gros client en plus peuvent faire bouger les chiffres autant que l'outil. Si deux équipes font le même travail, démarrer avec l'une avant l'autre donne une comparaison plus juste.

Certains effets demandent des mois : la satisfaction des clients, leur fidélité, la qualité perçue. Tant qu'ils ne sont pas mesurés, écrivez « pas encore mesuré ». C'est moins flatteur qu'une estimation. C'est aussi ce qui permet à ceux qui lisent vos chiffres de les croire.

À retenir

• Pas de mesure de départ, pas de retour mesurable. Posez-la avant de toucher à quoi que ce soit, sur une période normale.
• Deux ou trois indicateurs parmi le temps, le délai, les erreurs et le volume, dont toujours un de qualité.
• Mesurez après avec les mêmes règles, en déduisant la relecture, les réglages et les abonnements.
• Séparez l'estimé, le mesuré et l'extrapolé, et dites toujours lequel vous citez.
• Ce qui n'est pas encore prouvé s'écrit « pas encore mesuré ».