Aller au contenu
Cercle IA · Artisans Un site du réseau Cercle IA

Guide

Comparer deux démonstrations d’IA entre artisans

Un même exercice, des critères annoncés et les corrections visibles : comparer deux démonstrations IA sans élire un outil sur une seule réponse.

Mis à jour le

Pour comparer deux démonstrations d'IA entre artisans, donnez aux participants le même objectif et rendez les conditions visibles. Une réponse plus longue ou plus élégante n'est pas nécessairement plus utile. Le groupe doit savoir quelles informations étaient disponibles, quels réglages ont été utilisés et quel travail humain reste à effectuer.

Nous proposons ici un protocole de discussion. Il ne produit ni classement scientifique ni recommandation universelle d'achat. Un essai sur une demande fictive peut aider à repérer une difficulté ; il ne mesure pas toute la fiabilité d'un logiciel.

Écrire les critères avant les réponses

Choisissez une tâche limitée : transformer une demande de réparation en liste de questions complémentaires. Préparez vous-même ce que la réponse devrait préserver, ce qu'elle devrait demander et ce qu'elle ne devrait jamais inventer dans cet exercice.

Par exemple, la demande dit que le pied d'une chaise bouge, sans fournir de photographie ni de matériau. Les critères pourraient être : ne pas diagnostiquer à distance une rupture certaine, demander un détail utile et ne promettre ni prix ni date de réparation. Ce scénario est fictif ; les critères proposés servent uniquement à la comparaison.

La CNIL conseille de choisir un système en partant du besoin et de ses risques, puis d'en examiner la documentation. Sa FAQ, lue le 16/11/2026, fournit ce principe général. Le protocole ci-dessous est notre façon de l'appliquer à une discussion entre professionnels.

Donner un dossier identique

Utilisez une seule version de la demande de départ et des pièces jointes. Numérotez-la pour éviter qu'un participant travaille sur un texte corrigé alors que l'autre reçoit encore la version initiale. Si l'un des outils ne peut pas lire la pièce prévue, notez cette différence au lieu de modifier discrètement l'exercice pour lui.

Deux comparaisons sont possibles : utiliser la même consigne partout, ou laisser chaque démonstrateur préparer sa meilleure méthode. La première examine une situation commune ; la seconde examine aussi le savoir-faire de la personne. Ne mélangez pas leurs résultats comme si elles répondaient à la même question.

Si une fonction manque, la préparation du retour d'expérience aide à décrire les conditions sans inventer de réglage. N'attribuez pas automatiquement l'écart à la marque affichée.

Faire relire sans afficher le fournisseur

Vous pouvez présenter les sorties sous les noms A et B, puis demander une relecture avant de révéler le service utilisé. Cela ne supprime pas tous les biais, mais donne une place explicite à l'examen du contenu. Un lecteur pourrait reconnaître un style ou avoir participé à la préparation : signalez-le.

Critère proposé Observation à noter
Fidélité aux informations Phrase exacte qui ajoute ou transforme un fait
Questions utiles Information manquante effectivement demandée
Engagements Prix, délai ou garantie introduits sans consigne
Travail de reprise Passage à supprimer, vérifier ou réécrire
Utilisabilité Résultat que l'artisan comprend et peut contrôler

Les ateliers et webinaires annoncés permettent de chercher un cadre d'apprentissage pour ce type d'exercice. Vérifiez le programme plutôt que de supposer qu'une comparaison indépendante y sera menée.

Garder les échecs dans le bilan

Si une démonstration bloque, notez le moment et le message affiché. Une panne de connexion, une limite de compte et une réponse incorrecte ne décrivent pas le même problème. Refaire l'essai peut être utile ; remplacer la tentative ratée sans la mentionner fausse le récit.

Conservez aussi les corrections humaines. Un brouillon obtenu vite mais entièrement repris peut demander davantage de travail qu'une réponse initiale moins soignée. La page discuter un gain de temps explique les questions à poser lorsque les démonstrateurs annoncent une économie.

Décider ce que le test permet de conclure

Formulez une observation limitée : « Sur ce dossier, A a préservé les informations mais oublié une question ; B a ajouté un délai. » Évitez « A est le meilleur pour les artisans ». Il faudrait d'autres situations, d'autres essais et un examen des conditions commerciales pour soutenir une décision plus large.

Pour lire les offres et leurs limites, vous pouvez consulter la méthode de choix d'un logiciel de support lorsque votre sujet concerne les réponses aux clients. Une comparaison entre pairs ne remplace pas cette vérification documentaire.

Le groupe pourrait ensuite choisir un seul défaut à approfondir, ou conclure que la tâche doit rester manuelle. Cette dernière issue est un résultat recevable : l'objectif de l'échange serait de mieux décider, pas de justifier un abonnement déjà envisagé.

Sources

Pages consultées pour écrire cet article :

  1. https://cnil.fr/fr/les-questions-reponses-de-la-cnil-sur-lutilisation-dun-systeme-dia-generative
  2. https://iarche.fr/ateliers-webinaires

À lire aussi