IA générative dans le cycle de test : où elle aide, où elle nuit
Retour d'expérience sur l'usage de l'IA générative en QA : génération de cas de test, triage de résultats, analyse d'anomalies - et les garde-fous indispensables.
L’IA générative ne remplace pas une démarche QA : elle en accélère certaines étapes et en fragilise d’autres. La distinction est nette une fois qu’on a regardé où elle produit de la valeur mesurable.
Là où elle aide
Générer des cas de test à partir d’une spec
Donner à un modèle une user story et ses critères d’acceptation produit en quelques secondes une première liste de cas : chemins nominaux, cas limites, valeurs interdites. Ce n’est pas exhaustif, mais c’est un point de départ solide qui évite l’angoisse de la page blanche.
Garde-fou : la sortie est une proposition, pas une vérité. Un testeur valide, complète et supprime. Le gain de temps est réel sur la rédaction, pas sur la réflexion.
Trier et regrouper des résultats
Sur une suite qui produit des centaines d’échecs après un changement d’infrastructure, un modèle regroupe efficacement les erreurs par cause probable (même stack trace, même sélecteur, même endpoint). On passe d’une liste illisible à cinq clusters à investiguer.
Reformuler un rapport d’anomalie
Transformer des notes brutes en un ticket clair, avec étapes de reproduction, résultat attendu et observé. Utile pour l’homogénéité, à condition de relire : le modèle invente parfois une étape plausible mais fausse.
Là où elle nuit
Le risque n’est pas que l’IA se trompe. C’est qu’elle se trompe de façon crédible, et qu’on la croie parce que la formulation est assurée.
- Oracle de test : demander à un modèle si un comportement est « correct » sans lui donner la règle métier revient à tirer à pile ou face avec de beaux arguments.
- Couverture supposée : « génère tous les cas » donne une liste qui semble complète. La sensation d’exhaustivité est trompeuse et endort la vigilance.
- Données sensibles : coller des logs de production ou des données client dans un outil grand public est une fuite. L’usage doit passer par des environnements maîtrisés.
Un cadre d’usage minimal
- Périmètre écrit : quelles tâches sont autorisées, lesquelles sont interdites (oracle, décision de mise en production, données réelles).
- Revue humaine obligatoire sur toute sortie qui entre dans le référentiel de test ou dans un ticket.
- Mesure : temps gagné sur la rédaction, taux de cas générés effectivement retenus, faux positifs introduits. Sans chiffres, on ne sait pas si ça aide.
- Traçabilité : indiquer quand un artefact a été produit ou assisté par l’IA, pour pouvoir le réévaluer plus tard.
Ce que j’en retiens
Bien cadrée, l’IA générative fait gagner un temps net sur les tâches de rédaction et de tri. Mal cadrée, elle produit une fausse assurance qui coûte plus cher que le temps qu’elle fait gagner. La compétence QA ne disparaît pas - elle se déplace vers la formulation des règles, la revue critique et la mesure de la valeur réelle.