Pilotage de l’exécution de tests automatisés depuis Squash TM
Automatisation d’un cas de test Squash TM
Info
Cette page décrit les opérations communes à tous les frameworks de test supportés par cette version. Pour faciliter la navigation vous pouvez directement consulter les spécificités de l'automatisation de chaque technologie grâce aux liens suivants :
Une technologie par dépôt Git
Squash Orchestrator ne supporte aujourd'hui qu'une technologie de test par dépôt Git.
Plus précisément, il n'est pas possible de lancer une itération/suite de tests contenant des tests d'un même dépôt Git mais utilisant des technologies différentes.
Sans utilisation de workflow d’automatisation Squash
Pour qu’un cas de test soit utilisable par Squash Orchestrator, il faut que le bloc Automatisation de l’onglet Information de la page de consultation d’un cas de test soit correctement renseigné :
-
Technologie du test automatisé: Liste déroulante permettant de choisir la technologie utilisée pour exécuter le cas de test. -
URL du dépôt de code source: L’adresse du dépôt de source où se trouve le projet, tel que spécifié dans l'espace Serveurs de partage de code source de l’Administration. -
Référence du test automatisé: Correspond à l’emplacement du test automatisé dans le projet. Cette référence doit respecter un format propre à la technologie de test employée.
Info
Agilitest, Katalon, Ranorex et UFT ne sont supportés que par la version Premium de Squash AUTOM.
Avec utilisation de workflow d’automatisation Squash
Cas de test classique
Pour qu’un cas de test soit utilisable par Squash Orchestrator, il doit être automatisé à partir de l’espace Automatisation (Automaticien) via trois colonnes à renseigner :
-
TECHNO.: Liste déroulante permettant de choisir la technologie utilisée pour exécuter le cas de test. -
URL SCM: L’adresse du dépôt de source où se trouve le projet. -
REF. TEST AUTO: Correspond à l’emplacement du test automatisé dans le projet. Cette référence doit respecter un format propre à la technologie de test employée.
Info
Agilitest, Katalon, Ranorex et UFT ne sont supportés que par la version Premium de Squash AUTOM.
Cas de test BDD ou Gherkin
Les informations du bloc Automatisation sont remplis automatiquement lors de la transmission d’un script BDD ou Gherkin à un gestionnaire de code source distant. Ils sont également modifiables à tout moment par l’utilisateur.
Exploitation de paramètres Squash TM
Au lancement d’un plan d’exécution Squash TM (via un PEaC ou directement depuis l'espace campagne), celui-ci transmet différentes informations sur les éléments du plan d'exécution qu’il est possible d’exploiter dans un cas de test. Les détails de cette fonctionnalité sont décrits dans la section correspondant à la technologie utilisée.
Info
Les technologies suivantes supportent l'exploitation des paramètres Squash TM au sein des cas de test :
Exécution d'une suite automatisée
L'exécution d'un plan d'exécution automatisée se déroule de la façon habituelle dans Squash TM :
-
Accédez au plan d'exécution de l'itération ou de la suite de test choisie.
-
Exécutez les tests automatisés en utilisant un des boutons de l'image ci-dessous :
- Une popup de suivi d'exécution apparaît.
Info
La popup de suivi contient une nouvelle section qui rappelle le nom des tests en cours d'exécution par Squash Orchestrator. Cependant il n'y a pas de suivi d'avancement dans la version actuelle.
Ordre d'exécution des tests
Le seul ordre assuré par Squash AUTOM (resp. Squash DEVOPS) est que, pour un dépôt Git donné dans une itération/suite de tests donnée, les tests seront exécutés dans l'ordre défini dans Squash TM.
Si une itération/suite de tests contient des tests automatisés appartenant à plusieurs dépôts Git, l'ordre d'exécution des tests d'un dépôt par rapport à l'exécution des tests d'un autre dépôt est indéfini.
Si plusieurs itérations/suites de tests sont lancées depuis Squash TM (resp. le pipeline CI/CD), l'ordre d'exécution des tests d'une itération/suite par rapport à l'exécution des tests d'une autre itération/suite est indéfini. (Sauf dans le cas simpliste où un environnement d'exécution adéquat est disponible et la première suite/itération a pu démarrer avant que l'utilisateur Squash TM – resp. le pipeline CI/CD – en lance une autre.)
Remontées de résultats après exécution d’un plan d’exécution Squash TM
Quelle que soit la façon dont le plan d’exécution est déclenché (depuis Squash TM ou depuis un pipeline Jenkins), vous avez en fin d’exécution une remontée de résultats au sein de Squash TM qui diffère suivant si vous êtes sous licence Community ou Premium.
Squash AUTOM Community
Après exécution d’un plan d’exécution Squash TM (itération ou suite de tests), les informations suivantes sont mises à jour :
-
Mise à jour du statut des ITPI (Iteration Test Plan Item, voir le glossaire Squash TM).
-
Mise à jour du statut de la suite automatisée.
-
Le rapport au format Allure correspondant à l'ensemble des tests exécutés.
-
Les rapports d’exécution des différents ITPI sont accessibles depuis l’onglet de consultation des suites automatisées :
Info
Tous les résultats de la suite automatisée sont compilés dans un rapport au format Allure, disponible dans la liste de rapports sous forme d'archive .tar. Pour plus d'information sur la façon d'exploiter ce rapport et les possibilités de personnalisation, veuillez consulter la documentation Allure.
Cependant, voici ce qu’il ne se passe pas :
- Création d’une nouvelle exécution pour chaque ITPI qui a été exécuté.
Squash AUTOM Premium
Si vous disposez des composants Squash AUTOM Premium, vous avez accès à deux types de remontées d’informations :
- Légère (valeur par défaut).
- Complète.
Le choix du type de remontée se fait par projet en accédant à la configuration du plugin Squash TM Result Publisher depuis l’onglet Plugins de la page de consultation d’un projet :
Remontée d’information Légère
En choisissant la remontée d’information Légère, les informations suivantes sont mises à jour après exécution d’un plan d’exécution Squash TM (itération ou suite de tests) :
-
Mise à jour du statut des ITPI.
-
Mise à jour du statut de la suite automatisée.
-
Le rapport au format Allure correspondant à l'ensemble des tests exécutés.
-
Les rapports d’exécution des différents ITPI sont accessibles depuis l’onglet de consultation des suites automatisées :
Info
Tous les résultats de la suite automatisée sont compilés dans un rapport au format Allure, disponible dans la liste de rapports sous forme d'archive .tar.
Pour plus d'information sur la façon d'exploiter ce rapport et les possibilités de personnalisation, veuillez consulter la documentation Allure.
Cependant, voici ce qu’il ne se passe pas :
- Création d’une nouvelle exécution pour chaque ITPI qui a été exécuté.
Remontée d’information Complète
En choisissant la remontée d’information Complète, les informations suivantes sont mises à jour après exécution d’un plan d’exécution Squash TM (itération ou suite de tests) :
-
Mise à jour du statut des ITPI.
-
Création d’une nouvelle exécution pour chaque ITPI.
-
Mise à jour du statut de la suite automatisée.
-
Le rapport au format Allure correspondant à l'ensemble des tests exécutés.
-
Les rapports d’exécution des différentes exécutions sont accessibles depuis l’onglet de consultation des suites automatisées ou depuis l’écran de consultation de l’exécution (ils sont présents dans les pièces jointes).
Info
Tous les résultats de la suite automatisée sont compilés dans un rapport au format Allure, disponible dans la liste de rapports sous forme d'archive .tar.
Pour plus d'information sur la façon d'exploiter ce rapport et les possibilités de personnalisation, veuillez consulter la documentation Allure.