Aller au contenu

Pilotage de l’exécution de tests automatisés depuis Squash TM

Automatisation d’un cas de test Squash TM

Info

Cette page décrit les opérations communes à tous les frameworks de test supportés par cette version. Pour faciliter la navigation vous pouvez directement consulter les spécificités de l'automatisation de chaque technologie grâce aux liens suivants :

Une technologie par dépôt Git

Squash Orchestrator ne supporte aujourd'hui qu'une technologie de test par dépôt Git.
Plus précisément, il n'est pas possible de lancer une itération/suite de tests contenant des tests d'un même dépôt Git mais utilisant des technologies différentes.

Sans utilisation de workflow d’automatisation Squash

Pour qu’un cas de test soit utilisable par Squash Orchestrator, il faut que le bloc Automatisation de l’onglet Information de la page de consultation d’un cas de test soit correctement renseigné :

Espace automatisation

  • Technologie du test automatisé : Liste déroulante permettant de choisir la technologie utilisée pour exécuter le cas de test.

  • URL du dépôt de code source : L’adresse du dépôt de source où se trouve le projet, tel que spécifié dans l'espace Serveurs de partage de code source de l’Administration.

  • Référence du test automatisé : Correspond à l’emplacement du test automatisé dans le projet. Cette référence doit respecter un format propre à la technologie de test employée.

Info

Agilitest, Katalon, Ranorex et UFT ne sont supportés que par la version Premium de Squash AUTOM.


Avec utilisation de workflow d’automatisation Squash

Cas de test classique

Pour qu’un cas de test soit utilisable par Squash Orchestrator, il doit être automatisé à partir de l’espace Automatisation (Automaticien) via trois colonnes à renseigner :

Espace automatisation

  • TECHNO. : Liste déroulante permettant de choisir la technologie utilisée pour exécuter le cas de test.

  • URL SCM : L’adresse du dépôt de source où se trouve le projet.

  • REF. TEST AUTO : Correspond à l’emplacement du test automatisé dans le projet. Cette référence doit respecter un format propre à la technologie de test employée.

Info

Agilitest, Katalon, Ranorex et UFT ne sont supportés que par la version Premium de Squash AUTOM.

Cas de test BDD ou Gherkin

Les informations du bloc Automatisation sont remplis automatiquement lors de la transmission d’un script BDD ou Gherkin à un gestionnaire de code source distant. Ils sont également modifiables à tout moment par l’utilisateur.


Exploitation de paramètres Squash TM

Au lancement d’un plan d’exécution Squash TM (via un PEaC ou directement depuis l'espace campagne), celui-ci transmet différentes informations sur les éléments du plan d'exécution qu’il est possible d’exploiter dans un cas de test. Les détails de cette fonctionnalité sont décrits dans la section correspondant à la technologie utilisée.

Info

Les technologies suivantes supportent l'exploitation des paramètres Squash TM au sein des cas de test :


Exécution d'une suite automatisée

L'exécution d'un plan d'exécution automatisée se déroule de la façon habituelle dans Squash TM :

  • Accédez au plan d'exécution de l'itération ou de la suite de test choisie.

  • Exécutez les tests automatisés en utilisant un des boutons de l'image ci-dessous :

Plan de test

  • Une popup de suivi d'exécution apparaît.

Info

La popup de suivi contient une nouvelle section qui rappelle le nom des tests en cours d'exécution par Squash Orchestrator. Cependant il n'y a pas de suivi d'avancement dans la version actuelle.

Ordre d'exécution des tests

Le seul ordre assuré par Squash AUTOM (resp. Squash DEVOPS) est que, pour un dépôt Git donné dans une itération/suite de tests donnée, les tests seront exécutés dans l'ordre défini dans Squash TM.
Si une itération/suite de tests contient des tests automatisés appartenant à plusieurs dépôts Git, l'ordre d'exécution des tests d'un dépôt par rapport à l'exécution des tests d'un autre dépôt est indéfini.
Si plusieurs itérations/suites de tests sont lancées depuis Squash TM (resp. le pipeline CI/CD), l'ordre d'exécution des tests d'une itération/suite par rapport à l'exécution des tests d'une autre itération/suite est indéfini. (Sauf dans le cas simpliste où un environnement d'exécution adéquat est disponible et la première suite/itération a pu démarrer avant que l'utilisateur Squash TM – resp. le pipeline CI/CD – en lance une autre.)

Remontées de résultats après exécution d’un plan d’exécution Squash TM

Quelle que soit la façon dont le plan d’exécution est déclenché (depuis Squash TM ou depuis un pipeline Jenkins), vous avez en fin d’exécution une remontée de résultats au sein de Squash TM qui diffère suivant si vous êtes sous licence Community ou Premium.


Squash AUTOM Community

Après exécution d’un plan d’exécution Squash TM (itération ou suite de tests), les informations suivantes sont mises à jour :

  • Mise à jour du statut des ITPI (Iteration Test Plan Item, voir le glossaire Squash TM).

  • Mise à jour du statut de la suite automatisée.

  • Le rapport au format Allure correspondant à l'ensemble des tests exécutés.

  • Les rapports d’exécution des différents ITPI sont accessibles depuis l’onglet de consultation des suites automatisées :

Rapports d'exécution

Info

Tous les résultats de la suite automatisée sont compilés dans un rapport au format Allure, disponible dans la liste de rapports sous forme d'archive .tar. Pour plus d'information sur la façon d'exploiter ce rapport et les possibilités de personnalisation, veuillez consulter la documentation Allure.

Cependant, voici ce qu’il ne se passe pas :

  • Création d’une nouvelle exécution pour chaque ITPI qui a été exécuté.

Squash AUTOM Premium

Si vous disposez des composants Squash AUTOM Premium, vous avez accès à deux types de remontées d’informations :

  • Légère (valeur par défaut).
  • Complète.

Le choix du type de remontée se fait par projet en accédant à la configuration du plugin Squash TM Result Publisher depuis l’onglet Plugins de la page de consultation d’un projet :

Configuration du plugin

Remontée d’information Légère

En choisissant la remontée d’information Légère, les informations suivantes sont mises à jour après exécution d’un plan d’exécution Squash TM (itération ou suite de tests) :

  • Mise à jour du statut des ITPI.

  • Mise à jour du statut de la suite automatisée.

  • Le rapport au format Allure correspondant à l'ensemble des tests exécutés.

  • Les rapports d’exécution des différents ITPI sont accessibles depuis l’onglet de consultation des suites automatisées :

Rapports d'exécution

Info

Tous les résultats de la suite automatisée sont compilés dans un rapport au format Allure, disponible dans la liste de rapports sous forme d'archive .tar.
Pour plus d'information sur la façon d'exploiter ce rapport et les possibilités de personnalisation, veuillez consulter la documentation Allure.

Cependant, voici ce qu’il ne se passe pas :

  • Création d’une nouvelle exécution pour chaque ITPI qui a été exécuté.

Remontée d’information Complète

En choisissant la remontée d’information Complète, les informations suivantes sont mises à jour après exécution d’un plan d’exécution Squash TM (itération ou suite de tests) :

  • Mise à jour du statut des ITPI.

  • Création d’une nouvelle exécution pour chaque ITPI.

  • Mise à jour du statut de la suite automatisée.

  • Le rapport au format Allure correspondant à l'ensemble des tests exécutés.

  • Les rapports d’exécution des différentes exécutions sont accessibles depuis l’onglet de consultation des suites automatisées ou depuis l’écran de consultation de l’exécution (ils sont présents dans les pièces jointes).

Historique des exécutions

Détails d'une exécution

Info

Tous les résultats de la suite automatisée sont compilés dans un rapport au format Allure, disponible dans la liste de rapports sous forme d'archive .tar.
Pour plus d'information sur la façon d'exploiter ce rapport et les possibilités de personnalisation, veuillez consulter la documentation Allure.