Aller au contenu

Pilotage de l’exécution de tests automatisés depuis Squash TM

Automatisation d’un cas de test Squash TM

Info

Cette page décrit les opérations communes à tous les frameworks de test supportés. Pour faciliter la navigation vous pouvez directement consulter les spécificités de l'automatisation de chaque technologie grâce aux liens suivants :

Une technologie par dépôt Git

Squash Orchestrator ne supporte aujourd'hui qu'une technologie de test par dépôt Git.
Plus précisément, il n'est pas possible de lancer une itération/suite de tests contenant des tests d'un même dépôt Git mais utilisant des technologies différentes.

Sans utilisation du workflow d’automatisation Squash

Pour qu’un cas de test soit utilisable par Squash Orchestrator, il faut que le bloc Automatisation de l’onglet Information de la page de consultation d’un cas de test soit correctement renseigné :

Espace automatisation

  • Technologie du test automatisé : Liste déroulante permettant de choisir la technologie utilisée pour exécuter le cas de test.

  • URL du dépôt de code source : L’adresse du dépôt de source où se trouve le projet, tel que spécifié dans l'espace Serveurs de partage de code source de l’Administration.

  • Référence du test automatisé : Correspond à l’emplacement du test automatisé dans le projet. Cette référence doit respecter un format propre à la technologie de test employée.

Avec utilisation du workflow d’automatisation Squash

Cas de test classique

Pour qu’un cas de test soit utilisable par Squash Orchestrator, il doit être automatisé à partir de l’espace Automatisation (Automaticien) via trois colonnes à renseigner :

Espace automatisation

  • TECHNO. : Liste déroulante permettant de choisir la technologie utilisée pour exécuter le cas de test.

  • URL SCM : L’adresse du dépôt de source où se trouve le projet.

  • REF. TEST AUTO : Correspond à l’emplacement du test automatisé dans le projet. Cette référence doit respecter un format propre à la technologie de test employée.

Cas de test BDD ou Gherkin

Les informations du bloc Automatisation sont remplies automatiquement lors de la transmission d’un script BDD ou Gherkin à un gestionnaire de code source distant. Ils sont également modifiables à tout moment par l’utilisateur.

Exploitation de paramètres Squash TM

Au lancement d’un plan d’exécution Squash TM (depuis Squash TM ou depuis un pipeline CI/CD), celui-ci transmet différentes informations sur les éléments du plan d'exécution qu’il est possible d’exploiter dans un cas de test. Les détails de cette fonctionnalité sont décrits dans la section correspondant à la technologie utilisée.

Info

Les technologies suivantes supportent l'exploitation des paramètres Squash TM au sein des cas de test :

Exécution d'une suite automatisée

L'exécution d'un plan d'exécution automatisée se déroule de la façon habituelle dans Squash TM :

  • Accédez au plan d'exécution de l'itération ou de la suite de tests choisie.

  • Exécutez les tests automatisés en utilisant un des boutons de l'image ci-dessous :

Plan de test

  • Une popup de suivi d'exécution apparaît.

Info

La popup de suivi contient une nouvelle section qui rappelle le nom des tests en cours d'exécution par Squash Orchestrator. Cependant il n'y a pas de suivi d'avancement dans la version actuelle.

Ordre d'exécution des tests

Le seul ordre assuré par Squash AUTOM (resp. Squash DEVOPS) est que, pour un dépôt Git donné dans une itération/suite de tests donnée, les tests seront exécutés dans l'ordre défini dans Squash TM.
Si une itération/suite de tests contient des tests automatisés appartenant à plusieurs dépôts Git, l'ordre d'exécution des tests d'un dépôt par rapport à l'exécution des tests d'un autre dépôt est indéfini.
Si plusieurs itérations/suites de tests sont lancées depuis Squash TM (resp. le pipeline CI/CD), l'ordre d'exécution des tests d'une itération/suite par rapport à l'exécution des tests d'une autre itération/suite est indéfini. (Sauf dans le cas simpliste où un environnement d'exécution adéquat est disponible et la première suite/itération a pu démarrer avant que l'utilisateur Squash TM – resp. le pipeline CI/CD – en lance une autre.)

Remontées de résultats après exécution d’un plan d’exécution Squash TM

Quelle que soit la façon dont le plan d’exécution est déclenché (depuis Squash TM ou depuis un pipeline CI/CD), vous avez en fin d’exécution une remontée de résultats au sein de Squash TM qui diffère suivant si vous êtes sous licence Community ou Premium.

Squash AUTOM Community

Après exécution d’un plan d’exécution Squash TM (itération ou suite de tests), les informations suivantes sont mises à jour :

  • Mise à jour du statut des ITPI (Iteration Test Plan Item, voir le glossaire Squash TM).

  • Mise à jour du statut de la suite automatisée.

  • Le rapport au format Allure (fichier allure-report.tar) et les logs de Squash Orchestrator (fichier executionlog.txt) correspondant à l'ensemble des tests exécutés.

  • Les rapports d’exécution des différents ITPI sont accessibles depuis l’onglet de consultation des suites automatisées :

Rapports d'exécution

Info

Tous les résultats de la suite automatisée sont compilés dans un rapport au format Allure, disponible dans l'archive allure-report.tar.
Pour plus d'information sur la façon d'exploiter ce rapport, veuillez consulter la documentation Allure.

Squash AUTOM Premium

Si vous disposez des composants Squash AUTOM Premium, vous avez accès à deux types de remontée d’information :

  • Légère (valeur par défaut) ;
  • Complète.

Le choix du type de remontée se fait par projet en accédant à la configuration du plugin Squash TM Result Publisher depuis l’onglet Plugins de la page de consultation d’un projet :

Configuration du plugin

Remontée d’information Légère

Les informations mises à jour sont les mêmes que pour Squash AUTOM Community.

Remontée d’information Complète

Les informations mises à jour sont les mêmes que pour Squash AUTOM Community mais de plus :

  • Une nouvelle exécution est créée pour chaque ITPI.

  • Les rapports d’exécution des différentes exécutions sont également accessibles depuis l’écran de consultation de l’exécution (ils sont présents dans les pièces jointes).

Historique des exécutions

Détails d'une exécution

Légende

† indique un composant commun à Squash AUTOM et Squash DEVOPS.
️‡ indique un composant Premium. Une vue d'ensemble des fonctionnalités Premium est disponible ici. Pour en bénéficier ou demander plus d'informations, consulter notre site ou nous contacter.