Pilotage de l’exécution de tests automatisés depuis Squash

Automatisation d’un cas de test Squash

Info

Cette page décrit les opérations communes à tous les frameworks de test supportés. Pour faciliter la navigation vous pouvez directement consulter les spécificités de l'automatisation de chaque technologie grâce aux liens suivants :

• Agilitest💎
• Cucumber JVM
• Cypress
• JUnit
• Katalon💎
• Playwright
• Postman
• Ranorex💎
• Robot Framework
• SKF
• SoapUI
• UFT💎

Une technologie par dépôt Git

Squash Orchestrator ne supporte aujourd'hui qu'une technologie de test par dépôt Git.
Plus précisément, il n'est pas possible de lancer une itération/suite de tests contenant des tests d'un même dépôt Git mais utilisant des technologies différentes.

Sans utilisation du workflow d’automatisation Squash

Pour qu’un cas de test soit utilisable par Squash Orchestrator, il faut que le bloc Automatisation de l’onglet Information de la page de consultation d’un cas de test soit correctement renseigné :

• Technologie du test automatisé : Liste déroulante permettant de choisir la technologie utilisée pour exécuter le cas de test.

• URL du dépôt de code source : L’adresse du dépôt de source où se trouve le projet, tel que spécifié dans l'espace Serveurs de partage de code source de l’Administration.

• Référence du test automatisé : Correspond à l’emplacement du test automatisé dans le projet. Cette référence doit respecter un format propre à la technologie de test employée.

Avec utilisation du workflow d’automatisation Squash

Cas de test classique

Pour qu’un cas de test soit utilisable par Squash Orchestrator, il doit être automatisé à partir de l’espace Automatisation (Automaticien) via trois colonnes à renseigner :

• TECHNO. : Liste déroulante permettant de choisir la technologie utilisée pour exécuter le cas de test.

• URL SCM : L’adresse du dépôt de source où se trouve le projet.

• REF. TEST AUTO : Correspond à l’emplacement du test automatisé dans le projet. Cette référence doit respecter un format propre à la technologie de test employée.

Cas de test BDD ou Gherkin

Les informations du bloc Automatisation sont remplies automatiquement lors de la transmission d’un script BDD ou Gherkin à un gestionnaire de code source distant. Ils sont également modifiables à tout moment par l’utilisateur.

Exploitation de paramètres Squash TM

Au lancement d’un plan d’exécution Squash (depuis Squash TM ou depuis un pipeline CI/CD), celui-ci transmet différentes informations sur les éléments du plan d'exécution qu’il est possible d’exploiter dans un cas de test.

Les technologies suivantes supportent l'exploitation des paramètres Squash TM :

• Agilitest💎
• Cucumber JVM
• Cypress
• JUnit
• Katalon💎
• Playwright
• Postman
• Ranorex💎
• Robot Framework
• SKF
• UFT💎

Chacune de ces pages décrit les paramètres récupérables par le script de test et comment les récupérer.

Exécution d'une suite automatisée

L'exécution d'un plan d'exécution automatisée se déroule de la façon habituelle dans Squash TM :

• Accédez au plan d'exécution de l'itération ou de la suite de tests choisie.

• Sélectionner les tests automatisés en utilisant un des boutons de l'image ci-dessous :
  Le bouton 1 lance tous les tests automatisés ou lance les tests couramment sélectionnés.
  Le bouton 2 lance un test donné.

• Une popup de lancement apparaît.
  Elle permet d'indiquer des tags pour sélectionner des environnements d'exécution et de modifier les valeurs des variables d'environnement communiquées aux tests automatisés.
  (Voir la documentation de Squash TM pour plus de détails.)

• Une fois les tests lancés, leurs résultats sont affichés au fur et à mesure de leurs exécutions dans cette même popup. Celle-ci ne doit pas être fermée, Squash TM ne permet couramment pas de la rouvrir.

  Anciennes versions de Squash TM

  Pour les versions anciennes de Squash TM (5.X.Y), il n'y avait pas de remontée en temps réel des résultats de chaque test : l'utilisateur fermait la popup, devenu inutile, une fois les tests lancés.

Ordre d'exécution des tests

Le seul ordre assuré par Squash est que, pour un dépôt Git donné dans une itération/suite de tests donnée, les tests seront exécutés dans l'ordre défini dans Squash TM.
Si une itération/suite de tests contient des tests automatisés appartenant à plusieurs dépôts Git, l'ordre d'exécution des tests d'un dépôt par rapport à l'exécution des tests d'un autre dépôt est indéfini.
Si plusieurs itérations/suites de tests sont lancées depuis Squash TM (resp. le pipeline CI/CD), l'ordre d'exécution des tests d'une itération/suite par rapport à l'exécution des tests d'une autre itération/suite est indéfini. (Sauf dans le cas simpliste où un environnement d'exécution adéquat est disponible et la première suite/itération a pu démarrer avant que l'utilisateur Squash TM – resp. le pipeline CI/CD – en lance une autre.)

Remontée des résultats d’un plan d’exécution

Durant l'exécution d'un plan de test (depuis Squash TM ou depuis un pipeline CI/CD) :

• Une nouvelle exécution est créée pour chaque ITPI (Iteration Test Plan Item, voir le glossaire Squash TM) au fur et à mesure de l'exécution de chaque test. Elle a un statut correspondant au résultat du test automatisé : Succès, Échec ou Bloqué.
  Les rapports d’exécution et les attachements du test automatisé sont disponibles depuis l’onglet Suites automatisées.

• Quand tous les tests de la suite automatisée ont été exécutés, le statut de celle-ci est mis à jour.
  Un rapport HTML (executionreport.html), un rapport Allure (allure-report.tar) et les logs de Squash Orchestrator (executionlog.txt) correspondant à l'ensemble des tests exécutés sont disponibles depuis l’onglet Suites automatisées.
  Pour plus d'information sur la façon d'exploiter le rapport Allure, veuillez consulter la documentation Allure.

Obsolescence des rapports Allure

Depuis la livraison 2024-03, Squash Orchestrator peut générer un rapport HTML offrant un aperçu complet des tests d'un workflow. Il s'agit d'une fonctionnalité redondante avec les rapports Allure, mais ceux de l'orchestrateur sont plus polyvalents et pourront être encore étendus à l'avenir. Nous prévoyons donc de supprimer la prise en charge des rapports Allure :

• Au quatrième trimestre 2024, l'orchestrateur cessera de générer des rapports Allure par défaut. La génération pourra être réactivée par configuration.
• Au troisième trimestre 2025, la prise en charge des rapports Allure sera abandonnée. Aucun rapport Allure ne pourra plus être créé.

Les rapports et attachements des différentes exécutions sont également accessibles depuis l’écran Exécution (ils sont présents dans les pièces jointes).

Anciennes versions de Squash TM

Pour les versions anciennes de Squash TM (5.X.Y), un mode de remontée d'information légère était disponible.
Dans ce mode, seule la dernière exécution d'un ITPI était conservée et les rappoGgrts et attachements n'étaient pas accessibles depuis l’écran de consultation de l’exécution.
Ce mode était

• imposé pour les utilisateurs de Squash AUTOM Community
• optionnel pour les utilisateurs de Squash AUTOM Premium
  (Il était configurable dans la configuration du plugin Squash Result Publisher depuis l’onglet Plugins de la page de consultation d’un projet.)

---

Légende

️💎 indique un composant ou une fonctionnalité Ultimate. Une vue d'ensemble des fonctionnalités Premium et Ultimate est disponible ici. Pour en bénéficier ou demander plus d'informations, consulter notre site ou nous contacter.