Analiza rezultatów

Po udanym uruchomieniu testu aplikacja powinna automatycznie przejść do strony ze szczegółami scenariusza testowego, na którym pojawią się również wyniki testów po ich wykonaniu.

Strona ta składa się z komponentów takich jak:

• TestSuite,

• Schedule (wyświetlany tylko dla monitoringów),

• Details,

• Parameters,

• Chart,

• Test Suite: Threshold Monitoring Health (wyświetlany tylko dla monitoringów),

• Results.

W celu ułatwienia zrozumienia wszystkich informacji dostępnych na tej stronie poniżej znajduje się opis poszczególnych komponentów.

Komponent Test Suite

W komponencie Test Suite znajduje się odwzorowanie porządku, w którym będą uruchamiane testy w ramach tego scenariusza. Schemat jest bardzo podobny do tego, który był przy tworzeniu scenariusza z bloczków. Scenariusz jest podzielony na kroki, z czego bloczki w ramach jednego kroku są wykonywane równolegle wobec siebie, a poszczególne kroki po kolei jeden po drugim.

Po kliknięciu na bloczek testowy, w komponencie Results powinna pojawić się lista wyników wszystkich testów uruchomionych w ramach wybranego bloczka testowego.

Jeśli scenariusz testowy zawiera konfigurację połączenia z rdzeniem 5G, w komponencie Test Suite pojawią się dwa dodatkowe kroki dotyczące uruchomienia oraz zamknięcia środowiska potrzebnego do wykonania testów w specjalnym trybie (np. z użyciem sieci 5G):

• Pre-Step to krok scenariusza, który znajduje się na samym początku przed wszystkimi krokami zawierającymi bloczki testowe i w którym znajdują się specjalne bloczki oznaczające przygotowanie test agenta do wykonania specjalnych testów,

• Post-Step to krok scenariusza, który znajduje się na samym końcu, za wszystkimi krokami zawierającymi bloczki testowe i w którym znajdują się specjalne bloczki oznaczające wyłączenie infrastruktury potrzebnej wcześniej do wykonania specjalnych testów.

Dla scenariusza zawierającego konfigurację połączenia z rdzeniem 5G w kroku Pre-Step powinien znaleźć się bloczek o nazwie Run 5G Infra, który oznacza uruchomienie na test agencie środowiska umożliwiającego połączenie z rdzeniem 5G. W kroku Post-Step powinien znaleźć się bloczek o nazwie Terminate 5G Infra oznaczający zamknięcie tego środowiska. Po kliknięciu na odpowiedni bloczek w komponencie Results wyświetlą się wszystkie zadania uruchomione w ramach tego bloczka. Tam też będzie można sprawdzić, czy uruchomienie/zamknięcie środowiska zostało przeprowadzone poprawnie oraz będzie można znaleźć wyniki zadania jeśli takie są dla niego dostępne.

Komponent Schedule

Komponent Schedule jest wyświetlany tylko dla scenariuszy uruchomionych w trybie monitoringu, czyli cyklicznego uruchamiania scenariusza.

W obrębie tego komponentu znajdziemy takie informacje jak:

• Start Time - data i czas rozpoczęcia scenariusza,

• End Time - data i czas zakończenia scenariusza,

• Repeat interval [s] - interwał pomiędzy czasem rozpoczęcia dwóch następujących po sobie cykli scenariusza,

• Next Run - data i czas rozpoczęcia kolejnego cyklu scenariusza.

Pod wyżej wymienionymi wartościami może się znaleźć również przycisk Pause/Resume, dzięki któremu możemy wstrzymywać oraz wznawiać scenariusz. Przycisk dostępny jest tylko przed zakończeniem działania scenariusza.

Komponent Details

W komponencie Details powinny znajdować się informacje o szczegółach scenariusza:

• Created - data i czas dodania scenariusza przez użytkownika,

• Status - status testu, możliwe statusy:

  • Pending - scenariusz oczekuje na uruchomienie pierwszego testu,

  • Running - scenariusz w trakcie wykonywania,

  • Finished - scenariusz zakończony,

  • Paused - scenariusz wstrzymany przez użytkownika,

• Priority Limit - limit priorytetu dla scenariusza (parametr wyświetlany tylko w przypadku jego ustawienia w konfiguracji scenariusza testowego),

• Thresholds - konfiguracja progów alarmowych dla scenariusza (parametr wyświetlany tylko w przypadku jego ustawienia w konfiguracji scenariusza testowego).

Komponent Parameters

W tym komponencie znajdziemy informacje charakterystyczne dla ustawień bloczka testowego:

• Test - nazwa testu, który jest uruchomiony w ramach tego bloczka,

• Locations - urządzenia z test agentem oraz lokalizacje chmurowe, na których jest uruchomiony ten bloczek testowy,

• Notifications Priority - priorytet bloczka testowego (parametr wyświetlany tylko w przypadku jego ustawienia w konfiguracji scenariusza testowego),

• parametry testu ustawione przez użytkownika,

• Thresholds - konfiguracja progów alarmowych dla bloczka testowego (parametr wyświetlany tylko w przypadku jego ustawienia w konfiguracji scenariusza testowego).

Komponent Chart

W tym miejscu znajdziemy wykres zbiorczy ze wszystkich wykonań danego bloczka ze wszystkich wykonanych cykli scenariusza. Wykres dostępny jest tylko dla scenariuszy uruchomionych w trybie monitoringu oraz tylko dla wybranych typów testów.

Podczas trwania scenariusza wykres powinien odświeżać się sam automatycznie po otrzymaniu kolejnych wyników dotyczących danego bloczka testowego.

Wykres, który ma na osi X wartości czasu można filtrować podając zakres czasu z dostępnych opcji pod przyciskiem po prawej stronie wykresu. Przycisk jest dostępny tylko dla niezakończonych scenariuszy. Dla zakończonych - na wykresie zaprezentowane są wszystkie rezultaty wybranego bloczka w scenariuszu. Drugim sposobem na filtrowanie wyników jest zaznaczenie myszką czasu, dla którego chcemy wyświetlić wykres.

W przypadku filtrowania przez przeciągnięcie myszką, aby przywrócić zakres czasu do poprzedniego stanu należy kliknąć przycisk lupy znajdujący się obok przycisku z filtrem czasu.

W przypadku braku wykresu dla danego scenariusza testowego w komponencie zostanie wyświetlony komunikat „No chart”.

Komponent Test Suite: Threshold Monitoring Health

Komponent ten prezentuje nam wykres stanu przekroczenia progów alarmowych we wszystkich cyklach uruchomienia monitoringu. Komponent wyświetla się tylko dla scenariuszy testowych uruchomionych jako monitoring oraz zawierających konfigurację progów alarmowych dla całego scenariusza.

Komponent Results

W komponencie Results powinna znajdować się tabela wszystkich dotychczasowych uruchomień danego bloczka testowego. Dla każdego uruchomienia można odczytać informacje:

• Test - nazwa, kategoria oraz podkategoria testu wykonanego w ramach bloczka,

• Location - miejsce uruchomienia testu,

• Status - status testu, możliwe statusy:

  • Pending - test czeka na uruchomienie,

  • Running - test jest w trakcie wykonywania,

  • Finished - test został zakończony,

  • Failed - test nie został wykonany,

• Thresholds - informacja o przekroczeniu lub nie progu alarmowego:

  • kolor czerwony oznacza przekroczenie progu,

  • kolor zielony oznacza nieprzekroczenie progu,

  • kolor szary oznacza brak możliwości weryfikacji na wskutek nie ustawienia progu przez użytkownika lub np. nie wykonania testu,

• Date Created - data i czas uruchomienia testu,

• Date Updated - data i czas ostatniej aktualizacji wyniku testu.

Po kliknięciu na nazwę testu bezpośrednio pod nim powinien pokazać się jego wynik (jeśli tylko test został zakończony). Wynik w formie tabeli lub innej formie dostępny jest tylko dla wybranych typów testów. Poniżej powinien znaleźć się przycisk Show Raw Results, po naciśnięciu którego na ekranie pojawi się wynik testu w nie przetworzonej formie. Struktura wyniku testu powinna być zgodna ze standardem JSON.

W przypadku braku jakichkolwiek wyników testów (np. przed pierwszym cyklem scenariusza) w komponencie zostanie wyświetlony komunikat „No results”.

W tym komponencie możliwe jest również filtrowanie rezultatów testów. Aby to zrobić należy kliknąć na przycisk Filters znajdujący się po prawej stronie komponentu, a następnie wybrać filtry, które nas interesują. Dostępne są:

• Status - wylistowanie wszystkich wyników z takim statusem (możliwość podania kilku),

• Threshold Exceeded - wylistowanie wyników względem przekroczonego lub nie progu alarmowego.

Lista testów zostanie automatycznie zaktualizowana po każdej zmianie któregokolwiek filtra.

Jeśli jakiś filtr jest aktywowany przycisk Filters zmieni kolor na czerwony, aby po powrocie do ekranu szczegółów scenariusza można było łatwo zweryfikować, czy wyświetlone są wszystkie wyniki z tego bloczka testowego, czy jest założony na nich jakiś filtr danych.