99,59%. To nie jest uptime ani pokrycie kodu – to nasz roczny wskaźnik stabilności uruchamianych testów mobilnych end-to-end. Brzmi to niemal nieprawdopodobnie, zwłaszcza jeśli kiedykolwiek przyszło Ci śledzić puchnący wątek na Slacku o nazwie #iHateMobile.

Przez trzy lata zmagaliśmy się z typowymi zmorami mobilnej automatyzacji: timeoutami w Appium, znikającymi selektorami i chimeryczną infrastrukturą. Ta prelekcja to esencja naszych doświadczeń – poradnik przetrwania dla każdego, kto choć raz miał ochotę rzucić testowym telefonem o ścianę.
Podczas tej dynamicznej sesji pominiemy podstawy i przejdziemy prosto do konkretnych decyzji architektonicznych, które pozwoliły nam opanować chaos i odzyskać pewność działania. Pokażemy, jak wykroczyliśmy poza standardowe wdrożenia WebdriverIO, by stworzyć szybki i przewidywalny system, na którym polega dziś cały nasz dział inżynieryjny.
Omówimy „Wielką Trójkę”, która pomogła nam wyeliminować problem niestabilnych testów (tzw. flakiness):
– Framework: Jak drobne, niskopoziomowe poprawki w interakcji z elementami oraz rygorystyczne zarządzanie stanem przełożyły się na lawinowy wzrost stabilności.
– Mitygacja: Dlaczego zrezygnowaliśmy z przygotowywania danych do testów przez interfejs (UI) na rzecz zasilania ich z poziomu API (data seeding) i dedykowanych stanów aplikacji, drastycznie skracając czas ich wykonywania.
– Orkiestracja: Zaprezentujemy nasz autorski mechanizm balansowania wątków i urządzeń oraz wyzwalacze w CI, dzięki którym uruchamianie testów sprowadza się dosłownie do jednego kliknięcia.

Na koniec poruszymy kwestię czynnika ludzkiego: tego, jak stabilne buildy odmieniły naszą kulturę pracy, przekonując do siebie sceptyków i sprawiając, że rzucone ot tak „po prostu odpal testy” stało się ulubionym powiedzeniem w zespole.