Automatizacija testiranja: kada ima smisla, a kada ne

Automatizacija testiranja: kada ima smisla, a kada ne

Automatizacija obećava brzinu. Obećava pokrivenost. Obećava sigurnost. Često obećava previše.

Mnogi timovi ulaze u automatizaciju sa idejom da će rešiti problem kvaliteta. Instaliraju alat. Napišu nekoliko testova. Pokrenu ih u CI okruženju. Pogledaju zelene rezultate. Osete olakšanje. Ali kvalitet nije zbir zelenih tačaka u izveštaju. Automatizacija je alat. Nije strategija.

Šta automatizacija zaista radi

Automatizovani test izvršava unapred definisane korake. Proverava očekivani rezultat. Ponavlja to dosledno. Bez umora. Bez emocija. Bez improvizacije. To je njena snaga. Ali to je i njeno ograničenje.

Automatizacija proverava ono što smo predvideli. Ne proverava ono što smo zaboravili da zamislimo.

Kada automatizacija ima smisla

1. Stabilni i ponovljivi koraci

Ako imamo funkcionalnost koja se retko menja, automatizacija donosi veliku vrednost. Logovanje. Kreiranje naloga. Plaćanje. Kritične API operacije. Kada se isti koraci izvršavaju stotinama puta tokom sprintova, ručno testiranje postaje skupo i monotono. Automatizacija preuzima rutinu i oslobađa vreme za istraživačko testiranje.

2. Regresija velikog obima

U velikim sistemima sa mnogo međusobno povezanih modula, ručna regresija traje danima. Automatizovani regresioni set, ako je dobro dizajniran, daje brzu povratnu informaciju nakon svakog builda. Brza povratna informacija znači bržu korekciju. Brža korekcija znači manji trošak.

3. API i servisni sloj

Na nivou API-ja automatizacija pokazuje punu snagu. Testovi su brži. Stabilniji. Manje zavise od UI promena. Lakše se održavaju. Tu automatizacija često ima bolji odnos ulaganja i povrata nego na UI nivou.

4. Performanse i opterećenje

Ručnim testiranjem ne možemo simulirati hiljade korisnika. Automatizovani alati za performans testiranje omogućavaju precizno merenje odziva, propusnosti i stabilnosti pod opterećenjem. Bez automatizacije, ovakav uvid je nemoguć.

Kada automatizacija nema smisla

1. Nestabilni zahtevi

Ako se zahtevi menjaju iz sprinta u sprint, automatizovani testovi postaju teret. Svaka promena UI-a ili poslovne logike zahteva prilagođavanje testova. Tim tada više vremena troši na održavanje testova nego na razvoj proizvoda.

2. Nepostojeća strategija

Automatizacija bez jasne test strategije vodi ka haosu. Testovi se pišu ad hoc. Dupliraju se scenariji. Ne postoji prioritet. Ne postoji hijerarhija. Rezultat je velika količina testova koji malo znače.

3. Fokus na metrike umesto na rizik

Neki timovi jure procenat pokrivenosti. 80 posto. 90 posto. 100 posto. Ali pokrivenost linija koda ne znači pokrivenost rizika. Automatizacija treba da prati poslovne prioritete. Kritične funkcionalnosti. Rizične integracije. Složen algoritam koji obrađuje novac ili lične podatke.

Testirati sve podjednako znači ne razumeti šta je zaista važno.

4. Nedostatak kompetencija

Automatizacija zahteva arhitekturu. Zahteva razumevanje dizajna test frameworka. Zahteva disciplinu u pisanju čitljivog i održivog koda. Loše napisani testovi postaju tehnički dug. Flaky testovi urušavaju poverenje u ceo sistem. Kada testovi često padaju bez realnog razloga, tim počinje da ih ignoriše. U tom trenutku automatizacija gubi svrhu.

Kritika automatizacije

Automatizacija stvara iluziju kontrole. Zeleni build ne znači da proizvod nema problema. Zeleni build znači da sistem radi onako kako smo ga naučili da proverava.

Korisnik ne koristi aplikaciju onako kako mi zamišljamo. Korisnik kombinuje radnje. Prekida tok. Unosi neočekivane podatke. Radi greške. Automatizacija retko istražuje. Ona potvrđuje.

Zato je opasno zameniti istraživačko testiranje automatizacijom. Iskusni tester vidi obrasce. Primećuje nelogičnosti. Postavlja pitanja. Automatizovani skript to ne radi. Automatizacija bez kritičkog razmišljanja postaje ritual.

Strateški pristup automatizaciji

Napredni tester razmišlja u slojevima.

• Unit testovi pokrivaju logiku na nivou funkcija i metoda
• API testovi proveravaju poslovna pravila
• UI testovi pokrivaju ključne tokove
• Performans testovi proveravaju stabilnost pod opterećenjem

Ne automatizujemo sve. Automatizujemo ono što nosi rizik. Ono što se često ponavlja. Ono što mora raditi svaki put.

Pre početka automatizacije postavljamo pitanja:

• Koji su najveći poslovni rizici.
• Koliko često se funkcionalnost menja.
• Koliko vremena trenutno trošimo na ručnu regresiju.
• Imamo li ljude koji znaju da dizajniraju održiv framework.

Ako odgovori nisu jasni, automatizacija postaje eksperiment bez cilja.

Automatizacija kao deo kulture kvaliteta

Automatizacija daje najveću vrednost kada je deo šire kulture kvaliteta. Kada developeri pišu unit testove. Kada QA učestvuje u definisanju zahteva. Kada postoji jasna definicija gotovog posla. Bez toga, automatizacija je sloj preko problema. Iskusan tester ne pita kako da automatizuje sve. Pita šta ne treba automatizovati. Jer kvalitet ne dolazi iz količine skripti. Kvalitet dolazi iz razumevanja sistema, rizika i korisnika.

Automatizacija je moćan alat. U pravim rukama ubrzava razvoj. U pogrešnom kontekstu usporava tim. Zadatak naprednog testera nije da piše što više testova. Zadatak je da donosi odluke.

Mudre odluke.