Įvadas
Milžinišku greičiu dirbančios programinės įrangos komandos negali prižiūrėti kiekvieno naudotojų sugalvoto paspaudimo, perbraukimo ar spausdinimo klaidos. Todėl beždžionių testavimo proceso valdymo įrankiai yra pagalbininkai, padedantys suvaldyti chaosą "kas būtų, jeigu būtų", kol jis dar neišsiplėtė.
Įjungę išmaniųjų beždžionių testavimo automatizavimo įrankius į vamzdyną, paleidžiate būrį virtualių primatų, kurie daužo jūsų vartotojo sąsają atsitiktiniais įėjimais, atkuria begalinės beždžionės teoremą ir išryškina kraštinių atvejų avarijas, kurių joks skriptinis testas niekada neįsivaizdavo. Kiekvienas netikėtumas - nuo genialaus beždžionių testavimo, kuriuo nustatomi trūkinėjantys srautai, iki visapusiško testavimo nepalankiausiomis sąlygomis ir net giluminio gorilų testavimo, gerinančio bendrą naudotojo patirtį, - yra sąžiningas žaidimas.
Sujunkite šią beprotybę su tokių platformų kaip Testomat.io chaoso beždžionių bandymų valdymo prietaisų skydeliais ir stebėkite, kaip nesėkmės iškyla realiuoju laiku - ir užgniaužkite jas, kol naudotojai dar nepradėjo piktintis. Reikia greitai atnaujinti metodą? Peržiūrėkite mūsų testavimo beždžionėmis pradžiamokslį.
Toliau - šešių žudikų rinkinių suskirstymas pagal šalis, kartu su GIF paruoštomis ekrano nuotraukomis.
Greito nuskaitymo palyginimo lentelė
| Įrankis | Geriausiai tinka | CI/CD kablys | Atsitiktinių įvykių slankiklis | Kaina nuo* |
| Testomat.io | Chaoso testai vamzdynuose ir viso ciklo testavimo proceso priežiūra | ✔️ | 0 - 10 K | nemokamai |
| vandens debesis | Įmonių veiklos testavimas ir analizė | ✔️ | 0 - 5 K | $35 / naudotojas / mėn. |
| Qase | "Lean" regresijos testavimo rinkiniai greitam išleidimui | ✔️ | 0 - 3 K | $20 / naudotojas / mėn. |
| TestRail | Didelės apimties testavimo atvejų valdymas | scenarijus/API | 0 - 2 K | $39 / naudotojas / mo |
| "Zephyr Scale | "Jira" našumo testavimo prietaisų skydeliai | papildinys | 0 - 2 K | 10 USD / naudotojas / mėn. |
| PractiTest | Visapusiškas testavimo rezultatų ir testavimo proceso matomumas | webhooks | 0 - 1 K | $29 / naudotojas / mėn. |
*Viešai skelbiamos kainos; pardavėjai skelbia akcijas, todėl ieškokite pasiūlymų svetainėse.
1. Testomat.io
"Testomat.io" užtikrina beždžionių testavimo integraciją CI/CD tiesiai į jūsų vamzdyną, išlaisvindamas protingus beždžionių testavimo atsitiktinių veiksmų pliūpsnius per integruotą "Application Exerciser Monkey runner". Kiekvienas chaoso sukimas nukreipia tiesioginius metrikus atgal į vieną lentą, todėl komanda pastebi netinkamus srautus gerokai anksčiau, nei vartotojai su jais susiduria.
Pagrindinės funkcijos
- Vieno spustelėjimo testavimo nepalankiausiomis sąlygomis jungiklis (rinkitės 100 → 10 000 atsitiktinių įvykių)
- "Chaos-run" tvarkaraštis, kuris paleidžiamas po kiekvieno sujungimo arba naktinio kūrimo
- "Android Studio" papildinys, kuriuo avarijų žurnalai perduodami tiesiai į IDE
- Atsitiktinių veiksmų šiluminis žemėlapis, kuriame nurodomos karštosios gedimų zonos
- Automatiškai generuojami testų rinkiniai iš įrašytų naudotojo kelių
- Integruotos našumo testavimo diagramos, kuriose pateikiamos ir (arba) nesėkmių tendencijos
- "Slack" / "Jira" žiniatinklio kablys įspėjimams realiuoju laiku
Privalumai
- Vietiniai CI/CD kabliukai "GitHub", "GitLab", "CircleCI", "Jenkins", "Azure
- Žaibiškas testavimo atvejų importas iš CSV, XML arba API
- Spalvotas regresijos testavimo prietaisų skydelis per sprintą
- Išmaniosios euristikos, kuriomis pažymimos ne tik pavieniai bakstelėjimai, bet ir klaidingos sekos
- Neribotas projektų skaičius net ir pradinėje pakopoje
- Granuliarios vaidmenų teisės QA komandoms ir kūrėjų komandoms
- Draugiška REST API, skirta pasirinktiniams chaoso scenarijams
Trūkumai
- Tik debesyje; dar nėra įdiegimo vietoje
- "Pro" ir aukštesniuose planuose užrakinta nuodugni analizė
Kainodara
"Starter" yra nemokama ne daugiau kaip trims naudotojams. "Pro" kaina - 30 USD vienam naudotojui per mėnesį, o "Enterprise" - 30 USD už naudotoją ir prioritetinį palaikymą.
2. vandens debesis
"aqua cloud" ant jau ištobulintų struktūrinio testavimo metodų prideda kontroliuojamą atsitiktinį testavimą ir giluminį "fuzz" testavimą. Platforma sukuria chaoso pliūpsnius, registruoja kiekvieną nesąžiningą įvestį, tada duomenis vėl susiuva į atsekamus reikalavimus, kad auditoriai liktų patenkinti, o jūsų programėlė išgyventų laukinėje gamtoje.
Pagrindinės funkcijos
- Vizualus chaoso srauto kūrimo įrankis (vilkite ir nuleiskite atsitiktinius įvykius)
- "Fuzz" duomenų generatorius su entropijos išankstinėmis nuostatomis
- Realaus laiko atsekamumo matrica, susiejanti klaidas → reikalavimus
- Vietinis arba SaaS diegimas su ISO-27001 apsaugos priemonėmis
- Integruotas SLA prietaisų skydelis, skirtas našumo testavimo SLA pažeidimams nustatyti
Privalumai
- Sklandus "Jira" / "Azure DevOps" defektų sinchronizavimas
- Nepavykus chaoso paleidimui, vienu spustelėjimu grįžkite prie paskutinės žalios konstrukcijos
- Granuliarus istorijos skirtumas, rodantis, kurie kodo pakeitimai ką sugadino
- Automatiškai žymimos ekrano nuotraukos, kad QA komandos galėtų greičiau jas ištirti
- Sklandi REST API, skirta pasirinktiniams chaoso trigeriams bet kuria kalba
Trūkumai
- Mažesniuose ekranuose vartotojo sąsaja yra sunki
- "Fuzz" generatorius pasiekia kietą 50 tūkst. įvykių ribą vidutinio lygio plane
- Mokymosi kreivė: atsekamumo matricą reikia nustatyti iš anksto
Kainodara
Komandos plano kaina prasideda nuo 35 JAV dolerių vienam naudotojui per mėnesį (sąskaitos išrašomos per metus). Verslo planas padidina saugyklos ir įvykių ribas iki 49 USD vienam naudotojui per mėnesį, o Įmonių planas yra individualus ir atrakina neribotus atsitiktinių įvykių srautus bei 24/7 palaikymą.
3. Qase
"Qase" derina klasikinius iš anksto nustatytus testavimo atvejus su atsitiktiniais raktais be scenarijaus ir suteikia komandoms lengvą testavimo valdymą chaoso inžinerijoje - tai ypač patogu, kai tenka dirbti su mobiliosiomis programomis, veikiančiomis drebančiuose tinkluose ir turinčiomis nestabilius gestų modelius. Švari vartotojo sąsaja reiškia, kad galite pereiti nuo rankinio testavimo prie beždžionių sprogdinimų, neprarasdami aprėpties stebėjimo.
Pagrindinės funkcijos
- "Toggle-on" beždžionių bėgikas, kuris atlieka atsitiktinius bakstelėjimus, perbraukimus ir purtymus
- Mobiliojo SDK avarijų žurnalų perkėlimas tiesiai į bandymų vykdymo laiko juostą
- "GitHub" veiksmų ir "GitLab CI" įspėjimų "Pipeline" valdiklis
- Integruota rimtumo matrica, automatiškai žyminti kritines problemas per chaoso pliūpsnius
- vienu spustelėjimu eksportuokite į CSV, JSON arba "BigQuery" įskaitos statistiką į CSV, JSON arba "BigQuery
Privalumai
- Itin švarus prietaisų skydelis - nauji darbuotojai jį perpranta per valandą
- Greitas masinis tūkstančių atvejų redagavimas prieš regresinį patikrinimą
- Sinchronizavimas realiuoju laiku su "Jira", "Trello", "ClickUp" ir "Asana
- Išmanusis skirtumų rodinys rodo, kurie kodo pakeitimai sugadino kurį scenarijų
- Nemokama pakopa palaiko neribotą skaičių viešų projektų - tai puikiai tinka OSS programoms
Trūkumai
- Neįdiegiama vietoje; tik debesyje
- "Android" beždžionė bėgikas viršūnės 5 K įvykių vidutinio lygio
- Trūksta integruotų našumo grafikų - reikia "Grafana" papildinio
Kainodara
"Starter" yra nemokama trims naudotojams. Augimo planas kainuoja 22 dolerius vienam naudotojui per mėnesį, o "Business" - 38 dolerius vienam naudotojui per mėnesį. Enterprise tariasi dėl pasirinktinių kiekio nuolaidų ir SSO.
4. TestRail
"TestRail" yra patyręs skaičiuoklės žudikas, kuriuo daugelis komandų naudojasi, norėdamos sukurti skriptinius rinkinius; įjunkite chaoso papildinį ir galėsite srautiniu būdu į tą pačią laiko juostą perkelti apkrovos testavimo šuolius ir neskriptines naudotojų sąveikas. Ši mišrainė kartu su įprastiniais įveikimo/neįveikimo skaičiavimais nurodo ir klastingas našumo problemas - nereikia mokytis naujos vartotojo sąsajos, nėra jokios dramos.
Pagrindinės funkcijos
- "Chaos" papildinys "MonkeyRunner" žurnalus įtraukia į paleidimo istoriją
- REST API skelbia apkrovos testo metrikas tendencijų diagramoms
- Pasirinktiniai laukeliai įvykių skaičiui, atminties delta, avarijos hash
- Įterptinis skirtumas išryškina teiginių dreifą tarp skirtingų sąrankų
- Suplanuotas PDF eksportuotojas, skirtas "exec-friendly" būsenos lentelėms
Privalumai
- Brandus leidimų modelis su projekto ir filialo izoliacija
- Stulbinamai greitas masinis didžiulių bylų bankų redagavimas
- Mygtukas "Greiti bandymai" atkuria bet kokią nepavykusią atsitiktinę seką
- Tvirti CI kabliukai: "Jenkins", "CircleCI", "TeamCity", "Azure".
- Turtingos konservuotos ataskaitos - nereikia papildomo BI rinkinio
Trūkumai
- "Chaoso" pagalbininkai yra trečiųjų šalių priedai, o ne vietiniai
- Naudotojo sąsaja jaučiasi pasenusi, palyginti su sklandesniais SaaS naujokais
- Dideliems būriams greitai susikaupia vieno vartotojo kaina
Kainodara
Debesies vietų kaina prasideda nuo 39 JAV dolerių vienam naudotojui per mėnesį, už kurį atsiskaitoma per metus. Savarankiškai talpinamų licencijų kaina yra 416 JAV dolerių vienam naudotojui per metus iš anksto, o viršijus 20 vietų taikomos nuolaidos.
5. Zefyro skalė
"Zephyr Scale" jungiasi tiesiai į "Jira", todėl galite atlikti bandymus su kvailomis beždžionėmis per sprintus, nesugadindami darbo eigos. Atsitiktiniai bakstelėjimai daužo vartotojo sąsają "be galo ilgai", o kiekvienas gedimas yra susietas su tiksliais kodo pakeitimais, kurie jį sukėlė, todėl trikdžiai lieka kūrėjo biliete, o ne paslaptingoje "Slack" gijoje.
Pagrindinės funkcijos
- "Jira" gimtoji testų biblioteka su "chaos-step" šablonais
- Atsitiktinių veiksmų generatorius, palaikantis žiniatinklio, API ir mobiliuosius taikinius
- Automatinis defektų susiejimas su istorijomis ir traukimo užklausomis
- Laiko juostos droselis (sustabdyti chaosą po X minučių arba Y įvykių)
- Tendencijų įtaisas, rodantis praeinamumo rodiklį, palyginti su pakeisto kodo eilutėmis
Privalumai
- Nulinis konteksto perjungimas komandoms, kurios jau naudojasi "Jira
- Masinis klonavimas per kelias sekundes sukuria naujus rinkinius iš esamų scenarijaus rinkinių
- Pasirinktiniai laukai stebi atminties šuolį, procesoriaus apkrovą ir avarijos hash per paleidimą
- Išmaniųjų žymių filtrai atskiria kvailų ir išmaniųjų chaoso srautus ataskaitose
- REST API perkelia rezultatus į "Grafana" arba "DataDog" prietaisų skydelius
Trūkumai
- "Jira" reikalavimas reiškia, kad nėra atskiro naudojimo atvejo
- Atsitiktinių veiksmų generatoriaus riba - 2 K įvykių standartinėje pakopoje
- Sudėtinga leidimų sąranka, jei keli projektai dalijasi chaoso šablonais
Kainodara
"Zephyr Scale" yra "Jira Marketplace" priedas:
- Standartinis - 10 USD už naudotoją per mėnesį (metinė sąskaita) iki 100 naudotojų
- "Premium" - slankioji skalė, pradedant nuo 7 JAV dolerių vienam naudotojui per mėnesį, atrakinama 10 K įvykių chaoso riba, SAML SSO
- Užsakius galima nustatyti įmonės kainą, neribotą įvykių skaičių ir 24 valandas per parą, 7 dienas per savaitę teikiamą palaikymą.
6. PractiTest
"PractiTest" derina scenarijaus aprėptį su "on-the-fly" adhoc bandymais ir leidžia paleisti beždžionių bandymus, kai tik nujaučiate, kad "tai gali sprogti". Platformoje avarijos žymimos kaip kritinės problemos arba "triukšmas", o klaidingai teigiami rezultatai filtruojami prieš jiems užgriozdinant "Jira". Rezultatas? Švarios prietaisų lentelės ir jas skaitantys specialistai.
Pagrindinės funkcijos
- Vieno bakstelėjimo adhoc-chaos paleidimo priemonė bet kuriame bandymų cikle
- Išmanusis filtras, automatiškai pažymintis tikėtinus klaidingai teigiamus gedimus
- Pagrindinių priežasčių tyrinėtojas, susiejantis kritines problemas su įsipareigojimo ID
- Tarpprojektinė tendencijų analizė žiniatinklio ir mobiliųjų įrenginių rinkiniuose
- Natūrali BI integracija, perkelianti duomenis į "Power BI" ir "Looker
Privalumai
- Nušlifuotos vartotojo sąsajos - nauji bandytojai pradeda dirbti per kelias minutes
- Daugkartinio naudojimo bandymų komponentai sumažina "copy-paste" pridėtines išlaidas
- "Jira", "Azure DevOps" ir "Slack" sinchronizacija realiuoju laiku, kai reikia pašalinti karštus gedimus
- Granuliarios prietaisų skydeliai, rodantys praeinamumo rodiklį ir adhoc chaoso protrūkius
- "SOC 2-Type II" tipo debesų priegloba griežtos atitikties komandoms
Trūkumai
- Nėra vietinės galimybės oro linijomis prijungtoms organizacijoms
- Beždžionių varžybų viršutinė riba (2 tūkst. eurų per rungtį) profesionalų lygiui
- Pasirinktiniai laukai gali būti tik 20, nebent esate įmonė
Kainodara
- Profesionalams: 29 USD vienam naudotojui per mėnesį (metams), chaoso įvykių riba - 2 K
- Įmonė: pasirinktinė citata - neribotas įvykių skaičius, SSO, aukščiausios kokybės palaikymas.
Kaip pasirinkti tinkamą chaoso ir beždžionių steką
- Integracijos gylis - ar įrankis integruotas į jūsų programinės įrangos kūrimo procesą? Patikrinkite, ar yra "GitHub" / "GitLab" veiksmų, bilietų sinchronizacijos ir įspėjimo kabliukų, kad chaosas įsilietų į kūrimo procesą, o ne liktų nuošalyje.
- Įvykių skaičius - Didesnės "bananų bombos" ≠ geriau. Nustatykite, kiek atsitiktinių smūgių reikia (1 K? 10 K?), kad imituotumėte realų eismą neištirpdydami etapų.
- Ankstyvojo etapo aprėptis - A klasės kaminai leidžia atsitiktinai apšaudyti funkcijų šakas ir užfiksuoti klaidas, kol jos nevirto "prod".
- Bandymų rezultatų analizė - ieškokite šiluminių žemėlapių, laiko eilučių, avarijų grafikų ir gilinimo, kurie neapdorotą triukšmą paverčia sprendimų priemone. Nėra įžvalgų - nėra vertės.
- QA komandos įgūdžiai - jei jūsų komanda mėgsta "nukreipk ir spustelk" testavimo metodus, pasirinkite sklandžias sąsajas. Dideli scenarijų įsilaužėliai? Pasirinkite API pagrįstą platformą.
- Domeno žinių kabliukai - bankininkystės programa? Medicinos prietaisas? Jums reikės chaoso filtrų, atsižvelgiančių į reguliavimo ribinius atvejus ir specializuotus testavimo metodus.
Kodėl Testomat.io pirmauja sąraše
"Testomat.io" atitinka visus reikalavimus: vietiniai CI kabliukai, 10 K-įvykių chaoso sprogimai, šakų lygio paleidimai ir prietaisų skydelis, kuris beždžionių chaosą paverčia krištolo skaidrumo šilumos žemėlapiais. Jis patogus naujokams, tačiau turi daug API, todėl ir rankiniai testuotojai, ir skriptų nindzės jaučiasi kaip namie, todėl tai yra neabejotinas pasirinkimas Nr. 1 komandoms, norinčioms sukelti ir pamiršti chaosą neaukojant įžvalgų.
Apatinė eilutė
Chaosui pasirengusi kokybės kontrolė sumažina "kodėl ji sugedo 2 val. nakties?" momentų skaičių ir užtikrina, kad leidiniai veiktų sklandžiai. Įjunkite vieną iš šių beždžionių bandymų valdymo įrankių arba dar geriau - nemokamai susikurkite Testomat.io žaidimų aikštelę ir paleiskite beždžiones į laisvę, kol jūsų naudotojai dar nepastebėjo gedimo.
DUK
Kas yra beždžionių testavimo programinės įrangos testavimo metodas? Tai jokių taisyklių neturintis bandymas, kai scenarijus, imituojantis nenuspėjamą naudotojo elgseną, įveda atsitiktinius įvesties duomenis ir stebi, kas atsitiks.
Kas yra beždžionių testavimas programinės įrangos testavime?
Išsamią informaciją rasite mūsų elementoriuje apie genialių beždžionių testavimą - ten rasite istoriją, sąrankos patarimų ir pavyzdinių komandų.
Kuo skiriasi beždžionių ir gorilų testavimas?
Beždžionė - platus chaoso pliūpsnis visoje programėlėje; gorila - į vieną funkciją sutelktas lazeris. Pagalvokite apie "beždžionių testavimo tipus", palyginti su vienos srities ištverme.
Kaip beždžionių įrankis padeda atlikti mobiliųjų įrenginių testavimą?
Ji veikia telefono sąranką jutikliniais brūkštelėjimais ir jutiklio virpesiais, registruoja kiekvieną atsitiktinį įvykį ir pažymi programų gedimus, kol naudotojai nepalieka vienos žvaigždutės atsiliepimų.
Koks yra geriausias beždžionių testavimo įrankis?
Testomat.io yra sąrašo viršūnėje - jis paleidžia chaosą tiesiai į CI vamzdynus, atvaizduoja nesėkmes į pakeitimus ir pateikia nemokamą žaidimų aikštelę, kurioje galite išlaisvinti savo vidinį primatą.
