Visual Studio Team System: test run e test timeout
In VSTS ci sono alcune incongruenze (si fa per dire) sui nomi delle "cose". Ad esempio si trova test run e test, test list e Total Exectution.
Proviamo a fare chiarezza.
1) Un Test è semplicemente un test: può essere uno Unit Test, un Web Test, un Manual Test, un Ordered Test, e così via
2) Un Test Run è una esecuzione di un Test. Nel caso di un ordered test è l'esecuzione dell'insieme dei test contenuti nell'ordered test
3) Una Test List (quella visibile da Test Manager) è un raggruppamento di Test (ad esempio tutti i test dello strato DAL). Quando si esegue una Test List stiamo comunque facendo un "Run" quindi un Test Run in questo caso si riferisce all'esecuzione di tutti i test nella Test List
4) Quando si esegue un test i risultati si riferiscono al Test Run. I risultati del Test Run si possono pubblicare in TFS (Team Foundation Server). I risultati dei test run precedenti si possono recuperare dalla "finestrella" Test Run.
5) E' possibile impostare un time out sia per il Test che per il Test Run. Per default tali impostazioni si fanno nel file .testrunconfig. Il timeout per il Test è il tempo in cui per default ogni singolo test deve essere completato. Il timeout per il test run invece è il tempo totale di esecuzione di un ...Test Run...appunto cioè dell'insieme dei test che facciamo girare. E' possibile fare l'override del timeout per il test nelle proprietà di ogni test. Non è possibile (dovrebbe essere ovvio a questo punto) fare override del timeout del test run: propriò perchè è il tempo totale. Se un test durante il run raggiunge il timeout viene abortito e marcato Failed, ma il test run prosegue se stavamo testando una Test List. Un test run si ferma quando abbiamo raggiunto il test run timeout marcando come Failed tutti i test che non si sono eseguiti
6) Il Test Run Timeout comprende anche i Manual Test cioè i test da effettuare manualmente
7) Per default i risultati vengono salvati con il nome "user@macchina DateTime" : ad esempio robertob@PEPPE 2001-01-12 20:30:45
8) Nella mascherina di configurazione del .testrunconfig il Total Execution Time si riferisce a quanto fino ad ora abbiamo chiamato Test Run Timeout, cioè il tempo totale massimo per l'esecuzione di una operazione di Test
Hope useful.
Già che ci siamo, se avete voglia, quanti utilizzano o pensano di utilizzare Team System ?