幾乎毫無懸念地,HP的幾大測試工具LoadRunner、QuickTest Professional和TestDirector for Quality Center又一次奪冠,在STP雜志的年度測試工具投票中,這幾個工具連續(xù)4年占據(jù)首位。
這對于初學(xué)軟件測試的朋友們而言,不得不說是一件好事,因為他們可以堅持學(xué)習(xí)一樣工具,避免在選擇哪個測試工具來學(xué)習(xí)時過于彷徨和迷茫。
金獎獲得者——LoadRunner
LoadRunner再次成為測試人員最喜愛的測試工具。
LoadRunner是一款優(yōu)秀的壓力和性能測試工具,可以模擬成千上萬的并發(fā)操作,對應(yīng)用系統(tǒng)、Web Service、Web服務(wù)器、數(shù)據(jù)庫等進行壓力和性能測試,兼容Window和Unix。
HP于2007年6月對其進行了重大的升級,增強了對Web2.0技術(shù)的支持。
數(shù)據(jù)/測試性能類
LoadRunner當仁不讓,F(xiàn)ile-AID和SQL Data Generator緊隨其后。
LoadRunner的核心模塊是VuGen(Virtual User generator),VuGen可用于創(chuàng)建腳本實現(xiàn)測試用例的模擬,腳本可進行參數(shù)化以適應(yīng)不同的場景需要,關(guān)聯(lián)(correlation)和錯誤處理(error handling)的能力都非常強。Controller模塊用于運行腳本、模擬大量的并發(fā)用戶,而Analysis模塊則用于分析和生成性能測試報告。
緊隨其后的是Compuware的File-AID和Red Gate的SQL Data Generator。File-AID是一個企業(yè)級的數(shù)據(jù)管理工具,測試人員可以利用它來快速地構(gòu)建測試數(shù)據(jù)環(huán)境,支持mainframes、MVS、DB2和分布系統(tǒng)。
Red Gate的SQL Data Generator替代Intel的Vtune Performance Analyzer的位置,是一顆璀璨的新星,宣稱可以在一杯咖啡的時間內(nèi),為10個表格創(chuàng)建2百萬行數(shù)據(jù)。
功能測試類
QTP再度領(lǐng)銜主演,Rational Functional Tester和SilkTest銳氣不減。
QTP是Windows平臺下出色的自動化功能測試和回歸測試工具,基于GUI的錄制和回放測試,加上VBScript,測試人員可以輕易控制和操縱程序界面對象,創(chuàng)建自動化測試用例。
新版本的QTP在團隊協(xié)作能力方面有所增強,擁有新的對象庫管理和函數(shù)庫共享能力,還添加了關(guān)鍵字管理、通過拖放構(gòu)建測試步驟、輸出XML格式的報告,還有新的、更為精準的調(diào)試器,都讓QTP成為當仁不讓的王者。(關(guān)于QTP9.5新特性的介紹,請參見:http://tech.it168.com/softtest/2008-07-08/200807081020854.shtml)
IBM的Rational Functional Tester和Borland的Silk Test替代了Parasoft的SOAtest和Compuware的Optimal Quality Management的位置。
Rational Functional Tester的特點是,除了自身的腳本開發(fā)環(huán)境外,還支持兩種開發(fā)環(huán)境:Eclipse 框架中的 Java、Microsoft Visual Studio中的Visual Basic.NET。SilkTest同樣是一款不錯的自動化功能測試和回歸測試工具,支持C/S結(jié)構(gòu)的Java、.NET和WEB。
靜態(tài)/動態(tài)代碼分析類
Rational Software Analyzer Developer Edition接班,TPTP和DevInspect上位。
隨著IBM在08年推出Jazz,Rational Software Analyzer Deverloper Edition接過PurifyPlus的班,成為代碼分析工具類的佼佼者,能具捕捉內(nèi)存泄漏、分析應(yīng)用程序性能、代碼覆蓋率等,支持廣泛的編程語言,包括C/C++、Java、.NET、VB、VC++,支持Linux、Unix和Windows平臺。
Eclipse Test and Performance Tools Platform(TPTP)和HP的DevInspect替代了Compuware的DevPartner Studio和Parasoft的Jtest的位置。Eclipse的TPTP在新版本中添加了不少的新特性。2007年底HP收購了SPI Dynamics,DevInspect在自動化安全測試方面擁有很強的優(yōu)勢。
測試/QA管理類
QC為王,SilkCentral Test Manager保持不敗,Optim Test Data Management Solution晉身。
TestDirector for Quality Center包括需求管理、測試計劃、測試執(zhí)行和缺陷管理模塊,全面管理了測試過程,成為測試人員最喜歡的測試管理工具。
TestDirector基于WEB的管理模式,允許測試人員和項目經(jīng)理收集需求、設(shè)計和安排手工與自動化的測試、分析測試結(jié)果、生成圖文并茂的測試報告,并且能與HP的其他功能測試工具WinRunner、QTP緊密結(jié)合
2006年2月,Borland收購了Segue,SilkCentral Test Manager與VMWare Lab Manager整合在一起用于簡化跨平臺的測試,還可管理Junit/Nunit等第三方的測試框架。
作為IBM的測試數(shù)據(jù)管理和應(yīng)用程序質(zhì)量改進方案,Optim Test Data Management Solution允許測試人員指定覆蓋率標準、創(chuàng)建錯誤和邊界條件、模擬產(chǎn)品環(huán)境等,支持PeopleSoft和Siebel等企業(yè)應(yīng)用,支持IBM、Microsoft、Oralce、Sybase等廠家的數(shù)據(jù)庫,支持Linux、Uninx、Windows等平臺。
缺陷/問題管理類
QC大而全,VSTS新進,Bugzilla略顯老態(tài)。
上次,HP的TestDirector for Quality Center和Mozilla的Bugzilla并列第一;這次,Bugzilla被無情地擠到第三,新進者不是誰,正是微軟的Visual Studio Team Edition for Software Testers。
由于TestDirector for Quality Center包括了需求管理、測試計劃、測試執(zhí)行和缺陷管理四大模塊,因此也就包攬了測試/QA管理類和缺陷/問題管理類的雙重頭獎。TestDirector for Quality Center中的缺陷跟蹤模塊能自動地檢查缺陷數(shù)據(jù)庫中的相似問題,避免錄入新BUG時的重復(fù)現(xiàn)象。另外,它對缺陷的圖表分析和統(tǒng)計能力可以輔助管理層決定產(chǎn)品發(fā)布日期、判斷產(chǎn)品質(zhì)量趨勢。
相對而言,Visual Studio Team Edition for Software Testers則是一個新進者,與Team Fundation結(jié)合起來,可以做到缺陷/問題跟蹤自動化。這個工具還可以對Web應(yīng)用程序和Web站點進行功能和壓力測試。
1998年,最早版本的Bugzilla是由Terry Weissman用Tcl寫的,后來他覺得用其他語言寫可能會更吸引人,因此決定移植到Perl,就成了Bugzilla2.0。在2000年4月的時候,項目移交給Tara Herenandez,有了更多的開發(fā)者參與,包括現(xiàn)在的Dave Miller。
壓力/性能測試類
LoadRunner蟬聯(lián),Rational Performance Tester和SilkPerformer緊追不舍。
VuGen的能力確實非常強,支持對廣泛的協(xié)議的錄制和編輯。對于Web/HTTP協(xié)議,測試人員可以選擇讓LoadRunner產(chǎn)生URL模式或者是HTML模式的腳本。
Performance Tester與IBM的Tivoli管理環(huán)境整合,可以使用最小的硬件資源來產(chǎn)生大量的并發(fā)用戶測試。
SilkPerformer可以在沒有l(wèi)icense的限制下模擬數(shù)千個并發(fā)用戶?梢酝ㄟ^插件在Eclipse中創(chuàng)建測試。SilkPerformer還有一個SOA版本。
SOA/Web Services測試類
Rational Tester for SOA Quality大放異彩,LoadRunner無緣三甲。
在SOA/Web Services測試類,上一次的冠軍LoadRunner居然無緣三甲,取而代之的是IBM的Rational Tester for SOA Quality。
如果你的應(yīng)用依賴于別人的Web Service,你不能掉以輕心。例如,如果你的程序依賴一個信用卡認證服務(wù),那么你如何確保在購物旺季時不會出現(xiàn)"黑色星期五"呢?利用Tester for SOA Quality,你可以模擬成千上萬的用戶訪問和使用這個Web Service,并且在嘗試執(zhí)行成百上千的事務(wù)時觀察你的程序的運行情況。
HP的QTP和Parasoft的SOA Quality Solution也是測試人員所喜愛的SOA/Web Services測試工具。SOA Quality Solution把公司的多層工作流方法融合到測試和QA中,可以在SOA層做強制政策一致性檢查;端到端的測試和業(yè)務(wù)邏輯或事務(wù)模擬;支持回歸測試、安全滲透測試、壓力和性能測試。
安全測試類
Rational AppScan擊敗WebInspect,晉身超級保鏢,力保軟件安全。
收購了Watchfire之后,IBM的AppScan成為一款優(yōu)秀的自動化安全審計工具。針對AJAX、Flash等應(yīng)用Web2.0技術(shù)的中小型業(yè)務(wù)應(yīng)用系統(tǒng),IBM在08年十月發(fā)布了AppScan Express版本。
HP的Assessment Management平臺是一個自動化的、集中控制的WEB安全掃描和測試平臺,它讓分布式的團隊通過一個儀表板樣式的界面訪問和糾正安全漏洞。
WebInspect在2007年1月的時候,被完全重寫過,性能和各項技術(shù)兼容性有了很大的提高。據(jù)稱WebInspect7.5更進一步地改進了AJAX漏洞的審計能力,對Windows Vista的支持也得到了增強。
測試自動化類
QTP穩(wěn)居第一,Business Process Testing新面孔登場。
QTP再次奪冠。QTP通過插件架構(gòu)來支持擴展,默認支持ActiveX Control、Web、VB插件。
Compuware的TestPartner是一個自動化的GUI功能測試工具,采用VBA作為腳本開發(fā)語言,測試人員還可以采用"Visual Navigator"的方式來創(chuàng)建測試腳本。
HP的Business Process Testing是一個新面孔,據(jù)稱該工具的目的是為了讓業(yè)務(wù)人員可以創(chuàng)建和執(zhí)行手工的或自動化的測試,不需要任何的編程技巧。能自動化測試過程和文檔創(chuàng)建過程,提高測試的可維護性。
SCM/Build管理類
VSS歷史悠久,Subversion開源雄風(fēng)。
Sourcesafe最早由One Tree Software開發(fā),在上世紀90年代發(fā)布了3.1版本,微軟當時的SCM工具是Delta,并不怎么出名。微軟收購了16位的SourceSafe并于1995年發(fā)布了一個32位的Visual SourceSafe 4.0版本,10年后VSS2005年才出現(xiàn)。
Subversion在開源社區(qū)中很流行,在2000年的時候由CollabNet發(fā)起。構(gòu)建自動化工具Electric Clound在08年9月的時候發(fā)布了ElectricCommander3.0版本,新版本可以與Eclipse和Visual Studio整合,ElectricCommander支持各種各樣的腳本語言,包括Bash、perl、Python和Tcl,支持AccuRev、ClearCase、Perforce、Subversion和Synergy等SCM工具。
嵌入式/移動設(shè)備測試類
Rational Test RealTime被C++TEST擊敗,擠出三甲位置。
Parasoft的C++Test是一款優(yōu)秀的C++代碼分析和審查工具,同時也是一款代碼分析、回歸測試和自動化單元測試工具。Parasoft為嵌入式程序提供了相應(yīng)的版本,支持Eclipse和Visual Studio,也可以批處理執(zhí)行。
緊隨其后的是QualiSystems的TestShell和Coverity的Prevent。QualiSystems的TestShell包括計劃、構(gòu)建、執(zhí)行和控制測試、分析結(jié)果等功能,其核心TestShell Foundation是一個可提供擴展架構(gòu)以滿足測試組織增長需求的引擎和數(shù)據(jù)庫。Coverity的Prevent是一款C、C++和Java代碼的掃描和查錯工具。
.NET測試類
Team System上升,LoadRunner下降,Parasoft Test被替換。
微軟的Visual Studio Team System Edition for Software Tester由上次的第二名上升到第一位。Visual Studio Team System Edition for Software Tester支持.NET應(yīng)用程序的性能和壓力測試,還支持代碼分析、代碼覆蓋率。
LoadRunner在8.0后添加了對.NET語言的支持,使用LoadRunner的"Microsoft.NET"協(xié)議可以創(chuàng)建.NET Vuser腳本,模擬.NET客戶端程序的各種操作。
在LoadRunner9.0中,可以選擇"Microsoft.NET"協(xié)議來錄制和創(chuàng)建.NET程序的Vuser腳本。VuGen支持在應(yīng)用層協(xié)議上錄制.NET應(yīng)用程序,允許測試員創(chuàng)建Vuser腳本模擬.NET客戶端程序的操作。VuGen把所有客戶端的動作錄制成相應(yīng)的方法和類,并用C#或VB.NET來創(chuàng)建腳本。VuGen支持.NET Remoting、ADO.NET、Enterprise Services和WCF(Windows Communication Foundation)程序的錄制和腳本創(chuàng)建。
Compuware的DevPartner Studio除了提供C/C++、Java版本外,也提供了.NET版本。DevPartner分析代碼的質(zhì)量和復(fù)雜度,并且能檢測內(nèi)存泄漏,代碼效率和代碼覆蓋率。
Java測試類
LoadRunner連續(xù)3年斬獲,Junit穩(wěn)居單元測試老大。
LoadRunner在壓力測試過程中使用監(jiān)視器來收集性能數(shù)據(jù),可用的監(jiān)視器包括虛擬用戶、事務(wù)完成率、網(wǎng)絡(luò)響應(yīng)、Web和數(shù)據(jù)庫服務(wù)器響應(yīng)和資源使用等。
有人說Junit是單元測試框架的祖父級人物,2007年,Junit跨過了第10個年頭,此時,它的子孫后代已經(jīng)遍天下,Junit被移植到了各種語言平臺,包括:C#(Nunit)、C++(CPPUnit)、Fortran(fUnit)、Perl(Test::Class和Test::Unit)、PHP(PHPUnit)和Python(PyUnit),甚至還有JavaScript版本的JSUnit。10年間,Junit被下載超過2百萬次。
Eclipse的Tets and Performance Tools Platform(TPTP) 在08年9月升級到了4.5.1版本,支持Java1.6,修正了大量的BUG。
整合測試/性能套件類
VSTS奪冠,HP Performance Center屈居第二,TestComplete低價制勝。
上次的冠軍HP的Performance Center被VSTS擊敗。Visual Studio Team Edition for Software Tester成為測試人員最喜愛的整合測試/性能套件類工具,并且測試人員都在熱切地期待預(yù)計2010年發(fā)布的Visual Studio Team System,代號"Rosario"。據(jù)稱,微軟將添加更多的ALM功能到該工具中,并且會與Office Project Server整合在一起。
HP的Performance Center組合了LoadRunner的所有功能、測試資產(chǎn)和人力資源管理功能,測試執(zhí)行過程可以被跟蹤、編輯和計劃。
AutomatedQA的TestComplete是一款價廉物美的自動化測試工具,支持WEB、.NET、Java、Flash等應(yīng)用程序,而且可以進行基于HTTP協(xié)議的壓力測試。
低價商業(yè)測試工具類
Software Planner更上一層樓。
價格低于$500的商業(yè)測試工具中,Software Planner從上次的第二名上升到第一位。Software Planner是一個基于Web的項目計劃工具,使用任務(wù)鏈接來組織任務(wù),防止一個任務(wù)在另外一個任務(wù)未結(jié)束之前就開始。
Mindreef的SOAPscope是一個測試基于SOAP的應(yīng)用程序的工具。SOAPscope讓團隊可以創(chuàng)建、測試、發(fā)布Web服務(wù)和SOA組件,自動化面向XML的任務(wù)。
Shunra Virtual Enterprise創(chuàng)建了一個虛擬網(wǎng)絡(luò),可以用于模擬應(yīng)用程序測試環(huán)境,讓測試人員檢查應(yīng)用程序在不同網(wǎng)絡(luò)條件和環(huán)境下的性能和用戶體驗。
免費測試工具類
TPTP擊敗Bugzilla,Junit持平,Bugzilla第三。
TPTP的核心部件包括測試編輯、執(zhí)行、監(jiān)視、跟蹤和分析、日志分析,支持嵌入式系統(tǒng)、獨立應(yīng)用程序和企業(yè)級應(yīng)用系統(tǒng)、高性能計算系統(tǒng)。
Junit如此受歡迎,以至大家在說話的時候把這個名稱當作動詞來用,例如"確保你在簽入之前Junit一下你的代碼"。
07年,Bugzilla繼9年前的2.0版本后發(fā)布了重要的3.0版本,其中主要的增強包括性能方面、Web Services接口等。
新手最佳解決方案類
測試資源少,工具選擇更重要。
如果把少于5年歷史的公司定義為"新手"的話,VMLogix的LabManager是最適合這類公司的工具。LabManager 支持微軟和VMWare的虛擬系統(tǒng),LabManager3.5在08年五月發(fā)布,添加對Citrix XenServer4.1的支持。
Fortify的Defender是上次的冠軍,這次,它的新產(chǎn)品Fortify 360居第二位。Fortify 360瞄準軟件開發(fā)生命周期領(lǐng)域,可以在開發(fā)的各個階段對漏洞進行檢測識別、區(qū)分優(yōu)先級、修補。
BluePrint的Requirements Center聚焦協(xié)作,通過協(xié)作在代碼開發(fā)前就定義清楚、確認清楚需求,讓需求清晰化、可視化。