大揭密:微軟自己如何測(cè)試Windows Vista
Vista版本不斷翻新,那么除了外部測(cè)試用戶,微軟自己是如何完成測(cè)試的?相信這也是讀者非常感興趣的話題,來(lái)自BetaNews作者Nate Mook 和 Tim Conneally的文章,為大家探幽解密,相信對(duì)您未來(lái)選購(gòu)新的操作系統(tǒng)有所幫助.
當(dāng)你在閱讀這篇文章的時(shí)候,世界上有數(shù)萬(wàn)名外部Beta測(cè)試用戶正在檢驗(yàn)最新的微軟軟件.但是,很少有用戶能夠想到,這家軟件巨頭擁有的最大試驗(yàn)對(duì)象,其實(shí)就是它自己.在某個(gè)軟件的最終正式版本發(fā)布的很久很久以前,微軟公司在內(nèi)部就已經(jīng)開始對(duì)它進(jìn)行使用測(cè)試了.微軟公司將這種測(cè)試的工序戲稱為“吃自己做的狗食(eating its own dog food)”.
最近,我們非常有幸地采訪到了微軟的首席信息官員(CIO)Ron Markezich先生,這位常常被稱為“微軟終極Beta測(cè)試者”的神奇人物.他將和我們一起,帶領(lǐng)諸位讀者深入了解一下微軟公司是怎樣通過(guò)“吃自己做的狗食”,來(lái)最終塑造好全球每天有數(shù)億用戶都在使用的常用軟件的.
作為微軟公司的CIO,Markezich先生領(lǐng)導(dǎo)著微軟公司的IT部門.這個(gè)部門要負(fù)責(zé)管理微軟那由遍布全球超過(guò)63000名雇員所支持的龐大組織結(jié)構(gòu).也許更為重要的是,他的團(tuán)隊(duì)要在軟件產(chǎn)品的研發(fā)中扮演一個(gè)至關(guān)重要的角色,他們需要在微軟軟件產(chǎn)品完成前,就不斷地試用它,盡力去發(fā)現(xiàn)軟件中所存在的錯(cuò)誤,并向開發(fā)團(tuán)隊(duì)提供意見(jiàn)反饋.
要想找到個(gè)人電腦用戶來(lái)測(cè)試像 Windows Vista 之類的軟件,這非常的容易;即便是Google也經(jīng)常將自己的軟件作為測(cè)試版本向用戶推出.但是在商業(yè)領(lǐng)域,情形就完全不一樣了.商業(yè)公司要求自己所依賴的軟件系統(tǒng)必須在任何惡劣的環(huán)境下都運(yùn)轉(zhuǎn)良好,軟件中所潛在的任何微小瑕疵,都有可能導(dǎo)致巨大的經(jīng)濟(jì)損失.
為了走出這種困境,微軟曾經(jīng)試圖通過(guò)發(fā)布“體驗(yàn)版(go live)”的授權(quán),來(lái)鼓勵(lì)自己的商業(yè)客戶安裝處于測(cè)試階段的企業(yè)軟件.但是,其后的結(jié)果讓微軟明白了一個(gè)道理:“如果你想要理直氣壯地向自己的客戶推銷一個(gè)新款的軟件,唯一的方法便是在它初次發(fā)布前,就先在自己公司的內(nèi)部廣泛地進(jìn)行試用.”
這個(gè)事件是在微軟推出Exchange Server 2000時(shí)發(fā)生的.Markezich先生回憶,當(dāng)時(shí)微軟公司在自己內(nèi)部服務(wù)器上都還沒(méi)有全面部署這個(gè)軟件,就正式將它出售給了商業(yè)顧客.結(jié)果帶來(lái)的卻是徹徹底底的一個(gè)惡夢(mèng):微軟的顧客經(jīng)歷了每一個(gè)Beta測(cè)試者都會(huì)經(jīng)歷的無(wú)數(shù)軟件問(wèn)題,變得非常的憤怒;而微軟公司則不得不在倉(cāng)促之間推出了無(wú)數(shù)的軟件補(bǔ)丁.
Markezich先生解釋到:“在這件事之后,我們就發(fā)誓,除非我們已經(jīng)在微軟自己的生意上運(yùn)行某一件軟件產(chǎn)品了,否則我們就不會(huì)將這件產(chǎn)品賣給自己的企業(yè)客戶.”從那時(shí)起,“吃狗食”計(jì)劃就擴(kuò)展到了各種各樣的微軟產(chǎn)品之上,一直到它現(xiàn)在成為了一個(gè)產(chǎn)品在最終發(fā)布前所必須經(jīng)歷的質(zhì)量檢測(cè)程序.
Markezich先生說(shuō):“我們不光是想?yún)⑴c到軟件的Beta版本的測(cè)試當(dāng)中,同時(shí)我們也會(huì)參與到軟件產(chǎn)品的計(jì)劃、設(shè)計(jì)、生產(chǎn)需求,乃至其整個(gè)產(chǎn)品生命周期的方方面面,在每個(gè)階段都對(duì)軟件的生產(chǎn)部門給予反饋.”
不像一名典型的Beta測(cè)試者,Markezich的團(tuán)隊(duì)在新產(chǎn)品發(fā)布問(wèn)題上經(jīng)常搖擺不定.事實(shí)上,作為“吃狗食”程序的一部分,他有權(quán)力推遲某個(gè)軟件產(chǎn)品正式投入生產(chǎn)(RTM)的時(shí)間,如果該軟件產(chǎn)品不能符合開發(fā)團(tuán)隊(duì)先前所定下的目標(biāo)和期望的話.
“如果在某一個(gè)階段,我們沒(méi)有達(dá)到這個(gè)階段所預(yù)定的目標(biāo),我們將不會(huì)允許這個(gè)產(chǎn)品的開發(fā)團(tuán)隊(duì)進(jìn)入到下一個(gè)階段,這都是為了最終產(chǎn)品能夠正式投產(chǎn).如果我們無(wú)法在軟件正式發(fā)布前的一年,甚至是一年半到兩年,就達(dá)到正式投產(chǎn)時(shí)所需要的標(biāo)準(zhǔn),我們就不會(huì)允許這個(gè)產(chǎn)品按時(shí)投入市場(chǎng).”Markezich先生說(shuō).
談到Windows Vista,Markezich先生和我們分享了微軟對(duì)Vista的部分商業(yè)導(dǎo)向功能的期望,其中包括BitLocker、企業(yè)搜索、強(qiáng)力用戶身份驗(yàn)證、網(wǎng)絡(luò)連接保護(hù)等等.
他還補(bǔ)充到“這個(gè)檢測(cè)體系是軟件開發(fā)團(tuán)隊(duì)的延伸;在每件產(chǎn)品正式發(fā)布前,我們都要為它的質(zhì)量作出擔(dān)保,并簽上自己的大名.”
“吃狗食”程序開始于軟件的開發(fā)團(tuán)隊(duì),他們需要在軟件的alpha階段對(duì)軟件進(jìn)行試用;然后,項(xiàng)目負(fù)責(zé)人會(huì)通過(guò)微軟公司的內(nèi)部廣告和知識(shí)競(jìng)賽來(lái)邀請(qǐng)志愿者加入Beta版本的測(cè)試.一段時(shí)間后,你就可以發(fā)現(xiàn)在微軟公司內(nèi)部有著無(wú)數(shù)的員工正在試用這些“發(fā)布前版本”軟件了.
曾經(jīng)在Windows XP Service Pack 2進(jìn)行內(nèi)部測(cè)試時(shí),微軟公司內(nèi)有超過(guò)60000臺(tái)電腦運(yùn)行著這一系統(tǒng).Markezich希望在Vista正式發(fā)布前,至少有同樣數(shù)目的電腦在測(cè)試Vista.根據(jù) Markezich統(tǒng)計(jì),至今年6月中旬,微軟內(nèi)部有超過(guò)16000名的Windows Vista Beta 2 測(cè)試者,以及25000名Office 2007 Beta 2的測(cè)試者.
“每一件產(chǎn)品,我們都有一個(gè)專門的團(tuán)隊(duì)在負(fù)責(zé)管理它的測(cè)試過(guò)程.”Markezich先生說(shuō).“當(dāng)我們開始Vista Beta 2的測(cè)試時(shí),我們會(huì)沖到走廊上大聲地喊:'嘿!伙計(jì)們,快來(lái)?yè)屝鲁鰻t的Vista Beta 2!'這個(gè)工作的角色一半像是傳教士,你要召喚大家來(lái)試用新的產(chǎn)品;而另一半?yún)s像傳聲筒,你需要給產(chǎn)品的開發(fā)團(tuán)隊(duì)收集和整理反饋信息--最終,我們將會(huì)決定究竟是哪一個(gè)版本的軟件會(huì)正式投向市場(chǎng).”
一般來(lái)講,一個(gè)軟件產(chǎn)品從最初的 alpha 階段到最終正式生產(chǎn)(RTM),會(huì)經(jīng)歷8個(gè)不同階段的測(cè)試.然后,在最終正式生產(chǎn)后,微軟公司還將全面的在公司內(nèi)部部署這個(gè)軟件產(chǎn)品.
雖然現(xiàn)在Markezich監(jiān)督數(shù)量巨大的微軟產(chǎn)品同時(shí)進(jìn)行“吃狗食”的檢測(cè),但他還是處理的有條不紊.除了前面提到的Vista和Office外,現(xiàn)在還有在Exchange 12上運(yùn)行的6000個(gè)電子郵箱,以及超過(guò)30個(gè)運(yùn)行著Longhorn Servers的網(wǎng)絡(luò)服務(wù)器.
有1000名微軟的員工正在運(yùn)行公司代號(hào)“石弓(Crossbow)”的下一代Windows Mobile操作系統(tǒng),同時(shí)還有7000臺(tái)原名“Systems Management Server v4”,現(xiàn)在改名叫“System Center Configuration Manager 2007”的系統(tǒng)正在運(yùn)行.此外,還有超過(guò)3000臺(tái)運(yùn)行著下一代“ Microsoft Operations Manager ”的電腦也正在部署之中.
當(dāng)我們請(qǐng)求他詳細(xì)解釋一下微軟公司從“吃狗食”計(jì)劃中所獲得了什么好處的時(shí)候,Markezich先生的目光一下變得興奮了起來(lái).他說(shuō),他的團(tuán)隊(duì)不光是在保證微軟產(chǎn)品擁有最好質(zhì)量的方面起到了至關(guān)重要的作用,微軟公司自身也能夠在第一時(shí)間就使用上最新最好的軟件了.
“曾經(jīng)在我們推出 Exchange 2003 的時(shí)候,我通過(guò)'吃狗食'測(cè)試,將運(yùn)行著老版本Exchange的74臺(tái)服務(wù)器,消減到了7臺(tái)運(yùn)行著新版Exchange的服務(wù)器.現(xiàn)在,我只需要4臺(tái)運(yùn)行著最新版本的Exchange服務(wù)器,就可以完成以前同樣的工作了.”Markezich先生解釋到,“因此,事實(shí)上,我'吃狗食',意味著我將以最快的速度在新軟件上獲取最多的好處.”
“我發(fā)現(xiàn),我的員工和顧客最滿意的時(shí)候,都是那些我們最強(qiáng)調(diào)'吃狗食'測(cè)試的時(shí)候.”他強(qiáng)調(diào)說(shuō),“坦白說(shuō),當(dāng)一個(gè)雇員發(fā)現(xiàn)了一個(gè)問(wèn)題時(shí),我們會(huì)非常的高興--只要這是發(fā)生在RTM之前.”
由于對(duì)Exchange、Office和Vista產(chǎn)品進(jìn)行“吃狗食”檢測(cè)帶來(lái)了顯著的效果,微軟公司開始著手推廣它名為“7×24促進(jìn)”的活動(dòng).微軟聲稱,只要它的員工能夠使用這些軟件產(chǎn)品24個(gè)月,就能夠總共為公司節(jié)省700萬(wàn)小時(shí)的生產(chǎn)時(shí)間. Markezich笑著表示公司的官方估計(jì)還是太過(guò)于謙虛,這個(gè)結(jié)論至少還少算了1000萬(wàn)個(gè)小時(shí).
但是,Markezich也承認(rèn),當(dāng)你試圖去推動(dòng)那些有自己日常任務(wù)需要完成的公司員工來(lái)搜尋潛在的軟件Bug時(shí),事情也不總是會(huì)那么地順利.
“很多時(shí)候,作為公司的CIO,你都會(huì)接到某個(gè)憤怒的員工向你大聲投訴.他會(huì)向你大聲地吼叫:'你們的人他媽的害死我了!我本來(lái)要向客戶做產(chǎn)品介紹的,就是因?yàn)檫@個(gè)該死的新軟件出了問(wèn)題,我就什么也做不了了!'每當(dāng)這個(gè)時(shí)候,我們就只好安慰他們:'你其實(shí)通過(guò)這件事為公司創(chuàng)造了更多的價(jià)值,這些價(jià)值比你能夠從那個(gè)客戶身上所創(chuàng)造的要多得多.因?yàn)槟阏业搅艘粋€(gè)潛在的問(wèn)題,提高了產(chǎn)品的質(zhì)量,從而使千萬(wàn)個(gè)其它顧客在未來(lái)不會(huì)遭遇到同樣的問(wèn)題了.”
當(dāng)談到未來(lái)的規(guī)劃時(shí),Markezich預(yù)計(jì)會(huì)有越來(lái)越多的產(chǎn)品會(huì)在微軟內(nèi)部進(jìn)行“吃狗食”的測(cè)試.并且,他還表示在要求苛刻的商業(yè)應(yīng)用上使用Beta軟件,其實(shí)是非常物超所值的.
最后,他幽默地說(shuō)到:“我非常急切地等待著有一天我們能夠?qū)box進(jìn)行'吃狗食'的測(cè)試.雖然公司董事會(huì)至今還沒(méi)有批準(zhǔn)這一請(qǐng)求!”
