阿里智能化接口测试平台--暴雪
|
阿里QA導(dǎo)讀:隨著人工智能的發(fā)展,AI概念已經(jīng)站在了時(shí)代的風(fēng)口,掀起一陣全行業(yè)的get into AI熱潮;智能測(cè)試作為AI熱潮下一個(gè)新的測(cè)試領(lǐng)域,也正在被各互聯(lián)網(wǎng)公司所追逐,探索和應(yīng)用。本次分享,將為大家介紹阿里智能化接口測(cè)試平臺(tái)--暴雪,聊一聊她的起源,轉(zhuǎn)變,破局和未來。 |
簡(jiǎn)介:
鄭紅(佚葭),阿里巴巴資深測(cè)試開發(fā)專家,2009年從上海交大研究生畢業(yè)后,一直專注從事測(cè)試開發(fā)工作。早期主要在百度和一淘從事搜索領(lǐng)域相關(guān)測(cè)試,2012年加入天貓技術(shù)部負(fù)責(zé)核心交易鏈路相關(guān)測(cè)試,目前主要負(fù)責(zé)盒馬、天貓超市和新零售終端的測(cè)試團(tuán)隊(duì)。致力于推動(dòng)測(cè)試團(tuán)隊(duì)從工具化、自動(dòng)化往平臺(tái)化、智能化思維轉(zhuǎn)變,通過技術(shù)手段賦能開發(fā)和測(cè)試,做最高效的用戶體驗(yàn)的捍衛(wèi)者。
暴雪的起源
2016年11月30日,暴雪起源于天貓技術(shù)質(zhì)量部的第一次核心成員腦暴會(huì),此次頭腦風(fēng)暴奠定了團(tuán)隊(duì)后面幾年的轉(zhuǎn)型方向,即智能化方向。智能化是極具有前瞻性的,當(dāng)時(shí)質(zhì)量部的遠(yuǎn)大目標(biāo)就是要搞好智能化。當(dāng)時(shí)我們有幾千個(gè)自動(dòng)化測(cè)試用例,但還是有漏測(cè),跟不上開發(fā)的節(jié)奏。要解決這個(gè)問題就要搞好智能化,智能化要干什么呢?團(tuán)隊(duì)當(dāng)時(shí)決定搞大數(shù)據(jù)方向,將線上數(shù)據(jù)引流下來就可以覆蓋原來覆蓋不到的用例,而且引流也穩(wěn)定,維護(hù)成本也會(huì)下降,所以,在智能化中我們確定了最接地氣的大數(shù)據(jù)測(cè)試方向。
針對(duì)大數(shù)據(jù)測(cè)試方向,團(tuán)隊(duì)用一周時(shí)間制定了規(guī)劃,在規(guī)劃的三個(gè)方向中,如今依然沒有完全落地,其中的怎么用線上東西去mock環(huán)境不穩(wěn)定的問題在今天依然被拿出來討論,這值得反思,當(dāng)我們回頭看自己做的事情時(shí),有時(shí)候會(huì)發(fā)現(xiàn)很多東西值得思考。確定了目標(biāo)之后,我們就要為之努力,在規(guī)劃的過程中,我們分析智能化到底要做什么,當(dāng)時(shí)的doom已經(jīng)有強(qiáng)大的線上采集和回放能力,那么,我們的定位是什么呢?通過與doom的溝通,我們希望doom與暴雪是中間件與業(yè)務(wù)系統(tǒng)之間的關(guān)系,前者提供能力,后者提供更上層的解決方案,在這個(gè)過程中,我們可以提供什么解決方案呢?在規(guī)劃中逐步對(duì)目標(biāo)更加清晰,提出了“讓天下沒有難寫的接口測(cè)試”的夢(mèng)想,這個(gè)夢(mèng)想的實(shí)質(zhì)有三點(diǎn),一是指不難寫,二是指接口測(cè)試,三是指能夠?qū)崿F(xiàn)頁(yè)面的交互、可視化、有輸入輸出。項(xiàng)目取名為“智能接口測(cè)試3.0”,寓意我們是接口測(cè)試發(fā)展里程中的第三代,同時(shí)我們想把一代的自動(dòng)化理念表達(dá)進(jìn)去。Itest、testNG為接口測(cè)試1.0版本,接口測(cè)試2.0實(shí)現(xiàn)了可視化,提供了各種校驗(yàn)的頁(yè)面式的交互,使寫腳本的成本變低。如果我們可以通過大數(shù)據(jù)變得具有學(xué)習(xí)能力,不需人為設(shè)計(jì),我們稱之為“智能接?測(cè)試3.0”。在接口的測(cè)試過程中有三大痛點(diǎn):環(huán)境、場(chǎng)景、數(shù)據(jù)。
在2017年3月,接口測(cè)試3.0第一版正式發(fā)布,此時(shí)還沒有真正的落地,并不能真正的使用。2017年4月,第二期體驗(yàn)優(yōu)化完成。2017年6月,第三期易用性優(yōu)化完成,這一版更傾向于測(cè)試視角的用法。在這過程中,業(yè)務(wù)線同學(xué)兼顧開發(fā),迭代速度低于預(yù)期速度,這時(shí)也有了天啟和青龍,讓團(tuán)隊(duì)更堅(jiān)定了研究方向是正確的方向,但同時(shí)也有了危機(jī)感。有夢(mèng)才有遠(yuǎn)方,回首三年,我們慶幸當(dāng)初定下了長(zhǎng)遠(yuǎn)的目標(biāo),使我們能夠持之以恒。
暴雪的轉(zhuǎn)變
在2017年7月,我們開始有專人投入開發(fā),需求迭代速度加快。2017年8月,我們開始嘗試探索智能化,如用例智能推薦、無腦回歸。2017年11月,我們終于實(shí)現(xiàn)了從內(nèi)往外走,開始加大運(yùn)營(yíng)投入,且取得了非常好的效果,慢慢的擁有了兩個(gè)金牌用戶:B2B團(tuán)隊(duì)和閑魚團(tuán)隊(duì)。2018年1月,“智能接?測(cè)試3.0”正式更名為“暴雪”。我們針對(duì)重點(diǎn)應(yīng)用和非核心應(yīng)用的運(yùn)營(yíng)思路是不同的。
那么,轉(zhuǎn)變的背后我們有哪些思考?具體包括以下幾方面:
效能目標(biāo)設(shè)定:更貼近用戶價(jià)值的量化目標(biāo)。看到有專人投入,剛開始的迭代速度很快,定什么樣的目標(biāo)才是合理的?因?yàn)橥度雽H撕笠恢痹陂_發(fā),但是價(jià)值在哪里,效能目標(biāo)怎么設(shè)定?我們要設(shè)定更貼近用戶價(jià)值的量化目標(biāo),即要完成多少個(gè)應(yīng)用接入,要完成多少個(gè)case業(yè)務(wù)落地等,這才是暴雪存在的意義。
智能化初探:由于算法大賽的刺激,每個(gè)小組自我報(bào)名參賽,敢想敢做,一切皆有可能。
能力綜合體:如果真的要做一個(gè)效能的平臺(tái),就必須成為一個(gè)能力綜合體,不是說技術(shù)好就一定有更大的價(jià)值,產(chǎn)品能力+技術(shù)能力+運(yùn)營(yíng)能力都不可或缺。
當(dāng)時(shí)的產(chǎn)品很爛,我們做各種交互,產(chǎn)品有很多層,要做一個(gè)好的產(chǎn)品,需要具備交互優(yōu)化的能力,在決策某些功能時(shí),什么該第一優(yōu)先,什么該次級(jí)優(yōu)先,既要了解用戶需求,又不能被用戶牽著鼻子走,如果沒有自己的思考,就不會(huì)提供更強(qiáng)大的價(jià)值,這是效能產(chǎn)品同學(xué)需要重點(diǎn)去思考的。在這個(gè)轉(zhuǎn)變階段,形成了產(chǎn)品的價(jià)值定位,或者說能力節(jié)點(diǎn),包括以下幾部分:
大數(shù)據(jù)、高效、通用、閉環(huán)、智能,在這個(gè)階段有流量測(cè)試的提效,測(cè)試覆蓋更全面,研發(fā)流程全面升級(jí),AI測(cè)試也得到了改革。此時(shí),暴雪已經(jīng)具備了一定的價(jià)值,用戶數(shù)開始攀升,處于幾十個(gè)應(yīng)用接入的階段。
暴雪的破局
2018.04 愛迪生賽后,團(tuán)隊(duì)士氣一時(shí)陷入低迷,得獎(jiǎng)的前三名全部是大數(shù)據(jù)采集回放領(lǐng)域的,暴雪并不在其中。那么,我們的競(jìng)爭(zhēng)力是什么?我們是不是在重復(fù)造輪?這時(shí)我們思考了以下三個(gè)問題:
用戶市場(chǎng)很廣,雖然TMF有天啟,但當(dāng)前產(chǎn)品有差異化,服務(wù)好非TMF,價(jià)值空間依舊在。
用戶痛點(diǎn)還很多,應(yīng)該共建互通,攻堅(jiān)技術(shù)難題,聚焦用戶價(jià)值。
智能化探索之路還很遠(yuǎn),創(chuàng)新力才是競(jìng)爭(zhēng)力,不一定拘泥于當(dāng)下幾個(gè)點(diǎn)。
我們得出以下結(jié)論:
核心價(jià)值:廣大非TMF應(yīng)用的技術(shù)同學(xué)的測(cè)試賦能,解決質(zhì)量和效率問題。
競(jìng)爭(zhēng)力:不斷的用創(chuàng)新探索智能化測(cè)試。
方向決策:進(jìn)一步開放共贏,包括與AE、螞蟻合作等,大家會(huì)有各種各樣的想法,最后都能在平臺(tái)上一起合作,最后形成各種解決方案,服務(wù)相同的自動(dòng)化和接口測(cè)試。
重新?lián)P帆起航
那么,在這一年多的時(shí)間里,我們做了哪三個(gè)重大的事情呢?
更優(yōu)的架構(gòu):一旦用戶體量上去后,架構(gòu)的好壞就會(huì)決定未來的發(fā)展,新暴雪平臺(tái),與DOOM解耦,跑得更快,創(chuàng)造更多可能性。
更豐富的產(chǎn)品:無腦回歸加強(qiáng),增加了業(yè)務(wù)維度,可以自動(dòng)識(shí)別業(yè)務(wù)規(guī)則,根據(jù)流量告訴你哪些規(guī)則組合還沒有生成用例;異常接口測(cè)試,讀接口鏈路測(cè)試,寫接口鏈路測(cè)試、測(cè)試度量(灰度發(fā)布度量,慢sql預(yù)測(cè))。
更開放的思想:適配螞蟻用暴雪,與AE共建精準(zhǔn)回歸,與螞蟻compass合作,支持供應(yīng)鏈-氫氣球端式錄制,更多open api的開放。
破局之后,現(xiàn)在的暴雪有40多個(gè)BU的用戶,接入應(yīng)用數(shù)達(dá)700多個(gè),周活躍用戶接近200個(gè),以前我們追求的指標(biāo)是多少應(yīng)用的接入,隨著不斷的深化,就會(huì)發(fā)現(xiàn)這個(gè)指標(biāo)是不對(duì)的,可能接入后就死掉了,全部是非活躍用戶,還是不能說自己有價(jià)值,所以從2018年開始,我們開始追求活躍用戶數(shù),活躍用戶多,說明真正為用戶創(chuàng)造了價(jià)值。
目標(biāo)暴雪的產(chǎn)品能力樹如圖所示,讀接口實(shí)時(shí)對(duì)比、異常測(cè)試等都是今年剛release出去的版本。
暴雪的展望
暴雪的產(chǎn)品展望如圖所示,最上面的產(chǎn)品層就是我們要?jiǎng)?chuàng)造的價(jià)值,往下的業(yè)務(wù)層、基礎(chǔ)層是必須具備的能力,暴雪的價(jià)值表達(dá)更多的是在產(chǎn)品層,未來我們希望能夠通過自己的流量的智能轉(zhuǎn)化生成出新的東西。如果暴雪等產(chǎn)品擁有懂代碼的能力,就可以智能的覆蓋更多的東西。未來智能化就是一是往底層修煉到更懂代碼,一是更懂業(yè)務(wù),暴雪目前還是依賴人去錄入,未來可能沒有人自己也可以探索到。整個(gè)產(chǎn)品,更多還是在代碼質(zhì)量的領(lǐng)域,未來暴雪要保持三個(gè)方向,一是還要在這個(gè)領(lǐng)域做深耕,不是在功能點(diǎn)做深耕;二是智能化;三是開放,做到業(yè)務(wù)線和效能組的共贏,誰是主引擎并沒有那么重要。
總結(jié)
以上是生活随笔為你收集整理的阿里智能化接口测试平台--暴雪的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: String数组转List,List转S
- 下一篇: metronic-v4.6 使用经验