性能测试需求调研分析方法
一、測試背景和目的
? ? 在需求調研開始,測試人員需要明確的測試目的,那么首先得清楚項目本身情況,針對不同的項目情況也會有不同的目的,根據項目情況一般可以分為以下六種情況:
1、完全新建系統
?? ??完全新建系統意味著被測試系統沒有業務數據作為參考,也沒有業務人員能進行有效的進行預估業務量,就不能轉換出業務指標值(TPS/QPS),那么我們通常的測試目的如下:
?2、改造新系統
改造新系統一般可以通過老系統業務量進行分析,再結合業務人員根據業務發展情況進行評估。通常的測試目的如下:
3、版本升級系統
? 版本升級系統有可能是針對缺陷修復升級,也有可能是針對業務需求變更升級。如之前未做過性能測試,按照改造新系統方式目的設置。如已做過性能測試通常測試目的如下:
4、線上運行系統
???? 線上運行系統要求進行非功能測試,一般是線上遇到非功能測試缺陷,很難復現。通常測試目的如下:
5、采購型系統
? ? ?采購型系統要求進行非功能測試,一般是對多家廠商的產品進行測試,給出對比測試結果,通常測試目的如下:
? ? ?獲取固定并發用戶數下,各廠商的指標對比情況(TPS,響應時間,CPU使用率,錯誤率等)
6、軟硬件選取
? ? ?軟硬件選取進行非功能測試,主要式在保持其他情況一致的情況下,性能情況對比。
? ? ?獲取在不同軟硬件處理能力,根據業務情況,選擇性價比最高的軟硬件。
?
二、測試范圍的確認
測試范圍主要是在調研過程中,確認被測系統與周邊系統關系以圖形的方式展現,并以明顯的標記標注被測系統和文字的方式說明被測交易具體與哪些系統進行交互。
?
三、被測系統架構分析
? ? ? ?架構分析的目的主要是需要確認被測試系統使用的開發語言/開發框架、通信機制/協議、中間件、數據庫、是否采用應用集群、是否采用數據庫集群、是否存在備份機制(熱備/冷備)、負載均衡機制等。為后續設置具體的測試策略,環境部署,監控手段做鋪墊。
?
四、業務模型分析
? ? ? ?業務模型分析主要是為了得到更加真實模擬線上運行場景,保證測試的覆蓋率。通過根據系統情況分為有業務數據參考(生產運行日志)和無業務數據參考兩種情況
?
?五、有業務數據參考
? ? ? ? 有業務數據參考系統可按照如下方式進行分析提取業務模型:
?
實例
| 案例編號 | 接口名稱 | 交易占比 |
| 1 | create_instant_trade(即時到賬) | 6% |
| 2 | create_ensure_trade(擔保交易) | 5% |
| 3 | create_split_trade(分賬) | 3% |
| 4 | create_settle(結算) | 5% |
| 5 | create_refund(退款) | 0.5% |
| 6 | query_trade(交易查詢) | 80.5% |
?
六、無業務數據
? ? ? ?通過與業務人員或者開發人員溝通,引導業務人員根據業務使用情況,進行業務模型的大概預估。具體方法如下
- 確認被測業務交易,業務交易選取規則如下:
- ?確認各業務交易占比:
?
七、用戶分析
| 需求類別 | 需求要點 | 性能需求描述規范說明 |
| ? 用戶分析 | 用戶數量需求 | ? 本系統各類別用戶的數量分析 |
| 用戶類別需求 | ||
| 系統支持并發操作最大用戶數量 | 并發用戶數指在同一時刻內,登錄系統并進行業務操作的用戶數量。 | |
| 系統支持的最大用戶連接數量 | 系統能夠同時接入(或登錄)的最大連接用戶數。 一般而言,并不是所有接入(或登錄)的真實用戶都在實時進行操作,部分用戶接入(或登錄)系統后,暫時不做業務操作,這樣的用戶操作習慣要求被測系統提供額外的系統并發接入能力。 |
?
八、 測試指標
? ? ? ? 性能測試常用指標確認如下:
| 大類 | 指標項 | 指標量值 | 備注 |
| 業務類 | 系統處理能力(TPS) | 二八法則 | 高峰期TPS |
| 一般交易響應時間 | <3秒 | 端到端的響應時間 | |
| 復雜交易響應時間 | <5秒 | 針對大表查詢交易 | |
| 交易成功率 | >=99.9% |
| |
| 系統資源 | CPU使用率 | <=80% |
|
| 內存使用率 |
| 無明顯上升趨勢。 | |
| 穩定性 | 運行時間 | 24小時 | CPU使用率、內存使用率、磁盤繁忙率等比較平穩,無明顯波動。 |
?
- 系統處理能力(TPS分析)分析方法:
溝通并估算出高峰日交易量為S1(單位:筆),獲取到高峰時間段S2(單位:小時),如果需要滿足N年后業務處理能力,需要給出業務遞增百分百S3。
滿足當前時間業務處理能力T1(單位:筆/秒)=(S1*0.8)/(S2*0.2*36000);
滿足N年后業務處理能力T2(單位:筆/秒)=T1*(1+S3)^N;
- 響應時間獲取:
響應時間指標通常根據系統方式分為接口類、客戶端訪問類,具體時間指標客戶端訪問類和是由業務人員根據業務情況,指定響應時間,
通常標準為:1-3秒可以通過;3-5秒謹慎通過;5秒以上不能通過。接口類響應時間通常標準為:記賬類:200毫秒? 單筆查詢:500毫秒?
?
?九、預埋數據量分析
??預埋數據量的目的是根據生產業務量情況和數據庫表數據存儲方式進行預埋數據,驗證在一定數據量情況下,數據庫性能對本身業務交易性能的影響。一般分為從生產導入數據和自己構造數據。
? 生產導數主要是把生產數據脫敏導入測試庫中,這樣的數據更加真實。
? 自己構造數主要是根據每天交易量乘以該表存儲的時間或者統計線上數據量的方式(需要了解該交易涉及表數據存儲),??基礎數據構造,應滿足數據類型以及量級的要求,避免數據熱點
query_balance
| 能 | 服務 | 數據庫 | 數據表 | 操作 | 線上數據量 | 當前測試環境 |
| ? ? 下單 | mag | ? | ? | ? | ? | ? |
| ma-web | member庫 | m_member_identity?會員查詢 member_account 會員賬戶信息表 | query | 5320w | 3053w | |
| dpm | dpm庫 | dpm_outer_account 外部戶 ? | query | 10450w | 5735w | |
| vouch | vouch庫 | trade_vouch 交易憑證 | insert | 11559w | 2722w | |
| tss | tss庫 | trade_order?交易訂單 acq_trade_order_ext 收單交易擴展 split_party分賬信息表 | insert | 9152w 10670w 3181w ? | 2491W 3200W 3260w ? |
轉載于:https://www.cnblogs.com/unknows/p/10954757.html
總結
以上是生活随笔為你收集整理的性能测试需求调研分析方法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: bzoj 1596 电话网络
- 下一篇: 浏览器窗口尺寸clientHeight