更新時間:2019年11月12日15時14分 來源:傳智播客 瀏覽次數(shù):
要解決性能測試這個問題,我們可以分為三大步:
第一步:了解性能測試
第二步:熟悉性能測試流程
第三步:從性能測試原理分析性能測試流程和相關的技術知識
下面我們詳細介紹
一.了解后端性能測試
1.為什么要做性能測試?
1.1 這里提供了2個案例:
示例1:
游戲行業(yè):某游戲上線新功能,目標是全服游戲群體,結(jié)果上線后,先后出現(xiàn)了服務器崩潰,游戲功能圖標加載緩慢等問題,導致玩家怨聲載道,為此,游戲運營商不得不發(fā)放了許多獎勵。具體損失不表,為趕進度而發(fā)布的功能,也因為生產(chǎn)事故導致延期更長的時間
這就是典型的沒有進行性能測試,或者說性能測試不充分導致出現(xiàn)的生產(chǎn)事故。在游戲行業(yè)還比較好,畢竟損失的只是虛擬的貨幣和玩家的游戲熱情,但是在傳統(tǒng)行業(yè)呢?
示例2:
傳統(tǒng)航空行業(yè):2019年9月5日,波音777X飛機在壓力測試的過程中,艙門炸毀。
如果,波音的777X飛機沒有經(jīng)過壓力測試就試飛了,那么當遇到同樣的條件時,艙門必然炸毀,整個飛機就會直接暴露到高空低壓低氧的環(huán)境,全飛機的人生存將會受到直接威脅。
通過這兩個案例,我們知道,在一些極限的場景下,軟/件和硬件會造成極大的破壞和損失,因此,我們需要進行性能測試,來驗證軟件在高壓力下,高并發(fā)下,高負載下的實際工作情況。
2. 什么是性能測試?
性能測試就是模擬一些極端場景,對軟/硬件性能進行測試,判斷其極限性能和在極限性能邊界上的運行狀態(tài)。
性能測試主要分為前端性能,網(wǎng)絡性能和后端性能
• 前端性能:是指對前端相關的數(shù)據(jù)指標進行測試,主要是HTTP請求,JavaScript,多媒體數(shù)據(jù),CDN,緩存等進行測試,主要關注響應時間。一般優(yōu)化方向是,縮小數(shù)據(jù)包,提高緩存命中率,即時響應。
• 網(wǎng)絡性能:是指數(shù)據(jù)包在網(wǎng)絡中傳播時的性能,主要關注網(wǎng)絡帶寬,網(wǎng)絡吞吐量,網(wǎng)絡延時,丟包率等指標。
• 后端性能:前端發(fā)起請求后,經(jīng)過的各類中間件和服務器處理的性能。比如:apache、nginx、rabbitmq、storm、zookeeper、dubbo、mysql數(shù)據(jù)庫等。主要關注TPS(Transaction Per Second 每秒事務請求數(shù)),CPU,內(nèi)存,交換內(nèi)存,IOPS(IO吞吐量),TCP連接數(shù)等指標)
3.性能測試的目標
總之,性能測試的目的,就是為了提前發(fā)現(xiàn)軟/硬件的瓶頸,從而可以進行評估和改進的一種測試。
本文重點介紹軟件性能測試中的后端性能測試。
二.熟悉性能測試流程
本章節(jié)主要是為了介紹常用的性能測試流程
性能測試流程可以簡單的劃分為4個階段:
• 性能需求分析階段
• 準備階段
• 執(zhí)行階段
• 報告和總結(jié)階段
性能需求分析階段
• 熟悉項目相關的資源,如:架構設計,軟/硬件環(huán)境配置,線上業(yè)務運營數(shù)據(jù)(交易量、用戶活躍度、請求分布等等)
• 根據(jù)運營數(shù)據(jù)或者指標,確定性能測試要達到的目標,如:支持xx用戶并發(fā),TPS達到多少,響應時間達到多少,還有CPU,網(wǎng)絡,IO的負載情況等等
• 設計性能測試計劃:與功能測試計劃差不多,主要對以下內(nèi)容進行設計(根據(jù)實際情況設計,比如有的公司只看結(jié)果,就可以省略許多不必要的文案說明):
– 項目背景
– 項目結(jié)構
– 測試功能/范圍
– 軟/硬件資源準備和對比
– 技術術語
– 時間/人力安排
– 度量方式
– 準入準出條件
– 各階段需要接收和交付的文檔
– 壓測工具和監(jiān)控工具
– 風險項
– 其他
• 設計性能測試場景
主要有以下場景:
– 基準測試:了解系統(tǒng)在靜置時的資源消耗,如cpu,io,網(wǎng)絡帶寬,網(wǎng)絡連接的情況。如果有干擾,務必排除。
– 單次連續(xù)請求測試:1次連續(xù)請求情況下的tps,響應時間,服務器資源消耗情況,主要用于參考。
– 負載測試:逐漸增加并發(fā)請求數(shù),查看tps,響應時間,錯誤率,服務器資源消耗情況,主要用于分析最大性能。
– 壓力測試:在最大性能的臨界點上保持壓力進行測試,查看服務器在高壓力情況的處理情況。
– 穩(wěn)定性測試:連續(xù)xx天內(nèi),在一定的并發(fā)下進行測試,查看服務器運行情況是否能達到需求設計
準備階段
• 搭建性能測試環(huán)境
• 設計性能測試用例
• 準備測試數(shù)據(jù)
• 編寫測試腳本
執(zhí)行階段
• 運行性能監(jiān)控工具
• 按照測試場景,執(zhí)行測試用例。
• 分析:分析性能瓶頸,針對不同的業(yè)務場景,分析的側(cè)重點也不一樣,比如計算密集型,IO密集型的業(yè)務,還有線程鎖,垃圾回收機制等等
• 調(diào)優(yōu)
結(jié)果階段
• 總結(jié)測試結(jié)果,輸出性能測試報告
三.了解性能測試需要用到的技術
本章節(jié),主要是通過性能測試的原理,了解性能測試需要使用的各方面的知識和技術。
性能測試原理介紹:
性能測試,本質(zhì)就是模擬客戶端請求,對服務器進行高并發(fā),高流量的壓力測試,從而驗證服務器提供服務的能力,并找出瓶頸點,提出或者進行優(yōu)化。
問題:
1. 怎么模擬高并發(fā),高流量?
2. 怎么進行性能優(yōu)化?
1. 怎么模擬高并發(fā):
– 使用多線程技術,模擬高并發(fā)。
– 如果并發(fā)太高,如10w并發(fā)以上,則需要使用負載均衡和分布式處理技術,jmeter工具支持多臺機器作為負載機。
2. 怎么模擬高流量:
– 在每個請求中塞入大量數(shù)據(jù)即可
3. 怎么進行性能優(yōu)化
– 這是個大問題,下文《怎么進行性能優(yōu)化》會有更詳細的講解
那么怎么提升性能呢?我們首先介紹一個衡量性能標準的一個參數(shù):TPS(Transaction Per Second 每秒事務請求數(shù))。
我們再看一下TPS計算公式:
TPS = 總請求數(shù)/ 平均響應時間
總請求數(shù):在一段時間內(nèi)發(fā)送的所有請求數(shù)量
平均響應時間:所有請求的平均響應時間
通過這個公式,我們可以知道,當分母越小時,TPS越大。所以要提升性能,我們只需要提高平均響應時間就可以了。那么怎么減少平均響應時間呢?【本文來自:黑馬程序員】
我們先看一個客戶端到服務器的請求流程圖:
圖中,客戶端發(fā)送請求經(jīng)過了互聯(lián)網(wǎng)到服務器,服務器經(jīng)過內(nèi)部處理,從數(shù)據(jù)庫中讀取了數(shù)據(jù),然后把數(shù)據(jù)返回給客戶端。這過程中,經(jīng)歷的時間大致可以分為:C1+T1+T2+T3+N2+T4+T5。
所以,要把平均響應時間縮小,我們只需要縮小這8個時間就夠了,其中主要包括:
• 網(wǎng)絡時間(T1+T2+T3+T4+T5),
• 服務器內(nèi)部處理時間(N1),
• 數(shù)據(jù)庫處理時間(N2),
• 客戶端處理時間(C1)。
所以我們可以就可以從這三個方向去優(yōu)化:提高網(wǎng)絡傳輸速率,服務器內(nèi)部處理速率,數(shù)據(jù)庫處理速率,客戶端處理速率,其中客戶端處理速度也和服務端優(yōu)化策略基本相同
性能優(yōu)化:
網(wǎng)絡傳輸速率的提高:
1,采用光纖,配置路由表,縮短網(wǎng)絡傳輸距離與路由器躍點數(shù)量。
2,如果是實時服務,那么需要配置緩存服務器,盡量避免緩存穿透
服務器內(nèi)部處理速率的提高:
1. 計算密集型:優(yōu)化思路是提高CPU利用率,采用多線程的思路進行。但是線程數(shù)量不能超過cpu核心數(shù)。因為線程數(shù)量超過cpu核心數(shù)后,cpu會分片執(zhí)行超過部分的線程,會增加cpu讀取線程緩存的壓力,使計算能力下降
2. IO密集型:
– 優(yōu)化思路是提高存儲的效率,如使用固態(tài)硬盤,陣列,分布式等技術。
– 由于IO密集型中,CPU可能會等待IO操作完成。所以我們可以使用超過CPU核心數(shù)的線程來訪問IO,從而提高性能(但如果磁盤繁忙,線程數(shù)再多也只是在磁盤隊列中排隊,增加CPU線程數(shù)來訪問IO的方法,適用于IO讀/寫操作并不繁忙,但是需要長時間尋址的場景)
– 注意:因為磁盤內(nèi)部只有1個線程處理IO操作,所以要真正實現(xiàn)磁盤的并發(fā),需要使用多個磁盤,也就是磁盤陣列
數(shù)據(jù)庫處理速率:
• 數(shù)據(jù)庫直接和IO進行交互,所以提高IO性能,能提高數(shù)據(jù)庫性能。
• 數(shù)據(jù)庫有自己的數(shù)據(jù)結(jié)構,所以優(yōu)化數(shù)據(jù)存儲和查詢的相關算法,也能提高數(shù)據(jù)庫性能
• 索引優(yōu)化
• 緩存優(yōu)化
• 數(shù)據(jù)庫連接優(yōu)化
• 數(shù)據(jù)庫查詢語句優(yōu)化
• 分表分庫
• 分布式處理
性能優(yōu)化方向也可以用一個思維導圖來表示:
硬件優(yōu)化:加cpu升級,cpu陣列;使用ssd固態(tài)硬盤;主板用最先進的,內(nèi)存用最高的,網(wǎng)絡用專線等等。
操作系統(tǒng)優(yōu)化:
• windows操作系統(tǒng),去掉不需要的服務,根據(jù)實際業(yè)務場景調(diào)整線程,虛擬內(nèi)存,緩存的大小等相關配置項,需要專業(yè)人士操作
• Linux操作系統(tǒng):與windows基本相同
中間件優(yōu)化:根據(jù)不同的業(yè)務場景,選擇不同的中間件,調(diào)整配置等等,如nginx中啟用的cpu核心數(shù)量等等
架構優(yōu)化:采用分布式存儲架構,分布式服務器架構,負載均衡等
代碼優(yōu)化:許多問題都是代碼的問題,如果代碼問題能準確定位,可以考慮優(yōu)化代碼。
數(shù)據(jù)庫優(yōu)化:優(yōu)化索引,配置,數(shù)據(jù)庫連接,算法等等
算法優(yōu)化:這個不提了,算法屬于底層的優(yōu)化,需要非常扎實的計算機基礎知識和優(yōu)秀的邏輯思維以及靈感
其他:線程,進程,網(wǎng)絡等等
性能監(jiān)控
我們要分析數(shù)據(jù),就必須得到數(shù)據(jù),所以需要性能監(jiān)控工具來采集和展示數(shù)據(jù),才能進行分析。
那么我們要怎么進行監(jiān)控呢?這里我們可以借助已經(jīng)實現(xiàn)的工具來進行。
Linux:
• 可以使用sysstat工具包中的sar命令來監(jiān)控CPU,內(nèi)存,IO,網(wǎng)絡的運行情況,具體用法參考:http://lovesoo.org/linux-sar-command-detailed.html
• 可以使用ps命令查看線程運行情況
JAVA:可以使用jstack,jprofile,jstat,jmap,jps工具來進行查看,這是java自帶的工具包,用于分析java的堆棧信息
Windows:
• 可以使用widnows自帶的資源監(jiān)視器監(jiān)控和采集數(shù)據(jù)
數(shù)據(jù)庫監(jiān)控:
• mysql數(shù)據(jù)庫有自帶的監(jiān)控工具,但是收費
• 可以使用免費的工具進行監(jiān)控,如innotop
• 可以使用綜合能力強大的工具監(jiān)控,如zabbix(也能監(jiān)控服務端)
其他:
• 前端性能監(jiān)控:Yslow,谷歌開發(fā)者模式->performance,使用windows.performance 進行定制化開發(fā)
• Android監(jiān)控:
– 網(wǎng)易開源的Emmagee,
– 騰訊開源的GT,
– 科大訊飛的iTest,
– Google的開源Battery
– 自己開發(fā)
• IOS監(jiān)控:
– 自己開發(fā),參考:http://www.cocoachina.com/articles/19680
• 服務器中間件:nginx,apache,dubbo,redis,kafka等
看到需要學習這么多技術,可能會讓大家感到許多壓力。但是大家不用慌,這里介紹一個開源的性能測試工具,功能強大也好用,不滿意還可以二次開發(fā),它就是jmeter
jmeter可以很好的支持并發(fā)操作,并有內(nèi)置模塊收集TPS,響應時間等關鍵性能指標。服務端性能也可以使用jmeter插件來實現(xiàn)監(jiān)控,只要掌握jmeter工具的使用和性能測試流程,性能測試就不再遙遠!
總結(jié)
想要做好性能測試,的確需要比較扎實的基本功和豐富的應用經(jīng)驗,但是如果想快速入門進行性能測試,可以重點掌握性能測試流程和jmeter工具就可以初步達到要求了。
本文來自:黑馬程序員軟件測試學院