一、背景

這幾天對(duì)所有的基礎(chǔ)組件做一個(gè)摸底的基準(zhǔn)壓力測(cè)試，目前我們所有的開源基礎(chǔ)組件都沒有做過性能測(cè)試，經(jīng)常有開發(fā)人員問，我們的RDS、MongoDB集群能抗多大量呀，這個(gè)時(shí)候我是沒辦法回復(fù)的，因?yàn)槲易约阂膊恢?，雖然一個(gè)數(shù)據(jù)庫(kù)集群能抗多大量，在軟件、硬件配置固定的情況下，和業(yè)務(wù)場(chǎng)景有很大的關(guān)系，如果數(shù)據(jù)量小，查詢SQL簡(jiǎn)單那吞吐量自然很高，如果數(shù)據(jù)量特別大并且都是復(fù)雜SQL，那吞吐量自然上不去；但是既然人家問了，肯定是希望有一個(gè)答案，如果你說不知道，那會(huì)給人一種不靠譜的感覺，所以做一次基準(zhǔn)壓力測(cè)試，我們知道在特定的場(chǎng)景下我們的集群能有多大的吞吐量，做到自己心里有數(shù)，才給別人信心。這周在壓測(cè)MongoDB，谷歌了一番，MongoDB的壓測(cè)工具很少，有幾篇是介紹通過YCSB壓測(cè)MongoDB的，找丹姐（邏輯思維首席DBA）推薦一款MongoDB的壓測(cè)工具，丹姐也推薦YCSB，好吧，那就它吧，開整。

創(chuàng)新互聯(lián)建站是一家集網(wǎng)站建設(shè),神農(nóng)架林區(qū)企業(yè)網(wǎng)站建設(shè),神農(nóng)架林區(qū)品牌網(wǎng)站建設(shè),網(wǎng)站定制,神農(nóng)架林區(qū)網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,神農(nóng)架林區(qū)網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

二、環(huán)境說明

1、MongoDB集群配置（一個(gè)分片的shard集群）

2、MongoDB版本

4.0.4-62-g7e345a7
4、系統(tǒng)及內(nèi)核版本

CentOS Linux release 7.5.1804 (Core)
3.10.0-862.14.4.el7.x86_64

3、YCSB版本

YCSB-0.16.0-RC1.

4、測(cè)試說明

三、安裝

1、jdk及maven安裝參考官方

https://github.com/brianfrankcooper/YCSB/tree/master/mongodb

2、安裝YCSB

wget https://github.com/brianfrankcooper/YCSB/archive/0.16.0-RC1.tar.gz
tar -zxvf YCSB-0.16.0-RC1.tar.gz
cd YCSB-0.16.0-RC1/
mvn clean package -Dmaven.test.skip=true

PS：
安裝過程中maven下載依賴需要×××，如果有安裝失敗的包，需要在能×××的服務(wù)器上下載手動(dòng)安裝，比如mongodb-async-driver-2.0.1.jar就需要×××，下面是手動(dòng)安裝方法
A、手動(dòng)下載jar包
wget http://www.allanbank.com/repo/com/allanbank/mongodb-async-driver/2.0.1/mongodb-async-driver-2.0.1.jar
B、加壓包，從pom.xml 文件里面查看groupId、artifactId、version
C、手動(dòng)安裝

mvn install:install-file -Dfile=/tmp/mongodb-async-driver-2.0.1.jar  -DgroupId=com.allanbank -DartifactId=mongodb-async-driver -Dversion=2.0.1 -Dpackaging=jar
mvn -pl com.yahoo.ycsb:mongodb-binding -am clean package

四、壓測(cè)

1、編寫壓測(cè)文件

在workloads目錄下有很多壓測(cè)文件用到的文件，我們從其中一個(gè)copy一份，編輯添加我們自己定義的內(nèi)容

vim workloads/2000w

ongodb.url=mongodb://root:123456@172.21.244.101:27000
mongodb.writeConcern=normal
table=chj_2000w
recordcount=20000000
operationcount=50000000
readallfields=true
readproportion=0
updateproportion=0
scanproportion=0
insertproportion=1
requestdistribution=zipfian
workload=com.yahoo.ycsb.workloads.CoreWorkload

關(guān)于YCSB的壓測(cè)文件的每個(gè)參數(shù)的解釋如下：

fieldcount: 每條記錄字段個(gè)數(shù) (default: 10)
fieldlength: 每個(gè)字段長(zhǎng)度 (default: 100)
readallfields: 是否讀取所有字段true或者讀取一個(gè)字段false (default: true)
readproportion: 讀取作業(yè)比例 (default: 0.95)
updateproportion: 更新作業(yè)比例 (default: 0.05)
insertproportion: 插入作業(yè)比例 (default: 0)
scanproportion: 掃描作業(yè)比例 (default: 0)
readmodifywriteproportion: 讀取一條記錄修改它并寫回的比例 (default: 0)
requestdistribution: 請(qǐng)求的分布規(guī)則 uniform, zipfian or latest (default: uniform)
maxscanlength: 掃描作業(yè)最大記錄數(shù) (default: 1000)
scanlengthdistribution: 在1和最大掃描記錄數(shù)的之間的分布規(guī)則 (default: uniform)
insertorder: 記錄被插入的規(guī)則ordered或者h(yuǎn)ashed (default: hashed)
operationcount: 執(zhí)行的操作數(shù).
maxexecutiontime: 執(zhí)行操作的最長(zhǎng)時(shí)間，當(dāng)然如果沒有超過這個(gè)時(shí)間以運(yùn)行時(shí)間為主。
table: 測(cè)試表的名稱 (default: usertable)
recordcount: 加載到數(shù)據(jù)庫(kù)的紀(jì)錄條數(shù) (default: 0)

2、造數(shù)據(jù)，也是測(cè)寫入性能

./bin/ycsb load mongodb -threads 100 -P workloads/2000w
輸出結(jié)果說明

[OVERALL], RunTime(ms), 37182  #數(shù)據(jù)加載所用時(shí)間(毫秒)
[OVERALL], Throughput(ops/sec), 13447.367005540314  #加載操作的吞吐量(ops/sec)
[TOTAL_GCS_PS_Scavenge], Count, 37
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 146
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.3926631165617772
[TOTAL_GCS_PS_MarkSweep], Count, 0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 37
[TOTAL_GC_TIME], Time(ms), 146
[TOTAL_GC_TIME_%], Time(%), 0.3926631165617772
[CLEANUP], Operations, 64
[CLEANUP], AverageLatency(us), 422.09375
[CLEANUP], MinLatency(us), 0
[CLEANUP], MaxLatency(us), 26911
[CLEANUP], 95thPercentileLatency(us), 3
[CLEANUP], 99thPercentileLatency(us), 30
[INSERT], Operations, 500000  # 執(zhí)行insert操作的總數(shù)
[INSERT], AverageLatency(us), 4658.931652  # 每次insert操作的平均延時(shí)(微秒)
[INSERT], MinLatency(us), 831 # 所有insert操作的最小延時(shí)(微秒)
[INSERT], MaxLatency(us), 1784831 # 所有insert操作的最大延時(shí)(微秒)
[INSERT], 95thPercentileLatency(us), 9711  # 95%的insert操作延時(shí)在9毫秒以內(nèi)
[INSERT], 99thPercentileLatency(us), 17903 # 99%的insert操作延時(shí)在17毫秒以內(nèi)
[INSERT], Return=OK, 500000

3、壓測(cè)

通過調(diào)整壓測(cè)文件中read和update的比例，模擬只讀和讀寫混合的操作

./bin/ycsb run mongodb -threads 100 -P workloads/2000w

[OVERALL], RunTime(ms), 1735408
[OVERALL], Throughput(ops/sec), 2881.1668495247227
[TOTAL_GCS_PS_Scavenge], Count, 3975
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 6180
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.3561122226012557
[TOTAL_GCS_PS_MarkSweep], Count, 0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 3975
[TOTAL_GC_TIME], Time(ms), 6180
[TOTAL_GC_TIME_%], Time(%), 0.3561122226012557
[READ], Operations, 500346
[READ], AverageLatency(us), 2851.9638989819045
[READ], MinLatency(us), 696
[READ], MaxLatency(us), 646655
[READ], 95thPercentileLatency(us), 6991
[READ], 99thPercentileLatency(us), 23103
[READ], Return=OK, 500346
[CLEANUP], Operations, 10
[CLEANUP], AverageLatency(us), 3131.0
[CLEANUP], MinLatency(us), 1
[CLEANUP], MaxLatency(us), 31295
[CLEANUP], 95thPercentileLatency(us), 31295
[CLEANUP], 99thPercentileLatency(us), 31295
[UPDATE], Operations, 4499654
[UPDATE], AverageLatency(us), 3534.2083122391186
[UPDATE], MinLatency(us), 704
[UPDATE], MaxLatency(us), 1078271
[UPDATE], 95thPercentileLatency(us), 11647
[UPDATE], 99thPercentileLatency(us), 27343
[UPDATE], Return=OK, 4499654

五、指標(biāo)觀察

1、服務(wù)器指標(biāo)，主要觀察CPU、內(nèi)存、磁盤IO的利用率和延時(shí)，可以通過top、iostat工具查看實(shí)時(shí)情況
2、MongoDB可以通過mongostat 工具查看實(shí)時(shí)情況

mongostat的輸出說明

inserts：每秒插入次數(shù)
query：每秒查詢次數(shù)
update：每秒更新次數(shù)
delete：每秒刪除次數(shù)
getmore：每秒執(zhí)行g(shù)etmore次數(shù)
command：每秒的命令數(shù)，比以上插入、查找、更新、刪除的綜合還多，還統(tǒng)計(jì)了別的命令
dirty：WiredTiger存儲(chǔ)引擎中dirty 數(shù)據(jù)占緩存百分比
used:WiredTiger存儲(chǔ)引擎中引擎使用緩存占百分比
flushs：每秒執(zhí)行fsync將數(shù)據(jù)寫入硬盤的次數(shù)。
vsize：虛擬內(nèi)存使用量，單位MB
res：物理內(nèi)存使用量，單位MB
qrw:客戶端等待讀的長(zhǎng)度,隊(duì)列中的長(zhǎng)度
arw:客戶端等待寫的隊(duì)列長(zhǎng)度
netIn 和 netOut：網(wǎng)絡(luò)流量，單位是字節(jié) byte
conn：當(dāng)前連接數(shù)
time：時(shí)間戳

六、測(cè)試結(jié)果

網(wǎng)站題目：Mongodb性能壓測(cè)
URL鏈接：http://m.rwnh.cn/article2/igjdic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁(yè)設(shè)計(jì)公司、Google、商城網(wǎng)站、做網(wǎng)站、企業(yè)網(wǎng)站制作、用戶體驗(yàn)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)