码迷,mamicode.com
首页 > 数据库 > 详细

python 对mongodb进行压力测试

时间:2016-10-16 07:36:05      阅读:194      评论:0      收藏:0      [点我收藏+]

标签:

最近对mongoDB数据库进行性能分析,需要对数据库进行加压。

加压时,最初采用threading模块写了个多线程程序,测试的效果不理想。

单机读数据库每秒请求数只能达到1000次/s.而开发的java程序请求数能达到6000-7000次/s。

证明受限于GIL,python的多线程表现确实不理想。

后来,采用了multiprocessing模块,采用多进程的方式进行加压。

经过测试证明,multiprocessing的性能还是不错,和开发java程序的性能相当。

脚本如下:

#!/usr/bin/env python

from pymongo import Connection,MongoClient,MongoReplicaSetClient
import multiprocessing
import time


#connection = MongoClient(mongodb://10.120.11.212:27017/)
#connection = Connection([10.120.11.122,10.120.11.221,10.120.11.212], 27017)
‘‘‘数据库采用了读写分离设置,连接mongoDB的模式要配对‘‘‘
connection=MongoReplicaSetClient(
        10.120.11.122:27017,10.120.11.221:27017,10.120.11.212:27017,
        replicaSet=rs0,
        read_preference=3
#        read_preference=3
        )
db = connection[cms]
db.authenticate(cms, cms)

#计时器
def func_time(func):
        def _wrapper(*args,**kwargs):
                start = time.time()
                func(*args,**kwargs)
                print func.__name__,run:,time.time()-start
        return _wrapper
#插入测试方法
def insert(num):
        posts = db.userinfo
        for x in range(num):
                post = {"_id" : str(x),
                        "author": str(x),
                        "text": "My first blog post!"
                        }
             posts.insert(post)
#查询测试方法
def query(num):
    get=db.device
    for i in xrange(num):
         get.find_one({"scanid":"010000138101010000009aaaaa"})


@func_time
def main(process_num,num):
    pool = multiprocessing.Pool(processes=process_num)
    for i in xrange(num):
        pool.apply_async(query, (num, ))
    pool.close()
    pool.join()
    print "Sub-process(es) done."

if __name__ == "__main__":
#    query(500,1)
        main(800,500)

原文发表于http://www.cnblogs.com/reach296/

python 对mongodb进行压力测试

标签:

原文地址:http://www.cnblogs.com/clarke/p/5965756.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!