分布式爬虫处理redis数据

标签：source   默认   red   cal   item   数据   bsp   pymongo   mongod   

分布式爬虫默认八数据存储在redis中，可以将数据转存到Monogdb或Mysql中，从而降低内存消耗。

from redis import Redis
from pymongo import MongoClient
import json

def redis_to_mongodb():
    redis_cli=Redis("localhost",6379)
    mongo_cli=MongoClient("localhost",27017)
    col=mongo_cli[‘databa‘][‘items‘]
    while True:
        #blpop先进先出，
        source,item=redis_cli.blpop(‘key:items‘)
        data=json.loads(item)
        col.insert(data)

分布式爬虫处理redis数据

标签：source   默认   red   cal   item   数据   bsp   pymongo   mongod   

原文地址：https://www.cnblogs.com/ajiling/p/14726831.html