码迷,mamicode.com
首页 >  
搜索关键字:python爬虫 mongodb ji    ( 12880个结果
MongoDB group 数据不同字段distinct问题解决办法
近日被mongoDB的聚合难住了,条件:1、表中有字段mac,pv,ip,dates,type2、要求,根据ip来group,计算pv合计,不重复的mac数,不重复的ip数3、下面是解决办法,说明:MongoDB权威指南中使用的是对象,即"macs":{},然后在reduce里面用 in来查找,pr...
分类:数据库   时间:2014-07-10 00:16:14    阅读次数:252
mongoDB简介
mongoDB是一种强大、灵活。可拓展的数据存储方式。他扩展了关系数据库的众多功能,如辅助索引、范围查询、排序。mongodb的功能非常的丰富,比如比如内置的对mapreduce式聚合的支持,以及对地理空间索引的支持。一、优点(1)丰富的数据类型(2)容易拓展(3)丰富的功能(4)不牺牲速度(5)简...
分类:数据库   时间:2014-07-09 23:58:30    阅读次数:368
Python 爬虫插件
#coding:utf-8import sys,urllib2,re,Queuesys.path.append("..")from lib.Http_Class import Http_Classfrom BeautifulSoup import BeautifulSoup#############...
分类:编程语言   时间:2014-07-07 20:49:39    阅读次数:350
PHP操作Mongodb
(“mongodb://用户名:密码 @地址:端口/默认指定数据库”,参数)$conn = new Mongo();//可以简写为//$conn=new Mongo(); #连接本地主机,默认端口.//$conn=new Mongo(“172.21.15.69″); #连接远程主机//$conn=n...
分类:数据库   时间:2014-07-07 19:48:08    阅读次数:393
Ruby Web框架
JGW Maxwell在2011年底做了一个Ruby Web框架的并发处理能力测试,还做了node.js的对比测试。用250个并发去做压力测试,后端使用MongoDB数据库,总共跑完10万个请求,测试结果如下:Web框架并发模型吞吐量Rails多进程531 request/sSinatra多进程57...
分类:Web程序   时间:2014-07-07 13:45:08    阅读次数:267
[MongoDB实战]Part1 起步
本书的这部分对MongoDB进行了一个大致的简介。包括了Javascript Shell和Ruby驱动,这俩都有例子 在第一章,我们将了解到MongoDB的历史,设计目的和实际使用的场景。我们还将了解到是什么MongoDB如此与众不同以至于我们使用NoSQL还命名它。 在学习第二章后,你会对Mong...
分类:数据库   时间:2014-07-03 11:14:45    阅读次数:230
(原)python爬虫入门(2)---排序爬取的辽宁科技大学热点新闻
发现科大网页的源码中还有文章的点击率,何不做一个文章点击率的降序排行。简单,前面入门(1)基本已经完成我们所要的功能了,本篇我们仅仅需要添加:一个通过正则获取文章点击率的数字;再加一个根据该数字的插入排序。ok,大功告成!简单说一下本文插入排序的第一个循环,找到列表中最大的数,放到列表 0 的位置做...
分类:编程语言   时间:2014-07-01 14:01:14    阅读次数:245
(原)爬取辽宁科技大学相关新闻---python爬虫入门
有人说大部分python程序员都是通过爬虫入门的或者都是由爬虫喜欢上python的。还有大部分人学爬虫都喜欢拿自己学校的网站练手。我就是基于以上两点开始的。。。ok,开始,首先你需要一点python基础,一点点基础就可以,找一本薄薄的书过一遍,可以上这来找找http://wiki.woodpecke...
分类:编程语言   时间:2014-07-01 11:47:07    阅读次数:316
【MangoDB分片】配置mongodb分片群集(sharding cluster)
配置mongodb分片群集(sharding cluster)Sharding cluster介绍这是一种可以水平扩展的模式,在数据量很大时特给力,实际大规模应用一般会采用这种架构去构建monodb系统。要构建一个 MongoDB Sharding Cluster,需要三种角色:Shard Serv...
分类:数据库   时间:2014-06-30 22:41:02    阅读次数:285
mongoDB之用户及权限设置
MongoDB默认是不需要输入用户名和密码,客户就可以登录的。但是出于安全性的考虑,我们还是要为其设置用户名和密码。
分类:数据库   时间:2014-06-29 19:06:53    阅读次数:264
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!