/** author： insun title:python 爬虫抓取心得分享 blog:http://yxmhero1989.blog.163.com/blog/static/112157956201311821444664/ **/??? 0x1.urllib.quote(‘要编码的字符串‘) 如果你要在url请求里面放入中文...
分类：
编程语言 时间：
2014-07-26 03:36:37
阅读次数：
334
1、http://www.oschina.net/project/tag/64/spider?lang=0&os=0&sort=view&搜索引擎 NutchNutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 尽管Web搜索是漫游In...
分类：
其他好文 时间：
2014-07-26 01:46:06
阅读次数：
442
公司一个数据抓取的程序，数据量极大，读取数据的用IDataReader的Read方法来进行数据处理，在测试的时候我想跑一部分数据后跳出循环，即break; 然后关闭datareader,但是在执行datareader.close()方法的时候出现了“超时异常”的错误， 查看了一下MSDN对Close...
分类：
其他好文 时间：
2014-07-26 00:17:36
阅读次数：
232
前言从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概...
分类：
其他好文 时间：
2014-07-25 14:13:02
阅读次数：
446
在MongoDB2.2新出现的。聚集管道式基于数据处理管道概念建模的数据聚集框架。文档进入一个多阶段能将该文档转化为聚集结果的管道。
聚集管道提供了map-reduce方法了替代物，并在很多聚集任务中是首选的方案，因为map-reduce的复杂性可能是你不希望看到的。...
分类：
数据库 时间：
2014-07-25 11:22:31
阅读次数：
306
在上一篇中说到了如何创建一个Django Tastypie API给移动CMS用，接着我们似乎也应该有一个本地的配置文件用于一些简单的配置，如"获取API的URL"、"产品列表"、"SEO"(在一开始的时候发现这是不好的，后面又发现Google的爬虫可以运行Javascript，不过也是不推荐的。)这些东西是不太需要修改的，直接写在代码中似乎又不好，于是放到了一个叫作configure.json的...
分类：
移动开发 时间：
2014-07-25 11:13:01
阅读次数：
474
Map-reduce是一个考虑大型数据得到有用聚集结果的数据处理程式（paradigm）．针对map-reduce操作，MongoDB提供来mapreduce命令．...
分类：
数据库 时间：
2014-07-25 11:09:11
阅读次数：
275
MongoDB提供了大量在结果集上执行特定聚集操作的聚集操作方法。
尽量在使用范围上有限制，特别是和聚集管道、map-reduce相比较，但这些操作，为常规的数据处理提供了直接的语义。...
分类：
其他好文 时间：
2014-07-25 11:04:11
阅读次数：
135
本文主要讲解LED音乐频谱之输出数据处理，希望大家能对PWM,位运算等有更深刻的认识。...
分类：
其他好文 时间：
2014-07-24 23:26:34
阅读次数：
344
一 scrapy-redis实现分布式爬取分析
所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端。这里的redis的作用以及在scrapy-redis的方向我在自己fork的repository（链接：）已经做了翻译（README.rst）。
在前面一篇文章中我已经借助两篇相关文章分析了使用redis实现爬虫分布式的中心。归结起来...
分类：
其他好文 时间：
2014-07-24 23:13:44
阅读次数：
306
