世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总，如下表所示。虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟只是想爬取数据，而非运营一个搜索引擎。开源爬虫汇总表开发语言软件名称软件介绍许可证JavaArach...
分类：
其他好文 时间：
2014-07-10 12:57:25
阅读次数：
489
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2014-07-10 12:32:08
阅读次数：
237
#coding:utf-8import sys,urllib2,re,Queuesys.path.append("..")from lib.Http_Class import Http_Classfrom BeautifulSoup import BeautifulSoup#############...
分类：
编程语言 时间：
2014-07-07 20:49:39
阅读次数：
350
目标：实现一个简单的Socket聊天服务器服务端环境：NodeJS客户端：Mac终端+NodeJS，Unity一、服务器程序var net = require('net');var timeout = 60000;var mess="";var clientlist=[];//超时var liste...
分类：
其他好文 时间：
2014-07-07 19:20:24
阅读次数：
162
[目录]扯淡吹逼之开发前奏Django 开发环境搭建及配置web 页面开发Django app开发Django 站点管理Python 简易爬虫开发Nginx&uWSGI 服务器配置...三、web页面开发 好吧，本来想单独写一章bootstrap的，但是前端确实没什么好写的，这里我们直接结合实际直....
分类：
Web程序 时间：
2014-06-30 11:58:55
阅读次数：
383
vs2010 win32程序中 sqlserver 2008 express的简单使用
分类：
数据库 时间：
2014-06-27 12:46:12
阅读次数：
361
关于nodejs中文站，眼下活跃度最好的知识站应该是http://www.cnodejs.org/ ，而http://cnodejs.org/则活跃度较低。Express.js是nodejs的一个MVC开发框架，而且支持jade等多种模板，是Node.js上最流行的Web开发框架。这几天刚接触Pho...
1、错误描述
六月 26, 2014 10:53:26 下午 freemarker.log.JDK14LoggerFactory$JDK14Logger error
严重: Template processing error: "Expression data[text] is undefined on line 9, column 51 in inc/select.ftl."
Express...
分类：
其他好文 时间：
2014-06-27 09:58:53
阅读次数：
237
一.目的。
在教程（二）（http://blog.csdn.net/u012150179/article/details/32911511）中使用基于Spider实现了自己的w3cschool_spider，并在items.py中定义了数据结构，
在pipelines.py中实现获得数据的过滤以及保存。
但是以上述方法只能爬取start_url列表中的网页，而网络爬虫如google等搜索引擎...
分类：
Web程序 时间：
2014-06-27 09:37:22
阅读次数：
15554
