1 m Queue import Queue 2 from gzip import GzipFile 3 from StringIO import StringIO 4 import time 5 import socket 6 class ContentEncodingProcess...
分类：
编程语言 时间：
2014-07-11 21:41:10
阅读次数：
217
本文记录下用来爬虫主要使用的两个库。第一个是requests，用这个库能很方便的下载网页，不用标准库里面各种urllib；第二个BeautifulSoup用来解析网页，不然自己用正则的话很烦。requests使用，1直接使用库内提供的get、post等函数，在比简单的情况下使用，2利用session...
分类：
编程语言 时间：
2014-07-11 18:51:34
阅读次数：
250
这是一个简单的c++爬虫，效率并不是很高... 1 #include 2 int s1[1000000],s2[1000000]; 3 void fun(int a, int b) 4 { 5 int i,ii; 6 bool t1,t2,t3,t4; 7 s1[0] = s...
分类：
编程语言 时间：
2014-07-11 18:05:16
阅读次数：
297
安装nodejs搭建依赖环境 首先安装g++编译器与git，在终端输入如下命令 sudo apt-get install g++ curl libssl-dev apache2-utils sudo apt-get install git-core git如果已经安装则不需...
分类：
Web程序 时间：
2014-07-10 15:35:38
阅读次数：
318
有的网站防采集，会在页面加上this.window.location.reload()
分类：
Web程序 时间：
2014-07-10 14:34:18
阅读次数：
310
搜索引擎技术之概要预览前言 近些天在学校静心复习功课与梳理思路（找工作的事情暂缓），趁闲暇之际，常看有关搜索引擎相关技术类的文章，接触到不少此前未曾触碰到的诸多概念与技术，如爬虫，网页抓取，分词，索引，查询，排序等等，更惊叹于每一幅精彩的架构图，特此，便有记录下来的冲动，以作备忘。 本文从最主要.....
分类：
其他好文 时间：
2014-07-09 20:04:15
阅读次数：
200
angular和ember是mvc框架；grunt负责版本管理、版本发布；nodejs服务器http://www.emberjs.cn/guides/getting-started/using-fixtures/ 使用静态数据app.js中加入：window.Todos = Ember.Applic...
分类：
其他好文 时间：
2014-07-09 16:16:32
阅读次数：
200
据某大牛说，Ansible比chef、puppet都好使。学习一下怎么样用ansible provisioning 一个vagrant管理的虚拟机，用来启动expressjs的服务器
创建一个呆呆的expressjs工程
$ express nodejs-ansible
$ cd nodejs-ansible
$ npm install
验证服务器可以work
$ npm st...
分类：
Web程序 时间：
2014-07-09 11:02:55
阅读次数：
418
你是否苦恼于网上无法下载的“小说在线阅读”内容？或是某些文章的内容让你很有收藏的冲动，却找不到一个下载的链接？是不是有种自己写个程序把全部搞定的冲动？是不是学了 python，想要找点东西大展拳脚，告诉别人“哥可是很牛逼的！”？那就让我们开始吧！ 哈哈
好吧，我就是最近写 Yii 写多了，想找点东西调剂一下.... = =
本项目以研究为目的，所有版权问题我们都是站在作者的一边，以看盗版小说为目的的读者们请自行面壁！
说了这么多，我们要做的就是把小说正文的内容从网页上爬下来，我们的...
分类：
编程语言 时间：
2014-07-08 19:53:59
阅读次数：
311
如何在Ubuntu上安装最新版本的Node.js作者：chszs，转载需注明。博客主页：http://blog.csdn.net/chszsNode.js是一个软件平台，通常用于构建大规模的服务器端应用。Node.js使用JavaScript作为其脚本语言，犹豫其非阻塞I/O设计以及单线程事件循环机制，使得它可以交付超高的性能。Node.js包含了Google V8 JavaScript引擎，li...
分类：
Web程序 时间：
2014-07-08 13:04:57
阅读次数：
322
