【本文介绍】 爬取别人网页上的内容，听上似乎很有趣的样子，只要几步，就可以获取到力所不能及的东西，例如呢？例如天气预报，总不能自己拿着仪器去测吧！当然，要获取天气预报还是用webService好。这里只是举个例子。话不多说了，上看看效果吧。 【效果】我们随便找个天气预报的网站来试试：http...
分类：
编程语言 时间：
2014-08-06 17:54:02
阅读次数：
440
import urllib.requestimport restarturl="http://wooyun.org/searchbug.php?q=%E9%87%91%E8%9E%8D"def get_html_response(url): html_response = urllib.req...
分类：
编程语言 时间：
2014-08-05 22:27:31
阅读次数：
246
如果想抓数据，就需要有爬虫程序，业内叫crawler或者spider。
有各种语言版本的开源爬虫，c++, Java, php，在github上搜一下，以"spider c++"为关键字，有245个开源爬虫，以"spider java"为关键字，有48个。那python呢？156个。
爬虫技术在业界已经很成熟了，有很多开源框架，在它们的帮助下写爬虫可以很快，几个小时就能写一个...
分类：
Web程序 时间：
2014-08-04 17:37:47
阅读次数：
285
1 #coding="utf-8" 2 3 import urllib2 4 import re 5 import threading 6 import time 7 8 """ 9 抓取代理发布页的ip和port10 http://www.xici.net.co/nn/%d11 """12 ...
分类：
编程语言 时间：
2014-08-04 02:00:36
阅读次数：
313
需求：实现一个简单的pyton程序，接收两个参数：plugin_name, data，根据不同的plugin_name定位到不同的逻辑处理模块并进行输出。实现方案：使用python的库函数：load_source，将插件模块加载到一个dict中key为模块名称，value为类的实例，核心代码：def...
分类：
编程语言 时间：
2014-08-04 01:39:56
阅读次数：
393
最近在看国外的文档，有些生词不认识。就用谷歌翻译来理解，用着用着闲来无事就按F12查看了下页面的源代码。发现可以用python简单的实现下谷歌翻译的页面功能。于是先上网搜下有没有类似的文章博客，发现几篇不错的，于是参考其他代码与自己的思路，简单的实现了下翻译的功能，代码如下：
import re
import urllib,urllib2
#----------模拟浏览器的行为，向谷...
分类：
编程语言 时间：
2014-08-03 20:39:45
阅读次数：
338
在开发项目的过程，很多情况下我们需要利用互联网上的一些数据，在这种情况下，我们可能要写一个爬虫来爬我们所需要的数据。一般情况下都是利用正则表达式来匹配Html,获取我们所需要的数据。一般情况下分以下三步：1、获取网页的html2、利用正则表达式，获取我们所需要的数据3、分析，使用获取到的数据，（例如...
分类：
其他好文 时间：
2014-08-03 12:40:45
阅读次数：
194
本篇主要重点讲解了阅读nutch源码的fetch部分的感受以及通过调试追踪整个fetch的执行流程，其中包括通过生产者-消费者的模型解决爬虫问题，nutch如何爬取页面以及对于不同的返回状态做相应的处理机制，其中还涉及到一些多线程的知识。
分类：
其他好文 时间：
2014-08-02 17:55:13
阅读次数：
290
import java.awt.BorderLayout;import java.awt.Cursor;import java.awt.Font;import java.awt.GridBagConstraints;import java.awt.GridBagLayout;import java....
分类：
编程语言 时间：
2014-07-31 12:50:26
阅读次数：
318
