感觉awk判断语句像是乱序的，这一周学习awk总结grep "all_time" log/bn-as.log | head -4000 | grep -o baidu_id="[a-z|A-Z|0-9_]*"| awk -F '=' '{if($2 != "") print $2 >> "outpu...
分类：
其他好文 时间：
2014-08-20 19:26:02
阅读次数：
178
（1）创建scrapy项目 scrapy?startproject?getblog ????（2）编辑 items.py #?-*-?coding:?utf-8?-*-
#?Define?here?the?models?for?your?scraped?items
#
#?See?documentation?i...
分类：
编程语言 时间：
2014-08-20 07:06:56
阅读次数：
262
Scrapy框架，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 ????刚开始学习这个框架。不...
分类：
编程语言 时间：
2014-08-20 04:00:06
阅读次数：
302
python爬虫，web spider。爬取网站获取网页数据，并进行分析提取。 ????基本模块使用的是 urllib，urllib2，re，等模块 （一）基本用法，例子 ????（1）进行基本GET请求，获取网页html #!coding...
分类：
编程语言 时间：
2014-08-20 00:10:25
阅读次数：
376
用Spider抓取数据，然后再做各种处理，然后放到web页面供大家使用。
那么，就需要一个Web Server。
几乎每种语言都有一大堆Web Server开发框架，Python也不例外，比如这里http://www.zhihu.com/question/20706333。廖雪峰同学还有个python的教程http://www.liaoxuefeng.com/wiki/00137473...
分类：
Web程序 时间：
2014-08-15 16:07:38
阅读次数：
196
import urllib.requestimport restarturl="http://wooyun.org/searchbug.php?q=%E9%87%91%E8%9E%8D"def get_html_response(url): html_response = urllib.req...
分类：
编程语言 时间：
2014-08-05 22:27:31
阅读次数：
246
如果想抓数据，就需要有爬虫程序，业内叫crawler或者spider。
有各种语言版本的开源爬虫，c++, Java, php，在github上搜一下，以"spider c++"为关键字，有245个开源爬虫，以"spider java"为关键字，有48个。那python呢？156个。
爬虫技术在业界已经很成熟了，有很多开源框架，在它们的帮助下写爬虫可以很快，几个小时就能写一个...
分类：
Web程序 时间：
2014-08-04 17:37:47
阅读次数：
285
/** author： insun title:python 爬虫抓取心得分享 blog:http://yxmhero1989.blog.163.com/blog/static/112157956201311821444664/ **/??? 0x1.urllib.quote(‘要编码的字符串‘) 如果你要在url请求里面放入中文...
分类：
编程语言 时间：
2014-07-26 03:36:37
阅读次数：
334
网上找了很多资料，PHP的比较多，然后找到有csv文件的，处理起来很麻烦，国外的网站速度很慢。
最后还是去页面上抓取数据，我是从中国银行抓取的，各位可去其他网站抓取。
1、模拟请求URL。
string url = "http://srh.bankofchina.com/search/whpj/search.jsp?pjname=1316";
HttpWebRequest reques...
分类：
Web程序 时间：
2014-07-23 17:00:01
阅读次数：
228
