一、解决的问题 & 评价标准web语义化能解决如下问题：1. 页面样式丢失2. 有颜色或其他障碍的访客也能读懂页面3. 移动设备访问页面4. 程序（如爬虫）理解页面（换句话说SEO优化）二、评价标准web语义化主要是为了让页面结构更清晰，更关注内容之间的层次关系及意义。比如一个div内部标题用h1 ...
分类：
Web程序 时间：
2015-01-09 17:09:20
阅读次数：
113
最近无节操爬虫越来越多，越来越流氓，主要体现在完全不控制速率的用一整段的 IP 地址来爬取你的网页，而且有些根本就是伪装成普通浏览器访问。尽管 OSC 对单 IP 做了并发的限制，但架不住大量的 IP 进行爬取。 ...
分类：
其他好文 时间：
2015-01-09 12:50:36
阅读次数：
132
前面我在一个博文里直播过了 www.med66.com 的登陆过程。博文：http://my.oschina.net/hevakelcj/blog/357852 成功登陆，就意味着进入了网站的大门。剩下的工作就是进去之后在里面取想到的东西。 如下就是登陆成功...
分类：
Web程序 时间：
2015-01-08 22:55:55
阅读次数：
301
#安装:sudo perl -MCPAN -e shellinstall Term::ProgressBar#场景:假设有200个url需要爬虫，每个url的抓取速度是不一样的,完成第1-2个url的爬虫完成后，进度条显示1%。当然进度条的count设置为200的前提下。#! /usr/bin/pe...
分类：
其他好文 时间：
2015-01-08 19:36:30
阅读次数：
129
1.爬虫的介绍 图1-1? 爬虫（spider) ? ? ?? ? ? ? 网络爬虫(web spider)是一个自动的通过网络抓取互联网上的网页的程序，在当今互联网中得到越来越广泛的使用。这种技术一般用来爬取网页中链接，资源等，...
分类：
其他好文 时间：
2015-01-08 13:32:56
阅读次数：
247
在前面的example中，我们知道定义一个Item类很简单，只要继承scrapy.Item,然后添加几个类型为scrapy.Field的对象作为类属性，就像下面这样importscrapy
classProduct(scrapy.Item):
name=scrapy.Field()
price=scrapy.Field()
stock=scrapy.Field()
last_updated=scrapy.Field(..
分类：
编程语言 时间：
2015-01-08 07:18:25
阅读次数：
958
1.有些scrapy命令，只有在scrapyproject根目录下才available,比如crawl命令2.scrapygenspidertaobaohttp://detail.tmall.com/item.htm?id=12577759834自动在spider目录下生成taobao.py#-*-coding:utf-8-*-
importscrapy
classTaobaoSpider(scrapy.Spider):
name="taobao"
all..
分类：
编程语言 时间：
2015-01-07 19:07:36
阅读次数：
324
抓取网站的代码实现很多，如果考虑到抓取下载大量内容scrapy框架无疑是一个很好的工具。Scrapy = Search+Pyton。下面简单列出安装过程。PS：一定要按照Python的版本下载，要不然安装的时候会提醒找不到P...
分类：
编程语言 时间：
2015-01-07 13:22:53
阅读次数：
206
现在ACM不搞了，一看上一篇文章的发布时间是13年2月，着实把自己吓了一跳。既然已经开始实习了，那就搞搞技术吧，但是算法的学习还不能断，算法导论还有好多知识没学呢嗯，既然实习期间分配的任务是搞一搞爬虫，那我就来说说java的html解析器的具体解析方式吧。首先网络爬虫的大体运行原理大家应该都知道了，...
分类：
其他好文 时间：
2015-01-07 13:04:13
阅读次数：
123
