没得事就爬一下我喜欢的海贼王上的图片
需要在d盘下建立一个imgcache文件夹
# -*- coding: utf-8 -*-
import urllib
import urllib2
import json
from bs4 import BeautifulSoup
import threadpool
import thread
class htmlpaser:
de...
分类：
编程语言 时间：
2014-06-29 07:15:05
阅读次数：
304
Alert alert =
driver.switchTo().alert();alert.accept();
分类：
其他好文 时间：
2014-06-11 13:05:22
阅读次数：
169
这是我学习爬虫比较深入的一步了，大部分的网页抓取用urllib2都可以搞定，但是涉及到JavaScript的时候，urlopen就完全傻逼了，所以不得不用模拟浏览器，方法也有很多，此处我采用的是selenium2+phantomjs，原因在于：selenium2支持所有主流的浏览器和phantomj...
分类：
Web程序 时间：
2014-06-11 11:17:54
阅读次数：
994
Selenium也是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE(7、8、9)、Mozilla
Firefox、Mozilla Suite等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工...
分类：
Web程序 时间：
2014-06-08 22:29:03
阅读次数：
328
最初是想端午节放假3天写一个爬虫，原型版本完成后。。发现自己想要的其实是数据采集工具。目前进度如下已完成：1.简易WPF界面，Log显示,开关暂停2.硬盘结果写入，xml配置文件读写。3.html分析，用的indexof分析全文。但稳定抓了一星期百度贴吧，中途没崩过。未完成：1.xml文件图形化编辑...
分类：
其他好文 时间：
2014-06-08 22:07:41
阅读次数：
261
最近在弄网页爬虫这方面的，上网看到关于htmlagilitypack搭配scrapysharp的文章，于是决定试一试~于是到https://www.nuget.org/packages/ScrapySharp去看看，看到这句下载提示：To
install ScrapySharp, run the f...
分类：
Web程序 时间：
2014-06-08 20:23:28
阅读次数：
402
菜鸟HtmlAgilityPack初体验。。。弱弱的代码。。。Html Agility
Pack是一个开源项目，为网页提供了标准的DOM API和XPath导航。使用WebBrowser和HttpWebRequest下载的网页可以用Html
Agility Pack来解析。HtmlAgilityPa...
分类：
Web程序 时间：
2014-06-08 20:07:13
阅读次数：
502
这是我的第一个爬虫代码。。。算是一份测试版的代码。大牛大神别喷。。。通过给定一个初始的地址startPiont然后对网页进行捕捉，然后通过正则表达式对网址进行匹配。List
todo：进行抓取的网址的集合List visited ：已经访问过的网址的集合下面实现的是，给定一个初始地址，然后进行爬虫，...
分类：
其他好文 时间：
2014-06-08 19:57:54
阅读次数：
309
第一、爬虫及其行为方式
1.根集
2.连接的提取和相对链接的标准化
从页面提取出链接，然后把相对链接转化为绝对链接
3.避免环路的出现
4.循环和复制
5.记录爬过得链接
树和散列表有损的存在位图集群和索引
6.规范URL
7.避免循环和重复
规范URL广度优先的爬行节流：限制一段时间内机器人可以从一个WEB站点获取的页面的数量限制URL的大小URL/站点黑...
分类：
Web程序 时间：
2014-06-08 17:18:02
阅读次数：
264
安装Python依赖
pip3.4 install nose
pip3.4 install selenium
pip3.4 install Appium-Python-Client
运行测试用例android_contacts.py
import os
import unittest
from appium import webdriver
from time import slee...
分类：
移动开发 时间：
2014-06-08 05:55:17
阅读次数：
482
