做网络爬虫怕的就是超时，当恰恰出现最多的就是超时，那该怎么办呢！
1，HttpClient默认请求为3次，你可以修改成N次，建议根据实际情况修改
2，设置get方法请求超时为 5 秒
GetMethod getMethod=new GetMethod(url);
getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT,5000);
3，设置 Http 连接超时为5秒
HttpClient httpClient=new Http...
分类：
其他好文 时间：
2014-06-19 11:24:05
阅读次数：
354
最近在项目过程中使用selenium 判断元素是否存在的时候 遇到一个很坑爹的问题，
用以下方法执行的时候每次都会等待很长一段时间，原因是因为对selenium实现方法了解不足导致一直找不到解决方法。 private boolean
isElementPresent(By by) { t...
分类：
其他好文 时间：
2014-06-13 20:30:46
阅读次数：
352
1. 安装seleniumpip install selenium2.
安装phantomjs如果你是Ubuntu12.04，默认安装的版本是1.4.这个会出错。需要安装1.9.7cd /usr/local/sharesudo
wget https://bitbucket.org/ariya/pha...
分类：
Web程序 时间：
2014-06-13 07:32:47
阅读次数：
305
第一点：做好关键词分析（也叫关键词定位）：这是进行SEO优化最重要的一环，关键词分析包括：关键词注重量分析、竞争对手分析、关键词与网站相关性分析、关键词安顿、关键词排行猜想。
第二点：网站架构分析：网站结构符合搜索引擎的爬虫喜欢则有利于SEO优化。网站架构分析包括：除去网站架构不良计划、完结树状目....
分类：
Web程序 时间：
2014-06-12 20:13:00
阅读次数：
309
${"%u"+java.lang.Integer.toHexString(region.toString().charAt(s.toInt()))}
这样转换成的每个字符后面会有空行，用的时候需要regionUnicode.toSt...
分类：
其他好文 时间：
2014-06-12 17:47:11
阅读次数：
186
在用webdriver对浏览器进行操作时，很多操作并不是那么好找，后来在朋友的推荐下可以用下面的方法来寻找针对浏览器的一些操作，函数或属性等，这样方便我们可以查找一些方法去完成我们要的操作。下面是查看的方法：from
selenium import webdriverbrowser = webdri...
分类：
Web程序 时间：
2014-06-12 09:03:31
阅读次数：
230
不知从何时开始，百度禁止或者减少了用户在搜索栏中使用“site”这样的关键字进行百度云盘的内容搜索。比如：但是如果是使用bing或是google还是可以搜索出这两个大咖的爬虫缓存过的信息，如bing的缓存记录：小谷由于XX原因，让我大中华和谐了，反正我现在的网络是进不去，就不演示了。但是你直接单击连...
分类：
其他好文 时间：
2014-06-10 16:48:42
阅读次数：
269
