selenium
WebDriver定位元素是通过findElement（）和findElements（）方法。findElement（）方法返回一个基于指定查询条件的WebElement对象或是抛出一个没有找到符合条件元素的异常。findElements（）方法会返回匹配指定查询条件的webEle...
分类：
其他好文 时间：
2014-05-17 13:01:19
阅读次数：
239
前言第一次接触Autofac是因为CMS系统--Orchard，后来在一个开源爬虫系统--NCrawler中也碰到过，随着深入了解，我越发觉得Ioc容器是Web开发中必不可少的利器。那么，Ioc容器是用来做什么的？用了有什么好处？我相信如果不明白这两点就很难敞开心扉接受Ioc容器。传统解耦设计的弊端...
分类：
其他好文 时间：
2014-05-16 22:34:11
阅读次数：
361
简单爬虫R实现1、广度优先搜索策略网页的结构通常是一个页面包含正文和多个链接，这些链接大部分是域内链接，但也含有域外链接。通过对这些链接进行遍历，一层一层地搜索就可以搜索到所有页面。如图，网页结构已经很好的显示了一种图的层次结构。在这种图的结构中，简单地实现遍历，我们就可以采用两种遍历方式，广度优先...
分类：
其他好文 时间：
2014-05-16 21:08:33
阅读次数：
339
最近在做语义方面的问题，需要反义词。就在网上找反义词大全之类的，但是大多不全，没有我想要的。然后就找相关的网站，发现了http://fanyici.xpcha.com/5f7x868lizu.html，还行能把“老师”-“学生”，“医生”-“病人”这样对立关系的反义词查出来。一开始我想把网站中数据库...
分类：
编程语言 时间：
2014-05-16 08:10:36
阅读次数：
465
Function waitFn = new Function() {@Overridepublic
Boolean apply(WebDriver driver) { Point newPos =
page.getWDGAttrDetail().getLocation(); return newPo...
分类：
其他好文 时间：
2014-05-16 07:42:46
阅读次数：
259
只需要使用一台笔记本，打开几个web标签页，仅仅拷贝一些指向10MB文件的链接，Google去抓取同一文件的流量就超过了700Mbps。Google的FeedFetcher爬虫会将spreadsheet的=image(“link”)中的任意链接缓存。如果我们将=image(“http://examp...
分类：
其他好文 时间：
2014-05-16 06:43:25
阅读次数：
461
本文通过python 来实现这样一个简单的爬虫功能，把我们想要的图片爬取到本地。...
分类：
编程语言 时间：
2014-05-15 15:09:46
阅读次数：
450
学校的服务器可以上外网了，所以打算写一个自动爬取笑话并发到bbs的东西，从网上搜了一个笑话网站，感觉大部分还不太冷，html结构如下：
可以看到，笑话的链接列表都在里面，用正则表达式可以把最近的几个笑话地址找出来，再进到一个笑话页面看下：
每一个笑话页面里面是有多个小笑话组成的，全部在标签下，每个小笑话又单独一个包裹，这样非常容易...
分类：
编程语言 时间：
2014-05-15 11:18:58
阅读次数：
362
当你想要通过webdriver导航到一个链接，正常的方式点是通过调用get方法：driver.get("http://www.google.com")Interacting
with the page在页面中的HTML元素。如果我们需要找到定位一个。那么webdriver提供了许多方法来寻找元素.....
分类：
编程语言 时间：
2014-05-15 09:50:11
阅读次数：
393
OJ升级,代码可能会丢失. 所以要事先备份. 一开始傻傻的复制粘贴, 后来实在不能忍, 得益于大潇的启发和聪神的原始代码, 网页爬虫走起!
已经有段时间没看Python, 这次网页爬虫的原始代码是 python2.7版本, 试了一下修改到3.0版本, 要做很多包的更替,感觉比较烦,所以索性就在这个2.7版本上完善了.
首先观赏一下原始代码,我给加了一些注释:
# -*-...
分类：
编程语言 时间：
2014-05-15 02:39:45
阅读次数：
439
