码迷,mamicode.com
首页 >  
搜索关键字:selenium 爬虫    ( 16232个结果
转:Selenium的延迟等待
Selenium的延迟等待分为 显式等待(Explicit Wait) & 隐式等待(Implicit Wait).1.显式等待显式等待,就是明确的要等到某个元素的出现或者是某个元素的可点击等条件,等不到,就一直等,除非在规定的时间之内都没找到,那么就跳出Exception.如:1newWebDri...
分类:其他好文   时间:2014-06-19 00:42:32    阅读次数:254
转:总结Selenium WebDriver中一些鼠标和键盘事件的使用
在使用 Selenium WebDriver 做自动化测试的时候,会经常模拟鼠标和键盘的一些行为。比如使用鼠标单击、双击、右击、拖拽等动作;或者键盘输入、快捷键使用、组合键使用等模拟键盘的操作。在 WebDeriver 中,有一个专门的类来负责实现这些测试场景,那就是 Actions 类,在使用该类...
分类:Web程序   时间:2014-06-18 23:54:05    阅读次数:573
[Selenium]当DOM结构里面有iFrame,iFrame里面是html,怎么send keys to 里面的body,怎么用Assert进行验证?
我在测试的过程中遇到一个这样的问题,我无法通过CssSelector找到iFrame下边的html:rrrrrrrt后来我发现只能找到iFrame这里,再往后就找不到了。我用过sendKeys to可以将Text发送给body,但是想通过Assert去验证iFrame的text,无法做到。解决办法:...
分类:Web程序   时间:2014-06-18 16:26:44    阅读次数:707
用Java写的爬虫程序
这是一个web查找的根本程序,从命令行输入查找条件(开端的URL、处置url的最大数、要查找的字符串),它就会逐一对Internet上的URL进行实时查找,查找并输出匹配查找条件的页面。 这个程序的原型来自《java编程艺术》,为了非常好的剖析,站长去掉了其间的GUI有些,并稍作修改以适用jdk1....
分类:编程语言   时间:2014-06-18 16:22:03    阅读次数:242
nutch的爬虫demo代码 编辑
关键词: nutch今日来看看Nutch怎么Parse页面的:Nutch运用了两种Html parser东西(NekoHTML和TagSoup)来完成html的获取,这两种东西是可经过配置来选择的。当然你要自己完成Parser你还能够选择HTMLParser[根据visitor访问者形式一起也供给了...
分类:其他好文   时间:2014-06-18 15:28:46    阅读次数:181
c++开源爬虫-Larbin简介
因为最近学校实训,做的是一个搜索相关的项目,并且是c++的一个项目,所以就想到了larbin,于是接下来几天就现研究研究其源码,再根据项目需求修改其源码。 不多说,直接进入今天的正题。今天的目的就是简单了解下larbin。 Larbin简介 larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人Sébastien Ailleret独立开发,用c++语言实现。larbin目的是...
分类:编程语言   时间:2014-06-18 11:34:10    阅读次数:564
nutch的爬虫demo代码 编辑
关键词: nutch今日来看看Nutch怎么Parse页面的: Nutch运用了两种Html parser东西(NekoHTML和TagSoup)来完成html的获取,这两种东西是可经过配置来选择的。 当然你要自己完成Parser你还能够选择HTMLParser[根据visitor访问者形式一起也供...
分类:其他好文   时间:2014-06-17 21:22:32    阅读次数:258
Lucene+网络爬虫
近来方案做个爬虫的小比如,后来想想干脆运用的全部一点,今后就作为是个工程笔记,忘掉的代码就可以再到这个工程里查查了。solr是个很不错的东西,直接用就OK。下一方案方案看看compass,是一个封装了LuceneAPI的一个结构,用起来有点类似Hibernate,值得学习一下~ 好了,先个我们共享一...
分类:其他好文   时间:2014-06-17 14:15:31    阅读次数:193
python爬虫之采集——360联想词W2版本
python爬虫...
分类:编程语言   时间:2014-06-16 21:28:53    阅读次数:265
python爬虫之采集360搜索的联想词
有个视频专门讲过这个爬虫,但是太罗嗦了,顺便整理下,而且到现在,360也不傻,已经进化了,采用原来的方式,多少有点bug,这个后面会说。正题如下: 语言:python2.7.6 模块:urllib,urllib2,re,time 目标:输入任意词,抓到其联想词 版本:w1 原理:在360搜索主页:http://www.so.com/,当你输入”科技“时,搜索框会列出相应的联想词或者短...
分类:编程语言   时间:2014-06-14 09:11:06    阅读次数:1111
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!