码迷,mamicode.com
首页 >  
搜索关键字:selenium 爬虫    ( 16232个结果
招高级自动化测试工程师
招高级自动化测试工程师,负责自动化测试框架开发、自动化测试管理平台设计、自动化测试项目实施,要求熟悉QTP \Selenium\ RFT \SilkTest等自动化测试工具,熟悉自动化测试框架设计方法,有自动化测试管理平台设计经验者优先。请发简历到: 18925189935 # 126.com
分类:其他好文   时间:2014-05-26 13:55:43    阅读次数:211
2014.05.22 开学selenium 2.0 现在有点感觉了 加油吧
RT困到死
分类:其他好文   时间:2014-05-26 13:15:29    阅读次数:141
大数据之网络爬虫-一个简单的多线程爬虫
本文介绍一个简单的多线程并发爬虫,这里说的简单是指爬取的数据规模不大,单机运行,并且不使用数据库,但保证多线程下的数据的一致性,并且能让爬得正起劲的爬虫停下来,而且能保存爬取状态以备下次继续。 爬虫实现的步骤基本如下:分析网页结构,选取自己感兴趣的部分;建立两个Buffer,一个用于保存已经访问.....
分类:编程语言   时间:2014-05-26 13:13:56    阅读次数:318
robots.txt用法
robots.txt的主要作用是告诉蜘蛛爬虫该网站下哪些内容能抓取,哪些内容不能抓取。虽然可以没有robots.txt这个文件,默认就抓取该网站的所有文件,对搜索引擎爬虫没有任何的影响,但是如果你想控制蜘蛛的检索间隔,你就必须用robots.txt来控制。robots.txt不是一种规范,是约定俗成...
分类:其他好文   时间:2014-05-26 13:04:58    阅读次数:228
定向数据爬虫和搜索引擎(Directional Spider)设计(一) —— 元素分析
Insert title here定向数据爬虫和搜索引擎(Directional Spider)设计(一) —— 元素分析前言页面定向数据抓取目的就是尽可能的抓取在互联网中获取到你感兴趣的数据。因为是定向抓取,同时需要保证对抓取的数据进行数据加工处理,做到对应的数据规范,方便后期检索。 简单的说这个...
分类:其他好文   时间:2014-05-26 07:28:45    阅读次数:225
转simhash与重复信息识别
simhash与重复信息识别在工作学习中,我往往感叹数学奇迹般的解决一些貌似不可能完成的任务,并且十分希望将这种喜悦分享给大家,就好比说:“老婆,出来看上帝”…… 随着信息爆炸时代的来临,互联网上充斥着着大量的近重复信息,有效地识别它们是一个很有意义的课题。例如,对于搜索引擎的爬虫系统来说,收录重复...
分类:其他好文   时间:2014-05-26 06:38:50    阅读次数:258
Selenium Webdriver 学习总结-Advanced Usage-Cookie、Profile(七)
1、webdriver如何处理profile 当我们初始化Firefox WebDriver时,可以使用一个已存在的Profile或一个新的Profile,WebDriver每次使用前都会复制一份(win7 默认存放路径C:\Users\ADMINI~1\AppData\Local\Temp\anonymous5354649999399361803webdriver-profile),如果没有指定firefox profile,webdriver会创建一个空的Profile并使用它,所以我们在每次webd...
分类:Web程序   时间:2014-05-26 06:14:22    阅读次数:392
Selenium Webdriver 学习总结-Jenkins配置(八)
QQ群:136924235 论坛:http://bbs.shareku.com 对于移动或删除jobs,只需要简单地移动或删除%JENKINS_HOEM%\jobs目录。 对于修改jobs的名字,只需要简单地修改%JENKINS_HOEM%\jobs下对应job的文件夹的名字。 对于不经常使用的job,只需要对%JENKINS_HOEM%\jobs下对应的jobs的目录zip或tar后存储到其他的地方。...
分类:Web程序   时间:2014-05-25 01:09:27    阅读次数:345
selenium webdriver 学习总结-数据驱动(六)
QQ群:136924235 论坛:http://bbs.shareku.com webdriver可以结合junit中的Parameterized运行器完成数据驱动的目的,数据驱动的方式很多,可以结合csv文件,excel文件,jdbc等,下面我将结合csv,jdbc来展示如何完成数据驱动测试。 一、先给大家介绍一下如何使用Parameterized运行器,两种方式实现。 1、第一种方式,通过构造方法初始化测试数据...
分类:Web程序   时间:2014-05-24 14:19:25    阅读次数:414
python实现人人网留言获取与一键删除
最近有点着迷Python,学习基本语法之后,首先从爬虫开始,看了《使用python登录人人网并发表状态》一文后,很感兴趣,然后又曾经苦于人人网聊天记录删除的繁琐,于是决定写一个聊天记录一键删除的小脚本,好啦,废话不多说:#encoding:utf-8import urllib2, urllib, c...
分类:编程语言   时间:2014-05-24 09:35:03    阅读次数:390
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!