码迷,mamicode.com
首页 >  
搜索关键字:selenium 爬虫    ( 16232个结果
[Selenium] CSS3 选择器
在 CSS 中,选择器是一种模式,用于选择需要添加样式的元素。"CSS" 列指示该属性是在哪个 CSS 版本中定义的。(CSS1、CSS2 还是 CSS3。)选择器例子例子描述CSS.class.intro选择 class="intro" 的所有元素。1#id#firstname选择 id="fir...
分类:Web程序   时间:2014-05-23 12:38:30    阅读次数:435
Selenium如何实现上传本地文件
public void uploadLocalFileToServer(String uploadFileName){ String AutomationPath = System.getProperty("user.dir"); String filePath=AutomationPath+".....
分类:其他好文   时间:2014-05-23 12:00:15    阅读次数:502
robots.txt的介绍和写作
目前很多网站管理者似乎对robots.txt并没有引起多大重视,甚至不知道这么一个文件的作用。本来应该保密的信息被爬虫抓取了,公布在公网上,本应该发布到公网的信息却迟迟不被搜索引擎收录。所以下面这篇文章,就来介绍robots.txt的作用和写作robots.txt基本介绍 robots 是一个...
分类:其他好文   时间:2014-05-23 11:03:16    阅读次数:252
[Python]BeautifulSoup—HTML解析包
在用Python写爬虫时,一个常见的操作是对抓下的HTML做分析处理,得到想要的内容。一般的方法为使用Python的re库中,用正则表达式来解析文本。不过这种方法适用于所有的文本,而针对于特定格式的文本,如这里的HTML,BeautifulSoup更具有针对性,使用起来也更方便。 BeautifulSoup可以解析HTML,XML等文件,这里只说明其解析HTML的功能。   Beautifu...
分类:编程语言   时间:2014-05-22 12:56:51    阅读次数:682
简单爬虫-抓取博客园文章列表
如果使用对方网站数据,而又没有响应的接口,或者使用接口不够灵活的情况下,使用爬虫在合适不过了。爬虫有几种,对方网站展示形式有几种都是用分析,每个网站展示有相似的地方,有不同的地方。 大部分使用httpRequst就能完成,不管是否添加了口令、随即码、请求参数、提交方式get或者post、地址来源、....
分类:其他好文   时间:2014-05-22 10:13:09    阅读次数:370
nutch学习笔记(一)入门篇
简介 nutch是一个用java实现的网络爬虫,但却不仅仅是一个爬虫。它还囊括了网页分析,索引,搜索等功能,所白了,可以当做一个搜索引擎来用。nutch的意义在于,为普通开发人员提供了一扇研究搜索引擎的窗户,让搜索引擎不再神秘。而且,由于nutch的不断发展,对性能以及并行批处理的要求不断提供,h....
分类:其他好文   时间:2014-05-22 01:21:40    阅读次数:258
python爬虫问题请教一下大家(急等回复)
我在编写一段pythn爬虫的时候遇到一个估计是编码的问题,可以怎么也解决不好。代码如下:#- * - coding: UTF-8 -*-import urllib.requestimport rehtml = urllib.request.urlopen("http://weibo.com/p/10...
分类:编程语言   时间:2014-05-22 00:59:35    阅读次数:354
简单爬虫-抓取博客园文章列表
原文:简单爬虫-抓取博客园文章列表 如果使用对方网站数据,而又没有响应的接口,或者使用接口不够灵活的情况下,使用爬虫在合适不过了。爬虫有几种,对方网站展示形式有几种都是用分析,每个网站展示有相似的地方,有不同的地方。 大部分使用httpRequst就能完成,不管是否添加了口令、随即码、请求参数、提交...
分类:其他好文   时间:2014-05-22 00:45:58    阅读次数:468
Selenium的PageFactory知多少
出路出路,走出去了,总是会有路的;困难苦难,困在家里就是难。 因为最近遇到的技术问题一直没找到可行的解决办法,一直在翻看selenium的源代码,之前写测试代码的时候就是拿来即用,写什么功能啊,就按手动的操作步骤去转换,近日看到一个文章,又去wiki上查了查,觉得写的不错就记录下来了。 在使用sel...
分类:其他好文   时间:2014-05-21 22:16:31    阅读次数:427
Selenium的PageFactory & PageObject 知多少
出路出路,走出去了,总是会有路的;困难苦难,困在家里就是难。     因为最近遇到的技术问题一直没找到可行的解决办法,一直在翻看selenium的源代码,之前写测试代码的时候就是拿来即用,写什么功能啊,就按手动的操作步骤去转换,近日看到一个文章,又去wiki上查了查,觉得写的不错就记录下来了。     在使用selenium做UI测试的时候,往往并不是页面的每个功能我们都要测试,总...
分类:其他好文   时间:2014-05-21 11:20:25    阅读次数:325
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!