1、定义元组 2、增删改查 增-连接,删-删除整个元组变量,改-不能改,查-访问,切片 3、其他操作 ...
分类:
编程语言 时间:
2020-10-26 10:39:08
阅读次数:
22
scrapy是基于twisted的异步处理框架,与传统的requests爬虫程序执行流程不同,scrapy使用多线程,将发送请求,提取数据,保存数据等操作分别交给Scheduler(调度器),Downloader(下载器),Spider(爬虫),Pipeline(管道)等爬虫“组件”来完成。多线程的 ...
分类:
其他好文 时间:
2020-10-24 10:26:51
阅读次数:
25
Selenium Webdriver概述 Webdriver (Selenium2)是一种用于Web应用程序的自动测试工具,它提供了一套友好的API,与Selenium 1(Selenium-RC)相比,Webdriver 的API更容易理解和使用,其可读性和可维护性也大大提高。Webdriver完 ...
分类:
Web程序 时间:
2020-10-24 10:18:39
阅读次数:
34
定位不到元素的原因:可能是 不可见元素定位原因,某些情况元素的visibility为hidden或者display属性为none,我们在页面看不到但是实际是存在页面的一些元素,这时候用 is_displayed() 来判断 来自 https://www.cnblogs.com/awakenedy/p ...
分类:
编程语言 时间:
2020-10-24 10:15:35
阅读次数:
27
走过路过不要错过,学不会没关系,长点见识也是可以的啦。 简介 博主于17年开始自学的python, 期间做过各个领域的python开发,包括爬虫, web, 硬件, 桌面应用, AI, 数据分析。 很多人学习python,不知道从何学起。很多人学习python,掌握了基本语法过后,不知道在哪里寻找案 ...
分类:
编程语言 时间:
2020-10-24 09:55:19
阅读次数:
29
Python爬虫爬取动态网页 我们经常会遇到直接把网页地址栏中的url传到get请求中无法直接获取到网页的数据的情况,而且右键查看网页源代码也无法看到网页的数据,同时点击第二页、第三页等进行翻页的时候,网页地址栏中的url也没变,这些就是动态网页,例如:http://www.neeq.com.cn/ ...
分类:
编程语言 时间:
2020-10-22 22:21:32
阅读次数:
21
烤串:http://player.youku.com/embed/XMjQ4NzQ2NDEzNg== 小品网站1 小品网站2 等我学了爬虫 ,一定会来下载你们 ...
分类:
Web程序 时间:
2020-10-22 22:20:49
阅读次数:
35
java爬虫系列(二)——爬取动态网页 Mr_OOO 2018-01-01 15:59:40 11440 收藏 11 分类专栏: 爬虫 入门专栏 最简单的java爬虫 文章标签: java 爬虫 seimiagent seimicrawler动态网页 版权 准备工作 项目地址 网页解析工具地址 启动 ...
分类:
编程语言 时间:
2020-10-22 22:20:24
阅读次数:
19
原文地址 在搭建好了python3.6版本或者之上的python环境后; 在dos命令输入 pip install robotframework 在线安装robotframework 在dos命令输入 pip install Pypubsub==3.3.0 在线安装 Pypubsub 在dos命令输 ...
分类:
其他好文 时间:
2020-10-21 20:44:28
阅读次数:
18
什么是多线程 这里就不说什么高深莫测的专业术语了,一句话,在泡澡的同时喝咖啡。也就是说在代码中同时让多个区域的代码或者说函数同时运行以此达到提高效率的目的。 举个例子 很多人学习python,不知道从何学起。很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。很多已经做案例的人,却 ...
分类:
编程语言 时间:
2020-10-19 22:50:50
阅读次数:
25