首先要下载相应的库 gevent协程库：pip install gevent selenium模拟浏览器访问库：pip install selenium selenium库相应驱动配置 https://www.cnblogs.com/Niuxingyu/p/10490882.html ...
分类：
Web程序 时间：
2019-03-11 13:38:16
阅读次数：
280
一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 一般是用urllib 库 爬取图片比 ...
分类：
Web程序 时间：
2019-03-03 12:22:08
阅读次数：
218
一 . requests模块的学习 什么是requests模块 ? requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。 为什么要使用requests模块 因为在使用urllib模块的时候，会有诸 ...
分类：
其他好文 时间：
2019-03-03 00:01:12
阅读次数：
253
本文将业务场景中最常用的几点实例，给大家列举出来，不常见的不再一一赘述。 使用urllib库可以模拟浏览器发送请求获得服务器返回的数据，下一步就是把有用的数据提取出来。数据分为两种形式：结构化和非结构化。 非结构化的数据一般指的是文本和HTML。文本的内容特别的杂乱，比如有电话号码，邮箱等信息，只能 ...
分类：
其他好文 时间：
2019-02-18 16:11:37
阅读次数：
212
写爬虫并不是使用Selenium + webdriver就万事大吉了。一行js代码就能识别Selenium+webdriver。本文给出了应对方案。 ...
分类：
Web程序 时间：
2019-02-12 22:00:05
阅读次数：
266
url：统一资源定位符 网址，a链接，可以根据url获取指定的数据 聚焦爬虫：根据特定的需求，从网上把数据去下来 爬虫实现的思路： 网页的特点：每个网页有自己的url 网页是由HTML组成的 网页传输的时候使用http和https协议 爬取的思路： 使用一个url 写python代码，模拟浏览器发送 ...
分类：
其他好文 时间：
2019-02-11 21:25:46
阅读次数：
222
爬虫是什么？如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）爬到本地，进而提取自己需要的数据，存放起来使用；基本环境配置版本：Python3系统：W
分类：
编程语言 时间：
2019-02-01 12:21:54
阅读次数：
244
引入 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 官网：http://selen ...
分类：
其他好文 时间：
2019-01-26 16:20:49
阅读次数：
223
一、urllib库 urllib是python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在python3中的为urllib.request和urllib.parse,在python2中是urllib和urllib2. 二、由易到难的爬虫程序： 1.爬取百 ...
分类：
编程语言 时间：
2019-01-24 20:13:12
阅读次数：
196
什么是爬虫 什么是爬虫 爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。 哪些语言可以实现爬虫 哪些语言可以实现爬虫 1.php：可以实现爬虫。但是php在实现爬虫中支持多线程和多进程方面做得不好。 2.java：可以实现爬虫。java可以非常好的处理和实现爬虫，是唯一可以与p ...
分类：
编程语言 时间：
2019-01-24 16:32:02
阅读次数：
208
