这个案例主要是在乌托家网站上爬取家具公司的数据，用的方法是requests模块和xpath语法。代码如下： ...
分类：
编程语言 时间：
2019-05-31 01:23:42
阅读次数：
138
是不是有好多的小伙伴跟好久好久以前的小编一样，看一个电影充个会员，这个没关系，最主要的是，充一个平台的VIP还不行得有好几个才可以。 ...
分类：
编程语言 时间：
2019-05-29 09:22:02
阅读次数：
942
1、从酷狗网站爬取 新歌首发的新歌名字、播放时长、链接等 2、sohu网站首页 爬取包含"体育"2个字的链接 3、使用代理服务器 发送请求 4、Srapy 爬虫框架 ...
分类：
编程语言 时间：
2019-05-26 12:51:51
阅读次数：
255
接上文再继续我们的爬虫，这次我们来述说Urllib库 1，什么是Urllib库 Urllib库是python内置的HTTP请求库 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparse robots ...
分类：
编程语言 时间：
2019-05-26 09:25:57
阅读次数：
142
爬虫可以简单分为三步骤：请求数据、解析数据和存储数据 。主要的一些工具如下： 请求相关 request 一个阻塞式http请求库。 Selenium Selenium是一个自动化测试工具，可以驱动浏览器执行特定的动作，如点击，下拉等操作。对于一些javascript渲染的页面，这种抓取方式非常有效。 ...
分类：
编程语言 时间：
2019-05-26 00:29:21
阅读次数：
135
磨刀不误砍柴工！都知道工欲善其事必先利其器，那么作为经常要和各大网站做拉锯战的爬虫工程师们，更需要利用利用好身边的一切法器，才能更快的攻破对方防线。这里以日常爬虫流程，给大家介绍十款爬虫工具，相信大家掌握以后，工作效率提高是完全没有问题了！ ...
分类：
编程语言 时间：
2019-05-24 12:49:50
阅读次数：
170
一、python 连接测试URL 其中，最常用的是get方法，它能够获得url的请求，并返回一个response对象作为响应。有了响应对象，就能为所欲为了，你觉得呢 ^x^ 5. 好了，我们开工 >>> ① 导入库 from requests import get ② 设定url, 并使用get方法 ...
分类：
编程语言 时间：
2019-05-23 13:12:08
阅读次数：
114
一、python 连接测试URL 一、python 连接测试URL 运行环境： python3.7 win7x64 使用工具： VS Code python 第三方库： requests (自行安装 >>> cmd >pip install requests, 具体不做介绍) requests 库简 ...
分类：
编程语言 时间：
2019-05-22 23:47:20
阅读次数：
144
一、python 连接测试URL 其中，最常用的是get方法，它能够获得url的请求，并返回一个response对象作为响应。有了响应对象，就能为所欲为了，你觉得呢 ^x^ 5. 好了，我们开工 >>> ① 导入库 ② 设定url, 并使用get方法请求页面得到响应 运行结果： 获得响应的状态码： ...
分类：
编程语言 时间：
2019-05-22 19:02:05
阅读次数：
134
import requests as app from lxml import etree header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Geck... ...
分类：
编程语言 时间：
2019-05-20 17:00:24
阅读次数：
123
