1、爬虫的基本流程 2、request和response (1)request (2)response 3、怎样抓取数据？ 4、解析方式 5、怎么解决JavaScript渲染问题？ 6、怎样保存数据 ...
分类：
其他好文 时间：
2018-09-13 16:33:13
阅读次数：
115
python发送网络请求是通过模块中的方法来实现的，模块定义好了请求的语法格式，只需要按照相应的语法格式对号入座写代码即可。 一般来说我们测试的都是基于HTTP和HTTPS的网络请求，python有很多自动带的原生模块和扩展模块均可以模拟网络请求。当然我们在实际工作中会遇到很多其他协议请求，如Web ...
分类：
其他好文 时间：
2018-09-13 14:03:37
阅读次数：
143
爬虫系列之第2章-BS和Xpath模块 知识预览 BeautifulSoup xpath BeautifulSoup 一 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： ''' Beautiful Soup提供一些简单的、python ...
分类：
其他好文 时间：
2018-09-12 01:06:32
阅读次数：
350
前言：为什么要学wireshark？工欲善其事必先利其器，wireshark是一款工具软件，主要作用是抓取数据封包，可以帮助我们更加直观更加具象的学习各种网路协议（http、TLS、TCP、UDP、IP、ARP、ICMP等）。学习wireshark能够帮助我们更好的了解网络协议，当然学习好网络协议也 ...
分类：
其他好文 时间：
2018-08-31 19:27:22
阅读次数：
170
参考学习的网站链接http://www.w3school.com.cn/xpath/xpath_intro.asp 首先理清楚一些常识 以此为例 参照HTML的格式其实很多都只是换了一下名字而已还是很好上手的 节点（Node） 基本值（或称原子值，Atomic value） 项目（Item） 项目是 ...
分类：
其他好文 时间：
2018-08-27 14:03:10
阅读次数：
191
用python实现自动玩Npubits的21点游戏 21点的主页面 https:// ( 此处不提供链接，用户直接在网站首页点击21点后，地址栏的链接便是。 ) 需要知道的关键点 （ 写代码时用来抓取数据的关键点 ） 1. 等待开局 若之前的21点还没有结束（暂时没有对手上线），那么不能开局，需等待 ...
分类：
编程语言 时间：
2018-08-23 12:03:39
阅读次数：
226
一、beautifulsoup的简单使用 1. beautifulsoup是python的一个库，最主要的功能是从网页抓取数据。 ''' Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。 它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为 ...
分类：
其他好文 时间：
2018-08-04 17:31:59
阅读次数：
132
1.爬虫的定义 网络爬虫（又称网络蜘蛛）模拟客户端发送网络请求，接收请求响应，自动的进行抓取网络数据的程度。 注意： 网络爬虫在进行抓取数据的时候并不能进行辨别信息真伪（比如某直播平台直播房间显示在线观看人数100w，在这个数量上会有一些是运营商加上去的数据，比如真正在线人数80w运营商再加上去20 ...
分类：
其他好文 时间：
2018-07-31 00:39:26
阅读次数：
159
1.八爪鱼，抓取数据 2.八爪鱼数据导入mysql（navicat连的虚拟机上的），表为an 3.给定mysql的表an自增id 4.开启hadoop，yarn， 5.利用sqoop导入mysql的表an sqoop import --connect jdbc:mysql://192.168.218 ...
分类：
其他好文 时间：
2018-07-28 00:18:50
阅读次数：
167
现在爬虫技术似乎是很容易的事情，但这种看法是很有迷惑性的。开源的库/框架、可视化的爬虫工具以及数据析取工具有很多，从网站抓取数据似乎易如反掌。然而，当你成规模地在网站上抓东西时，事情很快就会变得非常棘手。 私信小编007即可获取数十套PDF哦！ 规模爬取技术为什么重要？ 跟标准的web爬取应用不一样 ...
分类：
Web程序 时间：
2018-07-20 16:48:32
阅读次数：
233
