BeautifulSoup4库:和lxml一样,Beautiful Soup也是一个HTML/XML的解析器,主要的功能也是如何解析和提取HTML/XML数据。lxml只会局部遍历,而Beautiful Soup是基于HTML DOM(Document Object Model)的,会载入整个文档, ...
分类:
其他好文 时间:
2021-03-06 14:16:08
阅读次数:
0
1:介绍 requests是一个很实用的Python HTTP客户端库,编写爬虫和测试服务器响应数据时经常会用到, Requests是Python语言的第三方的库,专门用于发送HTTP请求 2:安装 在cmd窗口或者prcharm的命令行输入: pip install requests 3:get的 ...
分类:
其他好文 时间:
2021-03-05 13:03:01
阅读次数:
0
块(Block): 块是上层软件中(操作文件时)使用的最小的操作单元。 就是(操作文件时)一个块一个块进行操作(块的大小格式化时可以设置【如linux、fatfs等等】)。 块(block),概念来自于文件系统,是内核对文件系统数据处理的基本单位,大小为若干个扇区,常见有512B、1KB、4KB等 ...
分类:
其他好文 时间:
2021-03-04 13:23:53
阅读次数:
0
今天无聊,用php封装了一套比较简单的http请求类 细节方面可以再优化 class Creeper { public $url; public $header; public $text; public $responseHeader; public function __construct($u ...
分类:
Web程序 时间:
2021-03-04 13:21:20
阅读次数:
0
数据创建 randint 创建随机整数array。 np.random.randint(10,size=(2,3)) randint(low, high=None, size=None, dtype='l') low为必选参数: 若有low与high,则返回两者之间的数据。[low, high)。 ...
分类:
其他好文 时间:
2021-03-03 12:17:41
阅读次数:
0
新浪财经是金融新闻类数据挖掘很重要的一个数据来源,它的新闻质量一般都很高。在这里使用爬虫的方法来获取新浪财经的一些新闻资讯。 第一步: 打开新浪财经网站 第二步: 搜索‘工商银行’ 第三步: 获取新浪财经里的‘工商银行’的url url = 'https://search.sina.com.cn/? ...
分类:
其他好文 时间:
2021-03-02 11:42:14
阅读次数:
0
一 布隆过滤器简介 bloomfilter:是一个通过多哈希函数映射到一张表的数据结构,能够快速的判断一个元素在一个集合内是否存在,具有很好的空间和时间效率。(典型例子,爬虫url去重) 原理: BloomFilter 会开辟一个m位的bitArray(位数组),开始所有数据全部置 0 。当一个元素 ...
分类:
其他好文 时间:
2021-03-01 13:19:00
阅读次数:
0
一、背景 因为经常有爬虫数据处理的需求,之前一直用的多线程+requests方式爬虫,但是这种方式有两个问题: 1、当请求很多,并发稍微多一点的时候电脑特别卡 2、每次变更请求包,比如post换get,需要用不同的方式解析出header等数据不是很方便 主要基于这两个原因,搞了一个基于socket+ ...
分类:
其他好文 时间:
2021-02-27 13:13:04
阅读次数:
0
也不知道为什么喜欢叫爬虫 搞明白原理之后原来就是解析网页代码获取关键字符串 现在的网页有很多解析出来就是JS了,根本不暴露资源地址 依赖一个JSOUP,其他靠百度CV实现 <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup --> <dep ...
分类:
编程语言 时间:
2021-02-26 13:24:45
阅读次数:
0
为了通过爬虫快速获取网站中的信息,我们通常将第一次爬取的网页中的url形成一个待爬取的列表 为了访问网站以及对网站源代码进行分析,这里使用urllib的request库获取网页源代码,使用lxml库对网页进行结构分析。 首先引用需要的库 import urllib.request import lx ...
分类:
编程语言 时间:
2021-02-26 13:00:47
阅读次数:
0