新浪财经是金融新闻类数据挖掘很重要的一个数据来源，它的新闻质量一般都很高。在这里使用爬虫的方法来获取新浪财经的一些新闻资讯。 第一步： 打开新浪财经网站 第二步： 搜索‘工商银行’ 第三步： 获取新浪财经里的‘工商银行’的url url = 'https://search.sina.com.cn/? ...
分类：
其他好文 时间：
2021-03-02 11:42:14
阅读次数：
0
一 布隆过滤器简介 bloomfilter：是一个通过多哈希函数映射到一张表的数据结构，能够快速的判断一个元素在一个集合内是否存在，具有很好的空间和时间效率。（典型例子，爬虫url去重） 原理： BloomFilter 会开辟一个m位的bitArray(位数组)，开始所有数据全部置 0 。当一个元素 ...
分类：
其他好文 时间：
2021-03-01 13:19:00
阅读次数：
0
一、背景 因为经常有爬虫数据处理的需求，之前一直用的多线程+requests方式爬虫，但是这种方式有两个问题： 1、当请求很多，并发稍微多一点的时候电脑特别卡 2、每次变更请求包，比如post换get，需要用不同的方式解析出header等数据不是很方便 主要基于这两个原因，搞了一个基于socket+ ...
分类：
其他好文 时间：
2021-02-27 13:13:04
阅读次数：
0
也不知道为什么喜欢叫爬虫 搞明白原理之后原来就是解析网页代码获取关键字符串 现在的网页有很多解析出来就是JS了，根本不暴露资源地址 依赖一个JSOUP，其他靠百度CV实现 <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup --> <dep ...
分类：
编程语言 时间：
2021-02-26 13:24:45
阅读次数：
0
为了通过爬虫快速获取网站中的信息，我们通常将第一次爬取的网页中的url形成一个待爬取的列表 为了访问网站以及对网站源代码进行分析，这里使用urllib的request库获取网页源代码，使用lxml库对网页进行结构分析。 首先引用需要的库 import urllib.request import lx ...
分类：
编程语言 时间：
2021-02-26 13:00:47
阅读次数：
0
读取节点文本值和，属性值 # -*- coding: UTF-8 -*- from xml.dom import minidom dom=minidom.parse('F:\\python_project\\爬虫\\双色球\\shuangseqiu.xml') root=dom.documentEl ...
分类：
编程语言 时间：
2021-02-24 13:10:12
阅读次数：
0
arr = ["http://music.163.com/song/media/outer/url?id=1820550501.mp3", "http://music.163.com/song/media/outer/url?id=1820550501.mp3", "http://music.163 ...
分类：
编程语言 时间：
2021-02-20 11:52:43
阅读次数：
0
import requests import re import os import json import time as t class QQmusic(): """代码仅供学习""" def __init__(self): """初始化""" self.headers = { 'Accept- ...
分类：
其他好文 时间：
2021-02-15 12:44:00
阅读次数：
0
在进行爬虫的过程当中，我们经常会遇到被封IP的情况，因此我们可以搜集一些代理IP，然后使用程序去测试哪些代理IP是可用的,我在这里使用了请求如下网站的方法： http://icanhazip.com/ 请求这个网站之后，如果请求成功，没有遇到异常，就会返回当前你请求这个网站的IP地址。同时保存到一个 ...
分类：
编程语言 时间：
2021-02-09 12:20:54
阅读次数：
0
爬虫最近搞不懂动了 为了毕设，开始弄一下树莓派 为了图方便，先摸了摸scratch图形编程，虽然自己也会C++和Python。 有图形编程在前，后面的就很好理解了，先开第一章，努力写好树莓派和传感器的日志（不敢说教程，太菜了）。 嵌入式第一条！针脚定义要知道 针脚定义图： C++用得wiringPi ...
分类：
编程语言 时间：
2021-02-08 12:17:46
阅读次数：
0
