import reimport requestsimport timeimport randomfrom selenium import webdriverfrom tools.headers import headersfor item in range(1, 100): time.sleep(r ...
分类：
其他好文 时间：
2021-06-11 17:47:01
阅读次数：
0
使用的库 bs4 requests pymongo fastapi uvicorn 爬取ip 网络上搜索一下有很多提供HTTP代理的网站，直接使用BeautifulSoup将IP爬下来。 html =requests.get(url).text bs =BeautifulSoup(html,'htm ...
分类：
编程语言 时间：
2020-12-02 12:09:56
阅读次数：
6
H3C交换机，路由器DHCP配置 1，开启dhcp服务 1 [H3C]dhcp enable 2 [H3C]dhcp server ip-pool 10 #创建地址池abc 3 [H3C-dhcp-pool-10]network 10.10.1.1 24 #配置地址池网段 4 [H3C-dhcp-p ...
分类：
其他好文 时间：
2020-11-06 01:22:11
阅读次数：
22
前言 随着大型网站反扒机制的增强，更改IP登陆已经成为一种最高效的方式，为此打造一款超强IP池项目，采用最新最快的Python技术——异步（Async ）。编写了一个免费的异步爬虫代理池，以 Python asyncio 为基础，充分利用 Python 的异步性能，异步处理比同步处理能提升成百上千倍 ...
分类：
其他好文 时间：
2020-08-15 23:56:25
阅读次数：
119
之前去反馈希望KVM也加上共享ip功能，没想到这么快就系统更新迭代了，效率真快！以下为ZKEYS公有云管理系统更新的新功能体验报告。1.hyper-v共享IP功能新增：hyper-v支持共享IP功能，需配合ZKEYS端口转发控制器使用。hyper-v新增支持共享IP功能，支持同一IP多台使用，彼此之间的通信互不影响，帮助IDC厂商节约IP资源，降低成本。2.hyper-v和kvm支持线路IP池功能
分类：
其他好文 时间：
2020-06-03 12:09:50
阅读次数：
82
在互联网经济快速发展的请况下，我们也迎来了大数据时代，工作中使用到爬虫的工作者也随之轻松起来。但是，我们在进行爬虫工作的时候，时常会受到某些网站的反爬虫机制的限制。因为我们在进行数据采集的时候采集的速度过快，给对方的服务器造成太大的压力，可想而知对方会知道我们是爬虫，这就会导致我们的ip被封。 如果 ...
分类：
其他好文 时间：
2020-05-21 15:58:45
阅读次数：
82
爬取思想流程 最近两天写爬虫比较多, 总结一下书写爬虫的思路步骤. 获取url. 浏览器打开. 如果无法直接打开, 则判断哪里有验证,根据平台修改User Agent等请求头. 信息页面路径上是否有所验证. 登录验证, IP验证. 有则一一解决. 登录验证 登录验证主要分两种: 图片验证: 抓下图片 ...
分类：
其他好文 时间：
2020-03-27 09:14:41
阅读次数：
98
大数据时代，营销推广的主要依据就是大数据：根据大数据去抓取用户习惯，去抓取竞争对手的信息，却或许同类产品的相关资料等等。数据采集推动着数据分析，数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例，过程中就会面临，IP被封，爬取受限、违法操作等多种问题，所以在爬去数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题。我们都知道如果一个
分类：
其他好文 时间：
2020-03-25 19:18:27
阅读次数：
79
现代技术的发达，网络媒体比其他的任何媒体的可最追溯性更强。但即使这样，仍然不可能追踪所有的事情。那怎么样保证能够追踪成功呢？在做内容营销并决定开展任何一项行动或者采取一项措施之前，你应该问自己一个简单的问题：怎么衡量成功？总有人觉得这个问题很简单，当然作为已经开始深入探讨的营销人员又觉得这个问题很难，因为这是一个数字游戏，但我们在探讨的是什么数字？对于这个问题，常见但无效的答案通常都是这样的：形成
分类：
Web程序 时间：
2020-03-21 23:14:39
阅读次数：
98
爬虫的一些日常分享（反-反爬虫的一些tips）:
随机的请求头、请求延时和代理ip池的搭建
...
分类：
其他好文 时间：
2020-02-11 19:31:51
阅读次数：
93
