原理：我的上篇博客 import requests import time from bs4 import BeautifulSoup def get_html(url): ''' 获得 HTML ''' headers = { 'user-agent': 'Mozilla/5.0 (Windows ...
分类：
编程语言 时间：
2019-12-23 13:26:11
阅读次数：
82
一、反爬策略 1、请求头 ——user-agent ——referer ——cookie 2、访问频率限制 ——代理池 ——再用户访问高峰期进行爬取，冲散日志。12-13 7-10 ——设置等待时长。time.sleep(3) 3、ajax异步请求，用接口获取数据 4、能一次性获取的数据，绝不发送第 ...
分类：
编程语言 时间：
2019-12-22 20:24:50
阅读次数：
127
js代码 cookie.js代码如下： php代码 cookie.php代码如下： ...
分类：
Web程序 时间：
2019-12-21 17:06:39
阅读次数：
178
一、 集群配置 实际生产中，需要配置集群，来配合使用。 需要安装插件 SSH Slaves 在主节点中进行配置 。 在Configure Global Security中开启TCP port for JNLP agents 随机选取或指定端口 在agent 中进行设置，可以指定端口，也可以随机端口。 ...
分类：
其他好文 时间：
2019-12-21 13:39:51
阅读次数：
112
一、主题式网络爬虫设计方案（15分） 1.主题式网络爬虫名称 小米官网爬虫手机类型销量爬虫 2.主题式网络爬虫爬取的内容与数据特征分析：小米官网爬虫手机类型价格爬虫 3.主题式网络爬虫设计方案概述（包括实现思路与技术难点） 本次设计方案主要依靠BeautifulSoup库对目标页面进行信息的爬取采集 ...
分类：
编程语言 时间：
2019-12-21 12:04:20
阅读次数：
104
nginx在记录http的body内容时，会将中文转义为16进制 在nginx 1.11.8 以上版本中log_format 增加了escape=json 参数，可以不转义变量内容： ` 参考：https://nginx.org/en/docs/http/ngx_http_log_module.ht ...
分类：
其他好文 时间：
2019-12-20 20:44:52
阅读次数：
160
[易学易懂系列|rustlang语言|零基础|快速入门|（26）|实战3：Http服务器] 项目实战 实战3：Http服务器 我们今天来开发我们的Http服务器。 我们先用命令创建一个工程目录： 我们现在开始在src/main.rs写如下代码： 然后我们直接启动我们的服务器，用命令跑一下： 控制台打 ...
分类：
编程语言 时间：
2019-12-20 18:20:03
阅读次数：
96
将带有WMI WATCH TASK的SSIS包排到sql server agent跑，报异常,这是运行账号权限的问题。 Executed as user: sss. Microsoft (R) SQL Server Execute Package Utility Version 13.0.1601. ...
分类：
数据库 时间：
2019-12-20 16:49:46
阅读次数：
101
1、consul 2、Gateway->Ocelot 3、服务治理 Steeltoe.Discovery.ClientCore 4、缓存 CSRedisCore 5、服务调用 Feign.net 一套 6、日志 NLog 7、接口文档组件 Swashbukle.AspNetCore 8、Skywal ...
分类：
其他好文 时间：
2019-12-20 12:09:44
阅读次数：
92
以两台节点为例来组件Hadoop分布式集群，这里采用的系统版本为Centos7，如下表所示： 主机名 内存 硬盘 IP地址 角色 master 8192MB 100G 192.168.200.131 Ambari-Server Ambari-Agent slave1 4096MB 100G 192. ...
分类：
其他好文 时间：
2019-12-20 01:16:58
阅读次数：
160
