群集的负载调度技术有三种工作模式
地址转换
IP隧道
直接路由
分类：
其他好文 时间：
2019-04-04 11:17:05
阅读次数：
155
Active-Standby 1、作用：提供设备冗余 2、物理概念：primary 和 secondary ，需要命令敲得，角色不会切换， 3、虚拟概念：active和standby ，需要选举，角色可以切换。 4、LAN-FO ： 专门一个接口做心跳线，同步配置信息，切换的时候交换IP和MAC，健 ...
分类：
其他好文 时间：
2019-03-06 13:31:33
阅读次数：
305
1.Scrapy框架介绍 写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率 ...
分类：
其他好文 时间：
2019-02-24 18:39:27
阅读次数：
222
Net Address Translation 网络地址转换 IP地址 私网IP：nat技术将私网IP转换公网IP 公网IP： iptables nat表：三条链 主要用PREROUTING，POSTROUTING 动作： -j SNAT ？ -j MASQUERADE 转换数据包中的源IP地址 - ...
分类：
其他好文 时间：
2019-02-12 18:34:54
阅读次数：
235
新闻爬虫系统架构： Zookeeper master：发布爬取任务 监控爬虫子节点存活性 宕机时重启 Kafka：分布式消费队列 Ip-pool：动态更换Ip 反防爬 Extraction service：抽取规则服务器 disruptor：lock free用于快速消费任务 ...
分类：
其他好文 时间：
2019-02-04 14:04:07
阅读次数：
239
Ipython修改为python3解释器： ...
分类：
编程语言 时间：
2019-01-16 22:49:52
阅读次数：
241
随着互联网的不断兴起，传统的渠道营销效果也在逐步的下降，很多企业在这样的趋势下都选择了网络营销，以扩大企业在市场上的影响，达到销售的目的。当然，在互联网兴起的大时代之下，口碑效应也成为消费者逐步信赖的隐形工具，如果你的产品能给人带来很好的体验，那么消费者还是很乐意买单的。 古人有云：酒香不怕巷子深。 ...
分类：
其他好文 时间：
2019-01-15 14:03:50
阅读次数：
201
（1）从名字分析 从“ip分组交换”这个名字中，我们看看涉及哪些事情。 1）交换 主要涉及两类交换。 · 交换机：负责网内部数据交换 · 路由器：负责网间的数据交换。 ip分组交换技术的核心就是路由器的网间数据交换。 事实上，“ip分组交换”中的交换二字，重点指的是路由器实现的网间交换。在实现网间交 ...
分类：
其他好文 时间：
2019-01-13 11:02:13
阅读次数：
215
动态ip代理：反网络爬虫之设置User-Agent的常规方法爬虫过程中的反爬措施非常重要，其中设置随机User-Agent是一项重要的反爬措施。常规情况，比较方便的方法是利用fake_useragent包，这个包内置大量的UA可以随机替换，这比自己去搜集罗列要方便很多，下面来看一下如何操作。1.首先，安装好fake_useragent包，一行代码搞定：2.可以测试一下3.这里，使用了ua.rand
分类：
其他好文 时间：
2019-01-10 15:37:57
阅读次数：
193
网络爬虫的不一样爬取策略，就是运用不一样的方法来确认待爬取URL队列中URL优先性序列的。 网络爬虫的爬取策略有很多种，但不论方法如何，其基本目标一致：优先性选取重要网页进行爬取。 宽度优先性遍历策略(BreathFirst) “将新下载网页包含的链接直接追加到待爬取URL队列末尾”，这就是宽度优先性遍历的思想。也就是说，这种方法并没有明确提出和使用网页重要性衡量标准，只是机械地将新下载
分类：
其他好文 时间：
2019-01-09 16:11:09
阅读次数：
229
