原文:Redis集群随着大型网站数据量和对系统可用性要求的提升，单机版的Redis越来越难以满足需要，因此我们需要使用Redis集群来提供服务。 目前主流的Redis集群解决方案有三类，它们都是通过将key分散到不同的redis实例上来提高整体能力, 这种方法称为分片(sharding): 服务端分... ...
分类：
其他好文 时间：
2019-04-08 22:56:58
阅读次数：
211
<! flowchart 箭头图标 勿删 方法1. 之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。 经验如下： 1.IP必须需要，像@alswl 说的非常正确，ADSL。如果有条件，其实可以跟机房多申请外网IP。 2.在有外网IP的机器上，部署代理服务器。 3.你的程序，使 ...
分类：
Web程序 时间：
2019-01-03 10:59:55
阅读次数：
198
“人在江湖飘，哪能不挨刀。”话糙理不糙，在我们酣畅淋漓地使用爬虫抓取数据为我们所用的时候，却也能难免遇到强敌，IP遭到封锁，爬虫被反。那么万一不行，IP被封了，有什么方法来解呢？当然有，还很多。方法1.之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。经验如下：IP必须有，可以直接使用成熟的代理IP服务商，类似像太阳HTTP代理这种。好处：1.程序逻辑变化小，只需要代理功能。
分类：
其他好文 时间：
2018-11-12 19:51:28
阅读次数：
144
【芝麻HTTP】我们在爬虫的时候经常会出现IP被封的情况，除了大家都知道的使用代理IP，还有什么方法呢？方法一之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。经验如下：需要大量IP时，可以直接使用成熟的代理IP服务商。芝麻HTTP就是一个很好的选择，更多可到官网咨询http://h.zhimaruanjian.com/好处：1.程序逻辑变化小，只需要代理功能。2.根据对方网
分类：
其他好文 时间：
2018-11-08 18:32:43
阅读次数：
161
【芝麻HTTP】我们在爬虫的时候经常会出现IP被封的情况，除了大家都知道的使用代理IP，还有什么方法呢？方法一之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。经验如下：需要大量IP时，可以直接使用成熟的代理IP服务商。芝麻HTTP就是一个很好的选择，更多可到官网咨询http://h.zhimaruanjian.com/好处：1.程序逻辑变化小，只需要代理功能。2.根据对方网
分类：
其他好文 时间：
2018-11-08 18:21:06
阅读次数：
244
一个成熟的大型网站(如淘宝、京东等)的系统架构需要考虑诸多复杂的因素，因为像淘宝这种大型网站数据量比一般的网站要大的多，所以在设计架构方面也要复杂的多，既要考虑成本因素也要考虑访问速度安全性等。这里我简单的对淘宝的网站系统架构进行一个简单的分析。 淘宝作为一个大型购物网站，其数据量是很大的，所以不像 ...
分类：
其他好文 时间：
2016-04-09 22:01:59
阅读次数：
361
一个成熟的大型网站(如淘宝、京东等)的系统架构需要考虑诸多复杂的因素，因为像淘宝这种大型网站数据量比一般的网站要大的多，所以在设计架构方面也要复杂的多，既要考虑成本因素也要考虑访问速度安全性等。这里我简单的对淘宝的网站系统架构进行一个简单的分析。 淘宝作为一个大型购物网站，其数据量是很大的，所以不像 ...
分类：
数据库 时间：
2016-03-26 20:08:37
阅读次数：
276
方法1. 之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。 3.就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。 方法2. 有小部分网站的防范措施比较弱，可以伪装下IP，修改X-Forwarded-for（貌似这么拼。。。）即可绕过。大部分网站么，
分类：
其他好文 时间：
2016-03-14 11:54:37
阅读次数：
223
对于大型网站系统而言，有三个难以逾越的难题：1、数据资源已近乎等同生存资本，如何保障网站数据不丢失？2、网站业务停服带来巨大经济损失，如何构建多级高可用？3、高并发流量带来的系统压力激增，系统如何应对？阿里云云数据库RDS沉淀阿里巴巴集团多年数据库技术，深耕各行..
分类：
数据库 时间：
2016-01-18 12:24:15
阅读次数：
216
分片是在大型网站数据库设计中经常会用到的解决方法，本文尝试给出一种用PHP实现的设计方案，shard_id的结构是64bit，10bit sharid系统+10bit为类型id+10子类型id+34bit自增id。关于分片设计的更多知识请参考我的...
分类：
数据库 时间：
2015-08-30 16:04:56
阅读次数：
256
