一、什么是MyCat？ MyCat是一个开源的分布式数据库系统，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问，而其后端可以用MySQL原生协议与多个MySQL服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为N个小表，存储在后端MySQL服务器里或者其他数据库里。MyC
分类：
其他好文 时间：
2018-02-22 10:59:36
阅读次数：
187
关于本文说明，本人原博客地址位于http://blog.csdn.net/qq_37608890，本文来自笔者于2018年02月21日 23:10:04所撰写内容（http://blog.csdn.net/qq_37608890/article/details/79343860）。 本文根据最近学习 ...
分类：
其他好文 时间：
2018-02-22 10:56:31
阅读次数：
343
Zookeeper为分布式环境提供灵活的协调基础架构。ZooKeeper框架支持许多当今最好的工业应用程序。我们将在本章中讨论ZooKeeper的一些最显着的应用。 雅虎 ZooKeeper框架最初是在“Yahoo!”中构建的。设计良好的分布式应用程序需要满足诸如数据透明度，更好的性能，稳健性，集中 ...
分类：
其他好文 时间：
2018-02-22 10:52:42
阅读次数：
137
现代信息系统应该是避不开大数据处理的。作为一个通用的系统集成工具也必须具备大数据存储和读取能力。cassandra是一种分布式的数据库，具备了分布式数据库高可用性（high-availability）特性，对于一个实时大型分布式集成系统来说是核心支柱。与传统的关系数据库对比，cassandra从数据 ...
分类：
数据库 时间：
2018-02-22 10:51:24
阅读次数：
245
大数据平台是为了计算，现今社会所产生的越来越大的数据量，以存储、运算、展现作为目的的平台。大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。 —— ...
分类：
其他好文 时间：
2018-02-21 21:05:49
阅读次数：
178
Git是分布式的版本控制系统。 作为一名Git的小白使用者，一开始接触很懵逼，因为总担心自己一不小心误操作影响代码仓库的代码，网络上关于Git的使用多从开发的角度，很少有人从测试的角度来介绍Git的使用，下面就把自己这段时间的学习做一个简单的总结，算是抛砖引玉吧~ 【新系统刚搭建完测试环境】 在这种 ...
分类：
其他好文 时间：
2018-02-21 18:41:18
阅读次数：
139
一致性算法 是分布式系统中最重要的问题之一。表面上看，这似乎很简单，只是让几个节点在某些方面达成一致。在本篇之中，会带大家完整的梳理分布式系统之中的共识算法，来更加深刻的理解分布式系统的设计。 1.原子提交和两阶段提交（2PC） 原子提交防止了数据库处于半更新的状态，这对于需要满足多对象事务和维护次 ...
分类：
移动开发 时间：
2018-02-21 18:39:26
阅读次数：
226
现在我们现在一个分机上引入一个SCRAPY的爬虫项目，要求数据存储在MONGODB中 现在我们需要在SETTING.PY设置我们的爬虫文件 再添加PIPELINE 注释掉的原因是爬虫执行完后，和本地存储完毕还需要向主机进行存储会给主机造成压力 设置完这些后，在MASTER主机开启REDIS服务，将代 ...
分类：
编程语言 时间：
2018-02-21 16:36:23
阅读次数：
214
一. 什么是RESTful REST与技术无关，代表的是一种软件架构风格，REST是Representational State Transfer的简称，中文翻译为“表征状态转移” REST从资源的角度类审视整个网络，它将分布在网络中某个节点的资源通过URL进行标识，客户端应用通过URL来获取资源的 ...
之前我们的爬虫都是单机爬取，也是单机维护REQUEST队列， 看一下单机的流程图： 一台主机控制一个队列，现在我要把它放在多机执行，会产生一个事情就是做重复的爬取，毫无意义，所以分布式爬虫的第一个难点出来了，共享请求队列，看一下架构： 三台主机由一个队列控制，意味着还需要一个主机来控制队列，我们一般 ...
分类：
编程语言 时间：
2018-02-21 15:48:14
阅读次数：
218
