Redis 集群简介 "Redis Cluster" 即 Redis 集群，是 Redis 官方在 3.0 版本推出的一套分布式存储方案。完全去中心化，由多个节点组成，所有节点彼此互联。Redis 客户端可以直接连接任何一节点获取集群中的键值对，不需要中间代理，如果该节点不存在用户所指定的键值，其内 ...
分类：
其他好文 时间：
2019-03-15 14:22:31
阅读次数：
175
分布式： 1.分布式环境的特点： 分布性：多台机器位置不同，但是相互协同做某一件事情。 并发性：程序运行过程中，并发性操作是很长见的。比如：同一个分布式系统中的多个节点，同时访问一个共享资源。（数据库，分布式存储） 无序性：进程之间的消息通信，会出现顺序不一致问题。 2.分布式环境下面临的问题： 网 ...
分类：
其他好文 时间：
2019-03-12 22:37:36
阅读次数：
193
什么是ETCD 随着CoreOS和Kubernetes等项目在开源社区日益火热，它们项目中都用到的etcd组件作为一个高可用、强一致性的服务发现存储仓库，渐渐为开发人员所关注。 在云计算时代，如何让服务快速透明地接入到计算集群中，如何让共享配置信息快速被集群中的所有机器发现， 更为重要的是，如何构建 ...
分类：
Web程序 时间：
2019-03-10 09:39:25
阅读次数：
1380
ELK = ElasticSearch + Logstash + Kibana Elasticsearch：后台分布式存储以及全文检索 Logstash : 日志加工、“搬运工” Kibana : 数据可视化展示 ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。 三者相互 ...
分类：
其他好文 时间：
2019-03-08 17:16:03
阅读次数：
176
我们老板理解的大数据是，从数据到知识的转化。大数据目前的应用如 支付宝金融大数据、腾讯出行大数据等。 大数据的工作就是从海量数据源中筛选，梳理对自己有用的数据，整合成合适的数据结构，存储并进行可视化。 大数据目前的代表框架是Hadoop和spark 大数据涉及到的技包括数据分布式存储、数据分布式计算 ...
分类：
其他好文 时间：
2019-03-02 10:25:13
阅读次数：
182
分布式存储已经研究很多年，但直到近年来，伴随着谷歌、亚马逊和阿里等互联网公司云计算和大数据应用的兴起，它才大规模应用到工程实践中。如谷歌的分布式文件系统GFS、分布式表格系统googleBigtable，亚马逊的对象存储AWS，阿里的TFS等都是很好的代表，同时也催生了一大批优秀的开源分布式存储系统，包括ceph、swift、Lustre和glusterfs等。分布式存储系统分布式存储按其存储接口
分类：
其他好文 时间：
2019-02-27 20:41:33
阅读次数：
235
因业务需要部署分布式存储，新分配了三台RHE机器，在部署安装MFS时，make阶段出现以下错误提示：错误提示：CDPATH="${ZSH_VERSION+.}:"&&cd.&&/bin/sh/home/agssvYX/moosefs-3.0/moosefs-3.0/missingaclocal-1.15-Im4/home/agssvYX/moosefs-3.0/mo
分类：
系统相关 时间：
2019-02-26 19:42:32
阅读次数：
673
Zookeeper在Hadoop的HA中的应用 非HA的弊端： HDFS集群的分布式存储是靠namenode节点（namenode负责响应客户端请求）来实现。在非HA集群中一旦namenode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致HDFS服务的可靠性不高，这在实际应用场景中显然 ...
分类：
其他好文 时间：
2019-02-22 23:17:22
阅读次数：
178
普通事务和分布式事务的区别： 普通事务就是一般所说的数据库事务，事务是数据库管理系统执行过程中的一个逻辑单位，由一个有限的数据库操作序列构成。当事务被提交给了DBMS（数据库管理系统），则DBMS（数据库管理系统）需要确保该事务中的所有操作都成功完成且其结果被永久保存在数据库中，如果事务中有的操作没 ...
分类：
其他好文 时间：
2019-02-11 17:09:13
阅读次数：
192
分布式存储中常见的一项技术就是 ：分布式哈希表。它是哈希表的分布式的扩展，就是在多台机器的情况下，每个机器只存储一些数据，如何通过 哈希方式 对 数据 进行增，删，改，查等一些数据操作。 一致性哈希算法就是其中的一种实现方式。 上图是表示长度为5的二进制数值的 一致性哈希算法 的环状序列 的示意图 ...
分类：
其他好文 时间：
2019-02-02 01:02:23
阅读次数：
218
