ES为什么要实现集群 在单台ES服务器节点上，随着业务量的发展索引文件慢慢增多，会影响到效率和内存存储问题等。 如果使用ES集群，会将单台服务器节点的索引文件使用分片技术，分布式的存放在多个不同的物理机器上，从而可以实现高可用、容错性等。 es核心存放的是索引。 什么是分片技术 将数据拆分成多台节点 ...
分类：
其他好文 时间：
2020-02-27 20:35:52
阅读次数：
54
HDFS简介 HDFS的运用非常广泛，基本上很多大数据平台大部分都会选用HDFS（或者类似HDFS）这样的分布式文件系统、来作为海量数据存储的一个解决方案。 优缺点 优势 1. 高容错性，HDFS提供了非常好的“副本冗余机制”，简单来说就是一份数据在HDFS当中存放，包含它自身在内至少会有（默认） ...
分类：
其他好文 时间：
2020-02-25 19:49:39
阅读次数：
69
CAP的定义 C: Consistency，一致性，指的是所有节点在同一时刻的数据是相同的 A: Available，可用性，指的是系统提供的服务一直处于可用状态 P:Partition tolerance，分区容错性，指分布式系统在遇到网络分区的情况下，仍然能响应用户的请求 CAP理论指的是在分布 ...
分类：
其他好文 时间：
2020-02-17 01:00:13
阅读次数：
72
1. python解析器执行程序时，如果触发了异常，且异常没有被处理，程序就在当前异常处终止运行，抛出异常，后面的代码不会被运行，故要一种异常处理机制来增加程序的健壮性与容错性； 2. 使用try...except处理异常 1> try是正常逻辑业务功能代码； 2> except 捕获异常代码发生的 ...
分类：
编程语言 时间：
2020-02-16 14:44:59
阅读次数：
74
1、基本概念 Apache Storm是一个免费、开源的分布式实时计算系统。使用它可以轻松实现数据流的实时处理。Strom处理数据快速，基准时钟在超过一百万元组每秒处理的每个节点。易于设置和操作，具有可扩展性、容错性，保证了数据的处理能力。Storm主要用于实时在线分析，机器学习，连续计算，分布式R ...
分类：
其他好文 时间：
2020-02-14 18:48:25
阅读次数：
73
CAP定理： 在一个分布式系统中，Consistency（数据一致性）、 Availability（服务可用性）、Partition tolerance（分区容错性），三者不可兼得。 一致性(Consistency) 在分布式系统中的所有数据备份（副本），在同一时刻数据的值是否一致。（等同于所有节点 ...
分类：
其他好文 时间：
2020-02-13 19:04:50
阅读次数：
60
摘要：Hadoop是一个由Apache基金会所开发的分布式基础架构，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算，特点是：高可靠性，高扩展性，高效性，高容错性。l ...
分类：
其他好文 时间：
2020-02-13 10:12:16
阅读次数：
64
一般，分布式系统需要支持以下特性： 资源共享 开放性 并发性 可伸缩性 容错性 透明性 下面分别讨论。 容易理解的 资源共享 一旦授权，可以访问环境中的任何资源 资源：包括硬件(e.g. printer, scanner, camera)、软件（服务）、数据(file, database, web ...
分类：
编程语言 时间：
2020-02-10 11:28:27
阅读次数：
70
1、Hadoop概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high ...
分类：
其他好文 时间：
2020-02-10 09:50:14
阅读次数：
58
2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS（分布式文件系统） Mapreduce（分布式计算框架） map函数 Reduce （函数） YAR ...
分类：
其他好文 时间：
2020-02-02 21:55:13
阅读次数：
73
