一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume style Push based ...
分类：
Web程序 时间：
2019-08-15 09:24:53
阅读次数：
106
1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件，提交给HDFS的 （用以存放文件目录树，权限设置，副本数设置等 ...
分类：
其他好文 时间：
2019-08-13 17:25:04
阅读次数：
89
在大规模的Linux应用环境中，比如Web群集、分布式计算等，服务器往往并不配备光驱设备，在这种情况下，如何给成百上千台服务器裸机快速安装系统呢？传统的USB光驱、移动硬盘等安装方式很显然已经力不从心了，那么就需要——PXE网络装机及无人值守安装。PXE网络装机及无人值守安装可以实现的功能有：1.规模化：同时装配多台服务器；2.自动化：安装系统、配置各种服务；3.远程实现：不需要光盘、U盘等安装介
分类：
其他好文 时间：
2019-08-13 10:35:15
阅读次数：
160
hadoop(一HDFS) 介绍 狭义上来说: hadoop指的是以下的三大系统: HDFS ：分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)MapReduce : 分布式计算系统Yarn：分布式样集群资源管理 但是hadoop可不止这三个系统 广义上来说: hadoop指的是大数据的一个 ...
分类：
其他好文 时间：
2019-08-13 00:44:13
阅读次数：
88
《Java编程思想》 《大话设计模式》 《重构 改善既有代码的设计》 《effective java》 《深入理解Java虚拟机》 《Java并发编程实战》 另辟蹊径，找一个方向深入研究下去，以期在将来，你能够成为这个领域的专家，比如分布式计算领域的专家，大数据领域的专家，并发领域的专家等等。另外， ...
分类：
编程语言 时间：
2019-08-09 01:53:03
阅读次数：
153
时间问题：由于厂商的不同，导致时钟的时间偏差也不同。在长期的使用过程中，时钟的时间会有慢慢和其他时间发生偏差的情况，这就是常说的 “时钟漂移” 或 “时间漂移”。需求环境：大数据系统是对时间敏感的计算处理系统，时间同步是大数据能够得到正确处理的基础保障，是大数据得以发挥作用的技术支撑。公司服务器也需 ...
分类：
其他好文 时间：
2019-08-02 15:00:19
阅读次数：
193
CAP理论 2000年7月，Eric Brewer教授提出CAP猜想；2年后，Seth Gilbert和Nancy Lynch从理论上证明了CAP；之后，CAP理论正式成为分布式计算领域的公认定理。 CAP定律说的是在一个分布式计算机系统中，一致性，可用性和分区容错性这三种保证无法同时得到满足，最多 ...
分类：
其他好文 时间：
2019-07-31 22:07:13
阅读次数：
129
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各类技术。本文整理出了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用
分类：
其他好文 时间：
2019-07-25 12:17:08
阅读次数：
106
MapReduce：分布式计算框架，用来分解大数据量的处理 Map阶段对数据集上的独立元素进行指定的操作，生成键值对形成中间结果，Reduce阶段对中间结果中相同的键的所有值进行规约，以得到最终的结果。 优点： 1）易于编程：简单的实现一些接口 2）可扩展性当计算资源不足时，通过增加机器可以扩展他的 ...
分类：
其他好文 时间：
2019-07-25 00:30:32
阅读次数：
124
Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce明显的缺陷，但是二者也有不少的差异具体如下： 1、spark把运算的中间数据存放在内存，迭代计算效率更高；mapreduce的中间结果需要落地，需要保存到磁盘，这样必然会有磁盘io操做，影响 ...
分类：
其他好文 时间：
2019-07-22 20:04:25
阅读次数：
397
