Hadoop 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yam只负责资源的调度,MapReduce只负责运算。 Hadoop运行模式 本地模式、伪模式以及完全分布式模式。 3.格式化 只能格式化 ...
分类：
其他好文 时间：
2020-07-26 23:02:06
阅读次数：
67
HDFS概述 HDFS产出背景及定义 HDFS优缺点 HDFS组成架构 HDFS文件块大小（面试重点） MapReduce概述 MapReduce定义 MapReduce优缺点 优点 缺点 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发 ...
分类：
其他好文 时间：
2020-07-26 23:01:30
阅读次数：
83
Hadoop是什么？1.hadoop是一个由Apache基金会所开发的分布式系统基础架构。2.主要解决，海量数据的储存和海量数据的分析计算问题。3.广义来说，hadoop通常是指一个更广泛的概念 Hadoop生态圈。 Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、 ...
分类：
其他好文 时间：
2020-07-26 22:58:58
阅读次数：
69
1 Hadoop是什么 1.hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2.主要解决，海量数据的储存和海量数据的分析计算问题。 3.广义来说，hadoop通常是指一个更广泛的概念 Hadoop生态圈。 Hadoop三大发行版本 Hadoop三大发行版本：Apache、Clou ...
分类：
其他好文 时间：
2020-07-26 22:58:28
阅读次数：
95
这一篇介绍的来介绍一下我在工作中接触到的用户行为分析系统。在这个系统中主要负责功能开发，计算逻辑开发，日志检测告警等，数据处理，数据准清洗备也有涉及。 用户行为分析在现在这个时期已经是一个比较常见，使用很广的一个词，在互联网公司，有大数据团队的基本上都会提供这样一套分析系统，以及近年来也出现了很多专 ...
分类：
其他好文 时间：
2020-07-26 19:48:26
阅读次数：
97
1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 1）分布式的运算程序往往需要分成至少2个阶段。 2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 3）第二个阶段的ReduceTask并发实例互不 ...
分类：
其他好文 时间：
2020-07-26 19:40:01
阅读次数：
67
4 大数据技术之Hadoop（HDFS） 第1章 HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小（面试重点） 第2章 HDFS的Shell操作（开发重点） 1．基本语法 bin/hadoop fs 具体命令 OR bin/h ...
分类：
其他好文 时间：
2020-07-26 19:35:03
阅读次数：
94
概述 数据同步场景类型： 主数据库与备份数据库之间的数据备份； 主系统与子系统间的数据更新； 属于同类型不同集群数据库间的数据同步； 不同区域、不同数据库类型间的数据传输交换； 大数据系统：数据从业务系统同步进入数据仓库、数据从数据仓库同步进入数据服务或者数据应用。（本篇主讲数据从业务系统同步进入数 ...
分类：
其他好文 时间：
2020-07-26 19:27:15
阅读次数：
68
python学习之路 你想要的都在这里了 (根据自己的学习进度后期不断更新哟！！！) 一、python基础 1.python基础--python基本知识、七大数据类型等 2.python基础--程序交互、格式化输出、流程控制、break、continue 3.python基础--小数据池，代码块的最 ...
分类：
编程语言 时间：
2020-07-26 15:35:50
阅读次数：
70
1. 简要介绍 HBase 是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的 BigTable 建模，实现的编程语言为 Java。它是 Apache 软件基金会的 Hadoop 项目的一部分，运行于 HDFS 文件系统之上，为 Hadoop 提供类似于 BigTable 规模的服务，可 ...
分类：
其他好文 时间：
2020-07-26 01:59:15
阅读次数：
89
