1、避免创建重复的RDD和不必要的内存空间浪费 错误代码： 错误解析： 这种情况下，Spark需要从文件中加载两次hello.txt文件的内容，并创建两个单独的RDD；第二次加载HDFS文件以及创建RDD的性能开销，很明显是白白浪费掉的 正确代码： 2、尽最大可能复用同一个RDD 错误代码： 错误解 ...
分类：
其他好文 时间：
2019-10-27 15:04:12
阅读次数：
103
1、hadoop的bin目录下，执行命令以下命令清除Hbase数据 2、连接ZK，执行以下命令清除Hbase数据 3、重启ZK、重启hadoop（hdfs、yarn）、重启hbase ...
分类：
其他好文 时间：
2019-10-27 14:30:47
阅读次数：
77
1. HDFS产出的背景及定义 1.1 HDFS产生的背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS的 ...
分类：
其他好文 时间：
2019-10-25 23:43:07
阅读次数：
170
`HBase Hadoop Hadoop HDFS`）提供的容错能力。 提供对数据的随机实时读/写访问，可以直接 存储 数据。 1、准备 必须 下载 前，检查本机的 版本（ "HBase文档" 搜索 查找）： 我这里本地安装的 版本为 ，所以使用的 版本为 。 下载解压： 修改 文件，设置 变量 如 ...
分类：
数据库 时间：
2019-10-24 15:49:00
阅读次数：
123
Hive和HBase的区别 ? hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，H ...
分类：
数据库 时间：
2019-10-24 12:01:06
阅读次数：
71
hadoop架构 MapReduce:分布式计算架构 HDFS：分布式文件系统 YARN：集群资源管理系统 HDFS结构： hadoop单机模式 搭建步骤： 搭建四台服务器，分别为：server、node1、node2、node3 1、关闭防火墙和selinux 2、保证server到每一个node ...
分类：
系统相关 时间：
2019-10-24 00:31:59
阅读次数：
104
数据层的存储一般如下： Data Source 数据源一般是业务库和埋点，当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是Mysql 和 PostgreSql。 ODS 层 ODS 的数据量一般非常大，所以大多数公司会选择存在HDFS上，即Hive或者Hbase，Hive居多。 可将O ...
分类：
其他好文 时间：
2019-10-22 13:07:13
阅读次数：
124
大数据特征（5V） Velocity（快速的数据流转） Veracity（精准可信赖的大数据） Variety（多样的数据类型） Volume（海量的数据规模） Value（数据价值密度相对较低） 大数据架构 HDFS服务功能 NameNode NameNode是主节点，存储文件的元数据，如文件名， ...
分类：
其他好文 时间：
2019-10-21 16:21:39
阅读次数：
104
概述hadoop主要是用于应对海量数据的存储和计算的，前面hdfs文件系统，则重点是用于海量数据的存储。那么有了这么多数据，我们又该怎么在这些数据里面来提取我们需要的信息呢？这个时候hadoop中出现了一个非常重要的成员MapReduce。MapReduce是一种编程模型，用于大规模数据集(大于1T... ...
分类：
其他好文 时间：
2019-10-21 00:07:46
阅读次数：
95
通过手动安装CDH没权限 [root@slave1 ~]# groupadd supergroup[root@slave1 ~]# hadoop fs -mkdir /tao3^C[root@slave1 ~]# usermod -a -G supergroup root[root@slave1 ~ ...
分类：
数据库 时间：
2019-10-20 12:35:51
阅读次数：
186
