上传文件： cd /$HADOOP_HOME start-dfs.sh start-yarn.sh 查看集群的运行状态 http://192.168.56.110:50070/ 查看集群的目录结构 http://192.168.56.110:50070/explorer.html#/ 2.从宿主机上 ...
分类：
Web程序 时间：
2019-10-28 10:41:34
阅读次数：
82
HA 高可用集群概述及其原理解析 1. 概述 1）所谓HA（High Available），即高可用（7 24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS 的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中Name ...
分类：
其他好文 时间：
2019-10-28 01:08:29
阅读次数：
582
1、kafka的message包括哪些信息 一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成 header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。 当magic的值为1的时候，会在magic和crc3 ...
分类：
其他好文 时间：
2019-10-27 18:41:59
阅读次数：
92
1. HDFS架构是怎样的？ hadoop1.x中采用master/slave架构，hdfs集群有一个namenode和多个datanode组成。 namenode namenode负责原数据的管理，包括文件目录和文件的元数据管理。 namenode文件到block块位置的映射，namenode并不 ...
分类：
其他好文 时间：
2019-10-27 18:39:03
阅读次数：
100
1、安装jdk 2、配置java环境变量 3、配置ssh免密钥登陆 4、解压hadoop安装包 5、配置hadoop环境变量 6、hadoop的java环境变量配置 7、配置core-site.xml 8、配置hdfs-site.xml 9、配置slaves文件 10、格式化hdfs 11、启动集群 ...
分类：
其他好文 时间：
2019-10-27 16:57:48
阅读次数：
94
1、避免创建重复的RDD和不必要的内存空间浪费 错误代码： 错误解析： 这种情况下，Spark需要从文件中加载两次hello.txt文件的内容，并创建两个单独的RDD；第二次加载HDFS文件以及创建RDD的性能开销，很明显是白白浪费掉的 正确代码： 2、尽最大可能复用同一个RDD 错误代码： 错误解 ...
分类：
其他好文 时间：
2019-10-27 15:04:12
阅读次数：
103
1、hadoop的bin目录下，执行命令以下命令清除Hbase数据 2、连接ZK，执行以下命令清除Hbase数据 3、重启ZK、重启hadoop（hdfs、yarn）、重启hbase ...
分类：
其他好文 时间：
2019-10-27 14:30:47
阅读次数：
77
1. HDFS产出的背景及定义 1.1 HDFS产生的背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS的 ...
分类：
其他好文 时间：
2019-10-25 23:43:07
阅读次数：
170
`HBase Hadoop Hadoop HDFS`）提供的容错能力。 提供对数据的随机实时读/写访问，可以直接 存储 数据。 1、准备 必须 下载 前，检查本机的 版本（ "HBase文档" 搜索 查找）： 我这里本地安装的 版本为 ，所以使用的 版本为 。 下载解压： 修改 文件，设置 变量 如 ...
分类：
数据库 时间：
2019-10-24 15:49:00
阅读次数：
123
Hive和HBase的区别 ? hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，H ...
分类：
数据库 时间：
2019-10-24 12:01:06
阅读次数：
71
