环境：CentOS7.5192.168.11.205test2192.168.11.206test3192.168.11.207test4-8g设置host#vim/etc/hosts192.168.11.205test2192.168.11.206test3192.168.11.207test4-8安装jdk(三个节点都需要)https://www.oracle.com/technetwork/
分类：
其他好文 时间：
2018-10-30 18:46:07
阅读次数：
155
在搭建Hadoop集群的时候，遇到了这样的一个报错。 就在启动HDFS调用命令： 的时候，报错： 然后输密码就一直很奇怪，反正一直运行不成功。 百度了半天，确定是core-site.xml的问题。 这段代码决定了什么namenode 的rpcaddress： 可是我左看右看都看不出哪里错，这个hos ...
分类：
其他好文 时间：
2018-10-27 00:00:26
阅读次数：
309
最近在做要执行很复杂的sql.然后在文件输出的时候出现了一堆小文件： 为啥要对小文件进行合并一句话总结为：文件数目过多，增加namenode的压力。因为每一个文件的元数据信息都是存在namenode上面的。所以要减少小文件的数据量。 同时也是降低下一个程序处理这些小文件，启动和小文件一样数量的map ...
分类：
其他好文 时间：
2018-10-23 21:05:43
阅读次数：
623
HDFS(Hadoop Distributed File System)是Hadoop核心组成之一，是分布式计算中数据存储管理的基础，被设计成适合运行在通用硬件上的分布式文件系统。HDFS架构中有两类节点，一类是NameNode，又叫“元数据节点”，另一类是DataNode，又叫“数据节点”，分别执 ...
分类：
其他好文 时间：
2018-10-22 13:03:39
阅读次数：
177
cdh地址http://archive-primary.cloudera.com/cdh5/cdh/5/添加sudo权限的无密码访问的hadoop用户#useraddhadoop#vi/etc/sudoershadoopALL=(root)NOPASSWD:ALL#su-hadoop下载解压缩[hadoop@hadoop000softwore]$wgethttp://archive-primary
分类：
其他好文 时间：
2018-10-18 20:18:48
阅读次数：
152
一、简要描述如何安装配置一个开源hadoop，只描述即可，列出完整步骤。 答：①创建一个用户和用户组，用来管理hadoop项目； ②修改确定IP地址：vim /etc/sysconfig/network-scripts/ifcfg-eth0； ③修改主机名：vim /etc/sysconfig/ne ...
分类：
其他好文 时间：
2018-10-18 13:58:37
阅读次数：
156
NN中元数据的可靠性是可以保证的，但是其可用性并不高，因为Namenode是单节点的，所以一旦这个节点不能工作，那么整个hdfs都不能工作，但是由于SecondaryNameNode的机制，所以，即便NameNode不能工作，元数据也不会丢失，人为介入之后是可以恢复的，不会导致数据丢失。因此可靠性高 ...
分类：
其他好文 时间：
2018-10-16 11:56:33
阅读次数：
137
NameNode主要保存了下面的内容 1-Block和文件之间的关系，即某一个特定文件都有哪些Block； 2-每一个Block存储在什么位置（DataNode上面）； NameNode如何保证元数据的可靠性 fsimage 和内存中保存的元数据互为镜像； edits.log中存储了一段时间内所有的 ...
分类：
其他好文 时间：
2018-10-10 14:22:32
阅读次数：
200
namenode节点上配置Map/Reduce计算引擎跑在yarn这个资源调度平台上；<property><name>mapreduce.framework.name</name><value>yarn</value></property>namenode配置yarn-site.xml文件指定resourcemanager在m
分类：
其他好文 时间：
2018-10-09 17:06:08
阅读次数：
283
1、hadoop默认临时数据文件是存储于Unix的tmp目录下（cd/tmp包含hadoop-root等文件），如果不进行修改，linux系统重启后hadoop有可能出现不正常现象；故需要修改hadoop的临时文件存放目录2、vimcore-site.xml配置如下，然后重启hadoop集群，不要对namenode重新进行格式化操作修改datanode/var/hadoop/dfs/data/cu
分类：
编程语言 时间：
2018-10-09 16:15:03
阅读次数：
213
