本文描述了如何安装、配置和管理有实际意义的Hadoop集群，安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常，集群里一台机器被指定为 NameNode，另一台不同的机器被指定为DataNode。 ...
分类：
其他好文 时间：
2018-11-14 14:14:01
阅读次数：
238
1.创建一个表 （字段表名不加引号‘，分隔符需要加引号） 2.插入数据 ·filepath 可以是： 相对路径，如project/data1 绝对路径，如/user/hive/project/data1 完整的URL，如hdfs://namenode:9000/user/hive/project/d ...
分类：
其他好文 时间：
2018-11-14 12:25:06
阅读次数：
143
情景再现： 在修复hadoop集群某一个datanode无法启动的问题时，搜到有一个答案说要删除hdfs-site.xml中dfs.data.dir属性所配置的目录，再重新单独启动该datanode即可； 问题就出在这个误删除上，当时是在namenode的hadoop/hdfs/目录下，然后就执行了 ...
分类：
其他好文 时间：
2018-11-12 15:44:33
阅读次数：
301
一、Namenode 和 Datanode HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一 ...
分类：
其他好文 时间：
2018-11-10 18:02:29
阅读次数：
236
存储文件系统元数据，例如：文件目录结构，不同文件的分块情况，每块存储在那个节点，权限等 这些元数据全部存储在内存中，所以，namenode要求内存比较大 hdfs在存文件的时候会按照块存储，每一块默认128M 如果存储的文件很小，他在hdfs里也会占用128M，所以hdfs适合存储大块的数据 如果文 ...
分类：
其他好文 时间：
2018-11-10 15:04:43
阅读次数：
255
用命令-put上传文件 报错0 datanode(s) running 原因是进行了多次格式化 解决办法： 停止集群 删除在hdfs中配置的data目录（即在core-site.xml中配置的hadoop.tmp.dir对应文件件）下面的所有数据; 重新格式化namenode(切换到hadoop目录 ...
分类：
Web程序 时间：
2018-11-08 23:16:14
阅读次数：
260
错误原因： 一个目录下的子目录数量达到限制，默认的上限是 1048576。 每次执行hive语句时，都会在 hive.exec.scratchdir 配置的目录下生成一个临时目录，执行结束后会自动删除，如果异常中断则有可能会保留目录。 提供两种解决办法： 提高目录的限制上限，通过 dfs.namen ...
分类：
其他好文 时间：
2018-11-06 13:37:31
阅读次数：
159
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category JOURNAL is not supported in state standby at org.apa ...
分类：
数据库 时间：
2018-11-05 23:40:34
阅读次数：
271
问题： 搭建伪Hadoop集群的时候，运行命令： 格式化或者说初始化namenode。 然后用命令： 来启动hdfs时，jps发现datanode先是启动了一下，然后就挂掉了，在http://192.168.195.128:50070 （HDFS管理界面）也看不到datanode的信息。 然后去da ...
分类：
其他好文 时间：
2018-11-03 16:32:16
阅读次数：
257
方式1 原因：namenode元数据被破坏，需要修复解决：恢复一下namenode 一路选择Y，一般就OK了 方式2 Need to copy the edits file to the journal node (I have 3 journal node s101 s102 s103) http ...
分类：
移动开发 时间：
2018-10-31 10:39:20
阅读次数：
519
