1 hadoop-daemon.sh start namenode 2 hadoop-daemon.sh start datanode 3 yarn-daemon.sh start resourcemanager 4 yarn-daemon.sh start nodemanager 5 ./hive... ...
分类：
其他好文 时间：
2017-07-31 23:58:30
阅读次数：
279
一.NameNode，SeconderyNamenode，DataNode NameNode，DataNode，SeconderyNamenode都是进程，运行在节点上。 1.NameNode：hadoop的主节点， 保存HDFS的元数据信息 1.fsimage - 它是在NameNode启动时对整 ...
分类：
其他好文 时间：
2017-07-31 15:57:04
阅读次数：
150
HA结构图 HA是用来解决单点故障问题 DN: DataNode，启动时会往所有的NameNode汇报 NN: NameNode(主 Active(一个) 备 Standby(可以有多个)) JournalNodes:JournalNodes就是用来存储元数据的,是一个集群，节点数量必须为奇数个。 ...
分类：
其他好文 时间：
2017-07-28 00:59:16
阅读次数：
200
Hadoop 2.0产生背景 ? Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 ? HDFS存在的问题 ? NameNode单点故障，难以应用于在线场景 ? NameNode压力过大，且内存受限，影响系统扩展性 ? MapReduce存在的问题 ? JobTrack ...
分类：
其他好文 时间：
2017-07-28 00:25:39
阅读次数：
231
最近测试hbase，老发现服务挂掉，自己不能及时发现，想了想，写了个脚本，让脚本每个小时执行一次，以便检测是否有服务挂掉，如果有服务挂掉，及时启动 这个代码也可以扩展，把hours=1改成minutes=1就变成了每个小时定时任务，改成days=1就变成每天的定时任务 ...
分类：
编程语言 时间：
2017-07-25 11:20:05
阅读次数：
329
tickTime=2000initLimit=10syncLimit=5clientPort=2181dataDir=/home/tim/zkdataserver.1=tim-dn1:2888:3888server.2=tim-dn2:2888:3888server.3=tim-dn3:2888:3888core-site.xml<configuration><!--<property><name>fs.defaultFS</name><value&..
分类：
其他好文 时间：
2017-07-20 22:12:43
阅读次数：
118
master/slave主从结构： HDFS是一个 master/slave的架构。HDFS只有一个NameNode，即master。master负责管理文件系统命名空间和client对文件的访问。此外，HDFS有很多DataNode，通常一个机器节点一个DataNode，管理这个节点上的存储。HD ...
分类：
其他好文 时间：
2017-07-20 10:12:43
阅读次数：
136
客户端需要指定ns名称，节点配置，ConfiguredFailoverProxyProvider等信息。 代码示例： 【Hadoop】HA 场景下访问 HDFS JAVA API Client 【Hadoop】HA 场景下访问 HDFS JAVA API Client ...
分类：
编程语言 时间：
2017-07-19 19:30:42
阅读次数：
271
1、安装hadoop环境，以hadoop-2.5.0版本为例，搭建伪分布式环境，所需要工具包提供网盘下载：http://pan.baidu.com/s/1o8HR0Qu 2、上传所需要的工具包到linux相对就应的目录中 3、接上篇(Linux基础环境的各项配置(三)中最后一部分，需卸载系统自带的j ...
分类：
其他好文 时间：
2017-07-19 18:29:44
阅读次数：
187
图片文件一般在100k一下，质量好一些的在几百k，特殊的图像可能达到10m左右，如果直接存储在hdfs上会对namenode的内存造成很大的压力，因为namenode的内存中会存储每个文件或者目录的inode信息。但是如果存储在hbase中，hbase的单个cell超过100k就会造成后期压力。因此 ...
分类：
其他好文 时间：
2017-07-19 14:37:40
阅读次数：
644
