搭建参看:
http://blog.csdn.net/w13770269691/article/details/16883663/
查看集群状态:
[root@master bin]# hdfs dfsadmin -report
Configured Capacity: 36729053184 (34.21 GB)
Present Capacity: 13322559491 (12....
分类:
其他好文 时间:
2014-11-06 21:55:25
阅读次数:
252
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析适合人群:高级课时数量:96课时用到技术:MapReduce、HDFS、Map-Reduce、Hive、Sqoop涉及项目:Greenplum Hadoop大数据分析平台联系qq:1840215592Hadoop视频教程...
分类:
其他好文 时间:
2014-11-05 12:15:18
阅读次数:
187
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获
取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:
1 数据采集、转换和存储。正如上面介绍...
分类:
其他好文 时间:
2014-11-05 10:55:34
阅读次数:
182
引言
通过bulkload将HDFS上的数据装载进HBase是常用的入门级HBase技能,下面简单记录下关键步骤。
bulkload的详细情况请参见官网文档。
过程
第一步:每台机器执行
ln -s $HBASE_HOME/conf/hbase-site.xml $HADOOP_HOME/etc/hadoop/hbase-site.xml...
分类:
其他好文 时间:
2014-11-04 19:48:20
阅读次数:
283
搭建SolrCloud ,zookeeper ,HDFS ,IK中文分词器,注意事项...
分类:
其他好文 时间:
2014-11-04 15:08:28
阅读次数:
628
最近使用的一个集群hp1,因为维护集群的人不给力,节点总是过一段时间就掉一两个。今天发现重启hadoop时,HDFS已经进入保护模式了。
决定把slaves节点中的无法访问的节点全部过滤掉,所以写了一个小脚本,在这里记录一下,以后方便直接拿来使用。...
分类:
系统相关 时间:
2014-11-04 11:01:55
阅读次数:
163
hadoop 常用配置项——转载:core-site.xmlnamevalueDescriptionfs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口fs.checkpoint.dir/opt/data/hadoop1/hdfs/...
分类:
其他好文 时间:
2014-11-03 22:08:11
阅读次数:
289
在分布式文件系统HDFS中,DataNode节点被用来存储文件的数据,确切的来说就是HDFS中的每一个文件是分块来存储的,一个文件可能有多个数据块,每一个数据块有多个副本,而且数据块的不同副本存储在不同的DataNode节点上,所以如果把整个HDFS集群看做一台机器的话,那么每一个DataNode节...
分类:
其他好文 时间:
2014-11-03 19:15:01
阅读次数:
229
结束historyserver的命令如下所示: 第四步:验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录,创建过程如下所示: Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的结果...
分类:
其他好文 时间:
2014-11-03 16:38:12
阅读次数:
215
结束historyserver的命令如下所示:第四步:验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录,创建过程如下所示:Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的结果输出到/output/wordcount目录中,透过Web控制可以发现我们成功创建..
分类:
其他好文 时间:
2014-11-03 16:35:08
阅读次数:
127