FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中sc...
分类：
系统相关 时间：
2014-11-07 20:46:25
阅读次数：
330
向HDFS上传文件，如果是从某个datanode开始上传文件，会导致上传的数据优先写满当前datanode的磁盘，这对于运行分布式程序是非常不利的。
解决的办法：
1、从其他非datanode节点上传
可以将hadoop的安装目录复制一份到一个不在集群中的节点（直接从非datanode的namenode上传也可以，但是这样不太好，会增加namenode的负担，并且时间长了会让namenode...
分类：
Web程序 时间：
2014-11-07 17:10:35
阅读次数：
200
搭建参看：
http://blog.csdn.net/w13770269691/article/details/16883663/
查看集群状态：
[root@master bin]# hdfs dfsadmin -report
Configured Capacity: 36729053184 (34.21 GB)
Present Capacity: 13322559491 (12....
分类：
其他好文 时间：
2014-11-06 21:55:25
阅读次数：
252
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析适合人群：高级课时数量：96课时用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop涉及项目：Greenplum Hadoop大数据分析平台联系qq：1840215592Hadoop视频教程...
分类：
其他好文 时间：
2014-11-05 12:15:18
阅读次数：
187
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
引言
通过bulkload将HDFS上的数据装载进HBase是常用的入门级HBase技能，下面简单记录下关键步骤。
bulkload的详细情况请参见官网文档。
过程
第一步：每台机器执行
ln -s $HBASE_HOME/conf/hbase-site.xml $HADOOP_HOME/etc/hadoop/hbase-site.xml...
分类：
其他好文 时间：
2014-11-04 19:48:20
阅读次数：
283
搭建SolrCloud ，zookeeper ，HDFS ，IK中文分词器，注意事项...
分类：
其他好文 时间：
2014-11-04 15:08:28
阅读次数：
628
最近使用的一个集群hp1，因为维护集群的人不给力，节点总是过一段时间就掉一两个。今天发现重启hadoop时，HDFS已经进入保护模式了。
决定把slaves节点中的无法访问的节点全部过滤掉，所以写了一个小脚本，在这里记录一下，以后方便直接拿来使用。...
分类：
系统相关 时间：
2014-11-04 11:01:55
阅读次数：
163
hadoop 常用配置项——转载：core-site.xmlnamevalueDescriptionfs.default.namehdfs://hadoopmaster:9000定义HadoopMaster的URI和端口fs.checkpoint.dir/opt/data/hadoop1/hdfs/...
分类：
其他好文 时间：
2014-11-03 22:08:11
阅读次数：
289
在分布式文件系统HDFS中，DataNode节点被用来存储文件的数据，确切的来说就是HDFS中的每一个文件是分块来存储的，一个文件可能有多个数据块，每一个数据块有多个副本，而且数据块的不同副本存储在不同的DataNode节点上，所以如果把整个HDFS集群看做一台机器的话，那么每一个DataNode节...
分类：
其他好文 时间：
2014-11-03 19:15:01
阅读次数：
229
