Usage: DFSck [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]] start checking from this...
分类：
其他好文 时间：
2015-04-14 12:43:45
阅读次数：
120
Usage: java DFSAdminNote: Administrative commands can only be run as the HDFS superuser. [-report] [-safemode enter | leave | get ...
分类：
其他好文 时间：
2015-04-14 12:40:15
阅读次数：
539
Usage: hadoop fs [generic options] [-appendToFile ... ] [-cat [-ignoreCrc] ...] [-checksum ...] [-chgrp [-R] GROUP PATH...
分类：
其他好文 时间：
2015-04-14 11:09:33
阅读次数：
126
现在我们将通过命令行与HDFS交互。HDFS还有很多其他接口，但命令行是最简单的，同时也是许多开发者最熟悉的。 在我们设置伪分布配置时，有两个属性需要进一步解释。首先是fs.default.name，设置为hdfs://localhos...
分类：
其他好文 时间：
2015-04-03 11:42:44
阅读次数：
148
现在我们将通过命令行与HDFS交互。HDFS还有很多其他接口，但命令行是最简单的，同时也是许多开发者最熟悉的。在我们设置伪分布配置时，有两个属性需要进一步解释。首先是fs.default.name，设置为hdfs://localhost/,用来为Hadoop设置默认文件系统。文件系统是由URI指定的，这里..
分类：
其他好文 时间：
2015-04-03 11:31:11
阅读次数：
170
现在我们将通过命令行与HDFS交互。HDFS还有很多其他接口，但命令行是最简单的，同时也是许多开发者最熟悉的。
在我们设置伪分布配置时，有两个属性需要进一步解释。首先是fs.default.name，设置为hdfs://localhost/,用来为Hadoop设置默认文件系统。文件系统是由URI指定的，这里我们已使用了一个hdfs URI 来配置HDFS为Hadoop的默认文件系统。HDFS的守...
分类：
其他好文 时间：
2015-04-03 11:18:47
阅读次数：
170
对namenode启动时的相关操作及相关类有一个大体了解，后续深入研究时，再对本文进行补充>实现类HDFS启动脚本为$HADOOP_HOME/sbin/start-dfs.sh，查看start-dfs.sh可以看出，namenode是通过bin/hdfs命令来启动$ vi start-dfs.sh....
分类：
其他好文 时间：
2015-03-31 00:38:19
阅读次数：
238
首先创建SparkContext上下文：
接着引入隐身转换，用于把RDD转成SchemaRDD:
接下来定义一个case class 来用于描述和存储SQL表中的每一行数据：
接下来要加载数据，这里的测试数据是user.txt文件：
我们创建好use.txt增加内容并上传到hdfs中：
web控制台查询：
hdfs命令查询：
加...
分类：
数据库 时间：
2015-03-02 19:08:17
阅读次数：
222
一、常用的hadoop命令1、hadoop的fs命令#查看hadoop所有的fs命令hadoopfs#上传文件（put与copyFromLocal都是上传命令）hadoopfs-putjdk-7u55-linux-i586.tar.gzhdfs://hucc01:9000/jdk
hadoopfs-copyFromLocaljdk-7u55-linux-i586.tar.gzhdfs://hucc01:9000/jdk#下载命令(get与..
分类：
系统相关 时间：
2015-02-25 00:49:46
阅读次数：
213
我们在hdfs的/data/join创建两个文件： 上传第一个文件名称为1.txt 内容第一列是日期，第二列uid(普通用户id) 上传第二个文件名称为2.txt 内容第一列是日期，第二列uid(普通用户id) 执行上传到hdfs： hdfs命令行查...
