Hadoop 命令手册
1、 用户命令
1.1 archive
1.1.1 什么是Hadooparchives
Hadoop的归档文件，每个文件以块方式存储，块的元数据存储在名称节点的内存里，此时存储一些小的文件，HDFS会较低效。因此，大量的小文件会耗尽名称节点的大部分内存。(注意，相较于存储文件原始内容所需要的磁盘空间，小文件所需要的空间不会更多...
分类：
其他好文 时间：
2014-12-16 15:08:12
阅读次数：
376
本文发表于本人博客。 我们知道HDFS是Hadoop的分布式文件系统，那既然是文件系统那最起码会有管理文件、文件夹之类的功能吧，这个类似我们的Windows操作系统一样的吧,创建、修改、删除、移动、复制、修改权限等这些操作。 那我们现在来看看hadoop下是怎么操作的。 先输入hadoop ...
分类：
系统相关 时间：
2014-12-16 13:22:12
阅读次数：
241
本文地址：http://www.cnblogs.com/archimedes/p/hdfs-operations.html，转载请注明源地址。1、HDFS下的文件操作1、列出HDFS文件通过“-ls”命令列出HDFS下的文件wu@ubuntu:~/opt/hadoop-0.20.2$ bin/had...
分类：
其他好文 时间：
2014-12-16 13:09:48
阅读次数：
190
Hadoop权威指南学习笔记一
声明：本文是本人基于Hadoop权威指南学习的一些个人理解和笔记，仅供学习参考，有什么不到之处还望指出，一起学习一起进步。
转载请注明：http://blog.csdn.net/my_acm
1、
数据的增长远远超过了磁盘的读取速度，传统的数据存储方式和分析方式变得不再适用于大数据的处理。
Hadoop分为两大核心技术，HDFS（HadoopDistri...
分类：
其他好文 时间：
2014-12-16 11:44:32
阅读次数：
189
1 用hbase工具导入 实际上市从hdfs 到hbase 的过程。 hive表的hdfs 路径为 ${hive.metastore.warehouse.dir}hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns...
分类：
其他好文 时间：
2014-12-16 11:34:40
阅读次数：
505
再理解HDFS的存储机制
1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放；
2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块（Block）中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求；
3. 一个HDFS集群包括两大部分，即NameNode与DataNode。一般来说，一个集群中会有一个NameNode和多个DataNode共同工作；
4. NameNode是集群的主服务器，主要是用于对HDFS中所有的文件及...
分类：
其他好文 时间：
2014-12-15 10:34:06
阅读次数：
149
HDFS中的命令行
本文介绍了HDFS以命令行运行的时候，几个常用的命令行的作用和如何使用~
1. fs
fs是启动命令行动作,该命令用于提供一系列子命令。
使用形式为hadoop fs –cmd
其中，cmd是子命令，args是具体的命令操作。
例如hadoop fs –help
或者说fs是其余子命令的父亲，其余都是在“-cmd”的模式下的！...
分类：
其他好文 时间：
2014-12-15 10:26:53
阅读次数：
195
可通过部署一对主/备NameNode实现NameNode高可用性（HA），主/备NN都能访问edits的WAL，因此将edtis放置在共享存储设备上，使用NFS实现这种共享存储。主/备NN可配置为手动或自动故障切换模式，默认为手动故障切换模式。通常来说，次NN会同时承担备NN的角色，由于NN在内存中的元数据大小限制，可以使用NN联盟，由一组各自独立的NN组成，每个NN负责管理目录结构的不同部分，N...
分类：
其他好文 时间：
2014-12-15 09:01:54
阅读次数：
144
hive在hdfs中的job中间文件是根据当前登陆用户产生的，其默认值为/tmp/hive-${user.name}，这就导致实现proxy的功能时会遇到临时文件的权限问题，比如在实现了proxy功能后，以超级用户hdfsproxy到普通用户user时，在hdfs中的临时文件在/tmp/hive-user目录中，而目录的属主是hdf..
分类：
其他好文 时间：
2014-12-15 06:42:31
阅读次数：
445
最初业务需求：将文件从ftp下到本地并上传到hdfs，其中ftp到本地和本地到hdfs皆有文件完整性校验，ftp到本地的逻辑由于和业务耦合度较高，因此本文不再叙述，这里仅说一下从本地到hdfs的并发脚本相关说明及代码实现。测试环境：RHEL6.4x86_64/Hadoop2.4.0.2.1.5.0-695部分需求..
分类：
Web程序 时间：
2014-12-14 18:43:33
阅读次数：
275
