测试环境 Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.61、一般来说我们对hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,所以,对于这样的模式我建议是用来做一些测试比较合适,并不适合做产品的开发和应...
分类:
编程语言 时间:
2014-07-03 00:39:24
阅读次数:
316
主要参考:http://blog.fens.me/hadoop-history-source-install/其次参考:http://blog.csdn.net/adermxl/article/details/24327057环境:Windows 7 Home Premium SP1 + Virtu...
分类:
其他好文 时间:
2014-07-02 21:09:14
阅读次数:
144
1.1. hadoop抽象文件系统 因java.io.FileSystem为私有抽象包,不可被外界包引用,因此hadoop特别提供了一个抽象的文件系统, HDFS只是一个具体实现,org.apache.hadoop.fs.FileSystem hadoop通过getFi...
分类:
其他好文 时间:
2014-07-02 21:01:32
阅读次数:
284
1.1. java文件系统 1.1.1. URI和URL 1.1.2. java IO(自行研究)
分类:
编程语言 时间:
2014-07-02 20:51:44
阅读次数:
242
文件系统,对文件和目录的管理1.1. linux本地文件系统1.1.1. 虚拟文件系统1.1.1. linux文件保护机制 1.2. 分布式文件系统NFS
分类:
其他好文 时间:
2014-07-02 20:47:41
阅读次数:
285
1.1.1. hadoop IO 对比Java IO即可 FSDataInputStream,FSDataOutputStream 为抽象类, FSInputStream抽象类 1.1.2. hadoop文件系统中的权限 枚举类FsAction定义了rwx权限,常量 ...
分类:
其他好文 时间:
2014-07-02 20:46:22
阅读次数:
308
我们以RHEL6.3为例说明。Linux的命令后面会有命令选项,有的选项还有选项值。选项的前面有短横线“-”,命令、选项、选项值之间使用空格隔开。有的命令没有选项,会有参数。选项是命令内置的功能,参数是用户提供的符合命令格式的内容。1.1.1. 命令提示符在桌面上点击鼠标右键,在弹出菜单中选择“Op...
分类:
系统相关 时间:
2014-07-02 14:41:56
阅读次数:
307
Spark目前支持多种分布式部署方式:一、Standalone Deploy Mode;二Amazon EC2、;三、Apache Mesos;四、Hadoop YARN。第一种方式是单独部署,不需要有依赖的资源管理器,其它三种都需要将spark部署到对应的资源管理器上。 除了部署的多种方式之...
分类:
其他好文 时间:
2014-07-02 13:48:43
阅读次数:
299
我安装所使用的系统是CentOS6,也可以是red5、6都可以。Bigtop官方网上有Ubuntu系统安装的具体过程。1.安装系统依赖1.1系统更新并安装新的包BuildingBigtoprequiresthefollowingtools:·JavaJDK1.6·ApacheAnt(可以通过yum安装)·ApacheMaven·wget·tar·git·subversion·g..
分类:
其他好文 时间:
2014-07-02 06:01:45
阅读次数:
844