hive创建目录时相关的几个hdfs中的类:org.apache.hadoop.hdfs.DistributedFileSystem，FileSystem的具体实现类
org.apache.hadoop.hdfs.DFSClient，client操作hdfs文件系统的类
org.apache.hadoop.fs.permission.FsPermission文件权限相关类，主要的方法有getUMask和applyUMask..
分类：
其他好文 时间：
2014-12-19 01:58:23
阅读次数：
149
1.安装mysql
sudo apt-get install mysql-server mysql-client
2.使用root账户登录mysql数据库，新建存放hive元数据的数据库，假设叫hiveDB.
a) mysql -uroot -proot
b) create database hiveDB;
3.使用root账户登录mysql，新建hive连接mysql的账号并授予权限...
分类：
其他好文 时间：
2014-12-18 22:18:45
阅读次数：
233
Hive中文乱码问题众所周知，我们都是使用mysql存储hive的元数据，可以执行带有中文注释的建表文件，解决中文乱码的问题：要把元数据库设定为latin1而把存储中文的数据表的编码设定为utf-8格式，即存储在hive里的表是utf-8的。以下几种是不可行的： 1. 将meta database....
分类：
数据库 时间：
2014-12-18 10:22:23
阅读次数：
284
1.Hive中合并小文件的map only JOB，此JOB只会有一个或很少的几个map。2.输入文件格式为压缩的Text File，因为压缩的文本格式不知道如何拆分，所以也只能用一个map
分类：
其他好文 时间：
2014-12-16 18:52:50
阅读次数：
180
前两篇文章介绍了docker的基本命令如何安装hadoop那么大家会比较了解docker的基本语法的安装过程。那么咱们今天来一起安装一下hive。安装1、下载gitHub，地址：https://github.com/prasanthj/docker-hive-on-tez。如果背墙了，可以选择下载z...
分类：
其他好文 时间：
2014-12-16 18:51:47
阅读次数：
841
1 用hbase工具导入 实际上市从hdfs 到hbase 的过程。 hive表的hdfs 路径为 ${hive.metastore.warehouse.dir}hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns...
分类：
其他好文 时间：
2014-12-16 11:34:40
阅读次数：
505
HDInsight如何创建Hadoop集群
带大家一起看下微软Azure云中的Hadoop集群创建，首先你必须先创建个存储账号，然后新建Hadoop集群，等待21分钟左右，一个Hadoop集群就创建完成了，看图：...
分类：
其他好文 时间：
2014-12-15 19:07:50
阅读次数：
206
HDInsight-Hadoop实战（二）传感器数据分析
简介
现在很多个人和商业设备含有从物理世界中收集信息的传感器。例如，大多数电话拥有 GPS，健身设备可跟踪你走的步数，恒温控制器可监控建筑的温度。
在此教程中，你将了解如何将 HDInsight 用于处理暖气、通风和空气调节 (HVAC) 系统产生的历史数据，以识别不能有效维持设定温度的系统。你将了解如何：...
分类：
其他好文 时间：
2014-12-15 19:04:53
阅读次数：
376
近期读的几篇关于Cassandra 大数据分析的几篇文章，记录下：Big Analytics with R, Cassandra, and Hive中文翻译：http://www.csdn.net/article/2012-05-20/2805705Cassandra联姻Spark 大数据分析将迎来...
分类：
其他好文 时间：
2014-12-15 17:00:04
阅读次数：
192
