初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了，我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂，不要紧糊涂的不止你一个，如某个菜鸟的帖子的疑问，when to use Hbase and when to use Hive？....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。
Pig
一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，...
分类：
其他好文 时间：
2016-01-19 12:48:53
阅读次数：
103
构建在Hadoop之上的数据仓库，数据计算使用MR，数据存储使用HDFS
因为数据计算使用mapreduce，因此通常用于进行离线数据处理
Hive 定义了一种类 SQL 查询语言——HQL
类似SQL，但不完全相同
可认为是一个HQL-->MR的语言翻译器。
简单，容易上手
有了Hive，还需要自己写MR程序吗？
...
分类：
其他好文 时间：
2016-01-19 10:39:29
阅读次数：
256
安装Hive(独立模式 使用mysql连接)1.默认安装了java+hadoop2.下载对应hadoop版本的安装包3.解压安装包 tar zxvf apache-hive-1.2.1-bin.tar.gz4.安装mysql yum -y install mysql-server mysql mys...
分类：
数据库 时间：
2016-01-19 10:24:15
阅读次数：
217
编者按：HDFS和MapReduce是Hadoop的两大核心，除此之外Hbase、Hive这两个核心工具也随着Hadoop发展变得越来越重要。本文作者张震的博文《Thinking in BigDate（八）大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解》从内...
分类：
其他好文 时间：
2016-01-17 01:19:40
阅读次数：
248
Java使用jdbc连接Hive比较简单，但是Hive的计算能力相对于其它数据库的SQL而言较弱，要完成非常规的计算需要将数据取出后用Java进一步计算，编程比较麻烦。使用集算器配合Java编程，可以减少Java使用Hive时要进行复杂计算工作量。下面我们通过例子来看一下具体作法：Hive中的or....
分类：
编程语言 时间：
2016-01-15 08:39:52
阅读次数：
141
问题描述： 以单机伪分布式方式安装了hadoop2.7.1，并在该机器上安装了hive1.2.1。首先执行 sbin/start-dfs.sh 启动hdfs服务，然后执行hive，这时hive脚本启动报错，提示hdfs进入了安全模式，hive无法创建临时目录，出错信息如下：原因分析： 在hdf...
分类：
其他好文 时间：
2016-01-14 18:53:16
阅读次数：
129
本文转载至：http://blog.csdn.net/reesun/article/details/8556078目录(?)[-]一本地derby二本地mysql三远端mysql 1服务端配置文件 2客户端配置文件Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储...
分类：
Web程序 时间：
2016-01-14 09:48:17
阅读次数：
173
1、设置Shuffle过程中的并行度：spark.sql.shuffle.partitions（SQLContext.setConf()）2、在Hive数据仓库建设过程中，合理设置数据类型，比如能设置为INT的，就不要设置为BIGINT。减少数据类型导致的不必要的内存开销。3、编写SQL时，尽量给出...
分类：
数据库 时间：
2016-01-14 06:15:31
阅读次数：
230
之前的文章《IBMBigInsights--基于Hadoop的数据分析平台》介绍了IBM大数据分析平台BigInsights，在Hadoop的基础上IBM增加了额外的模块提供更广泛的数据分析。对于想了解下BigInsight是个什么东西？能做什么的同学，IBM也提供了BigInsights的虚拟机版本。对于那些想大概了解Hado..
分类：
其他好文 时间：
2016-01-13 22:06:48
阅读次数：
682
在sqoop使用前，应先安装好hive和zookeeper，还要在一台虚拟机里安装好mysql1.先将zookeeper启动：zkServer.sh start,集群启动起来：start-all.sh2.启动mysql:service mysql start然后进入mysql的客户端：3.在wind...
分类：
其他好文 时间：
2016-01-13 21:58:50
阅读次数：
242
