编者按：HDFS和MapReduce是Hadoop的两大核心，除此之外Hbase、Hive这两个核心工具也随着Hadoop发展变得越来越重要。本文作者张震的博文《Thinking in BigDate（八）大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解》从内...
分类：
其他好文 时间：
2016-01-17 01:19:40
阅读次数：
248
Java使用jdbc连接Hive比较简单，但是Hive的计算能力相对于其它数据库的SQL而言较弱，要完成非常规的计算需要将数据取出后用Java进一步计算，编程比较麻烦。使用集算器配合Java编程，可以减少Java使用Hive时要进行复杂计算工作量。下面我们通过例子来看一下具体作法：Hive中的or....
分类：
编程语言 时间：
2016-01-15 08:39:52
阅读次数：
141
问题描述： 以单机伪分布式方式安装了hadoop2.7.1，并在该机器上安装了hive1.2.1。首先执行 sbin/start-dfs.sh 启动hdfs服务，然后执行hive，这时hive脚本启动报错，提示hdfs进入了安全模式，hive无法创建临时目录，出错信息如下：原因分析： 在hdf...
分类：
其他好文 时间：
2016-01-14 18:53:16
阅读次数：
129
本文转载至：http://blog.csdn.net/reesun/article/details/8556078目录(?)[-]一本地derby二本地mysql三远端mysql 1服务端配置文件 2客户端配置文件Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储...
分类：
Web程序 时间：
2016-01-14 09:48:17
阅读次数：
173
1、设置Shuffle过程中的并行度：spark.sql.shuffle.partitions（SQLContext.setConf()）2、在Hive数据仓库建设过程中，合理设置数据类型，比如能设置为INT的，就不要设置为BIGINT。减少数据类型导致的不必要的内存开销。3、编写SQL时，尽量给出...
分类：
数据库 时间：
2016-01-14 06:15:31
阅读次数：
230
之前的文章《IBMBigInsights--基于Hadoop的数据分析平台》介绍了IBM大数据分析平台BigInsights，在Hadoop的基础上IBM增加了额外的模块提供更广泛的数据分析。对于想了解下BigInsight是个什么东西？能做什么的同学，IBM也提供了BigInsights的虚拟机版本。对于那些想大概了解Hado..
分类：
其他好文 时间：
2016-01-13 22:06:48
阅读次数：
682
在sqoop使用前，应先安装好hive和zookeeper，还要在一台虚拟机里安装好mysql1.先将zookeeper启动：zkServer.sh start,集群启动起来：start-all.sh2.启动mysql:service mysql start然后进入mysql的客户端：3.在wind...
分类：
其他好文 时间：
2016-01-13 21:58:50
阅读次数：
242
在node2里安装一下hive1.2.1，步骤如下：1.解压hive的安装包2.改变目录：mv apache-hive-1.2.1-bin /home/install/hive-1.23.vi ~/.bash_profile进行环境变量的配置：source ~/.bash_profile结果可能会产...
分类：
其他好文 时间：
2016-01-12 21:24:31
阅读次数：
163
Django使用自定义认证方式创建登录应用首先创建一个新的login app，用来存放认证用到代码python manage.py startapp login修改settings.py中的认证项AUTHENTICATION_BACKENDS = (
‘login.auth.UsernamePasswordAuth’,
)自定义认证类在login app下创建auth.py文件，内容如下...
分类：
其他好文 时间：
2016-01-11 10:33:40
阅读次数：
250
转自：Hive – Distinct 的实现：http://ju.outofmemory.cn/entry/784Hive – Group By 的实现：http://ju.outofmemory.cn/entry/785Hive – JOIN实现过程：http://ju.outofmemory.c...
分类：
其他好文 时间：
2016-01-09 13:55:15
阅读次数：
381
