一、Hive的历史价值1，大数据因Hadoop而知名，而Hadoop又因Hive而实用。Hive是Hadoop上的KillerApplication，Hive是Hadoop上的数据仓库，同时Hive兼具有数据仓库中的存储和查询引擎。而SparkSQL是一个更加出色和高级的查询引擎，并不提供存储功能。所以SparkSQL无法取代Hive，..
分类：
其他好文 时间：
2016-03-14 16:48:05
阅读次数：
296
Author： kwu 【解决】hive动态添加partitions不能超过100的问题，全量动态生成partitions超过100会出现例如以下异常：
分类：
其他好文 时间：
2016-03-14 08:22:03
阅读次数：
116
1. hadoop、hbase、hive、spark、strom、mapreduce、mahout、zookeeper. 2.redis、dubbo、mongodb、memcache、kafka、sqoop. 3. autofac、unity、xunit. 4.serfj restlet httpc
分类：
其他好文 时间：
2016-03-09 23:48:33
阅读次数：
171
集成hive 的前提是apache hadoop 集群能够正常启动。 hadoop 版本 apach2.6.0 hive 版本：1.2.1 1、安装mysql 并赋予权限： 1.1：创建hive 用户和密码： Create user ‘hive’ identified by ‘123456’ 1.2
分类：
数据库 时间：
2016-03-07 16:39:52
阅读次数：
261
1. 窗口函数 LEAD(column_name, n, default_value)，用于统计窗口内往下第n行的值， LAG(column_name, n, default_value)，用于统计窗口内往上第n行的值。 FIRST_VALUE(column_name)，分组窗口排序后，截止到当前行
分类：
其他好文 时间：
2016-03-01 18:42:18
阅读次数：
180
Hadoop=HDFS+Hive+Pig+... HDFS: 存储系统MapReduce：计算系统Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架Pig：基于Hadoop的语言开发的HBase:NoSQL数据库Flume：一个收集处理Hadoop
分类：
其他好文 时间：
2016-02-29 19:52:51
阅读次数：
132
Hadoop、Redis、Memcached、MongoDB、Spark、Storm、云计算、R语言、机器学习、Nginx、Linux、MySQL、Java EE、.NET、PHP Spark 大数据 视频教程 安装 SQL Streaming Scala Hive Hadoop
分类：
数据库 时间：
2016-02-28 18:34:07
阅读次数：
203
Hadoop安装 Hadoop安装 Hive元数据三种存储方式 Derby：hive默认的存储模式，不可以并发调用hive 本地MySQL 远程MySQL 采用第二种方式，安装MySQL，启动并创建Hive用户，创建Hive元数据库 insert into mysql.user(Host,User,...
分类：
其他好文 时间：
2016-02-28 12:26:09
阅读次数：
173
[Author]: kwu Sqoop处理Clob与Blob字段，在Oracle中Clob为大文本。Blob存储二进制文件。遇到这类字段导入hive或者hdfs须要特殊处理。 1、oracle中的測试表 CREATE TABLE T_LOB ( A INTEGER, B CLOB, C BLOB )
分类：
其他好文 时间：
2016-02-28 09:53:02
阅读次数：
439
要点：优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如
分类：
其他好文 时间：
2016-02-26 21:59:40
阅读次数：
274
