一、Hive集群安装1，安装好Hadoop，并启动HDFS和YARN。2，下载hive1.2.1http://apache.fayea.com/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz上传文件至集群中3.安装Hiveroot@spark-master:~#ls
apache-hive-1.2.1-bin.tar.gzcorelinks-anon.txtaaa公共的模板视频图片文档下..
分类：
其他好文 时间：
2016-03-15 00:54:30
阅读次数：
527
一、获取数据搜狗实验室为我们提供了用户使用搜狗搜索引擎查询的日志，下载地址为http://download.labs.sogou.com/dl/q.html本文选择下载精简版。数据格式如下：二、上传数据至HDFS建立hdfs目录root@spark-master:~#hdfsdfs-mkdir-p/library/sougou上传文件root@spark-master:~..
分类：
其他好文 时间：
2016-03-15 00:47:36
阅读次数：
462
1，首先需要安装hive，参考http://lqding.blog.51cto.com/9123978/17509672，在spark的配置目录下添加配置文件，让Spark可以访问hive的metastore。root@spark-master:/usr/local/spark/spark-1.6.0-bin-hadoop2.6/conf#vihive-site.xml
<configuration>
<property>..
分类：
数据库 时间：
2016-03-15 00:39:51
阅读次数：
633
一、Hive的历史价值1，大数据因Hadoop而知名，而Hadoop又因Hive而实用。Hive是Hadoop上的KillerApplication，Hive是Hadoop上的数据仓库，同时Hive兼具有数据仓库中的存储和查询引擎。而SparkSQL是一个更加出色和高级的查询引擎，并不提供存储功能。所以SparkSQL无法取代Hive，..
分类：
其他好文 时间：
2016-03-14 16:48:05
阅读次数：
296
Author： kwu 【解决】hive动态添加partitions不能超过100的问题，全量动态生成partitions超过100会出现例如以下异常：
分类：
其他好文 时间：
2016-03-14 08:22:03
阅读次数：
116
1. hadoop、hbase、hive、spark、strom、mapreduce、mahout、zookeeper. 2.redis、dubbo、mongodb、memcache、kafka、sqoop. 3. autofac、unity、xunit. 4.serfj restlet httpc
分类：
其他好文 时间：
2016-03-09 23:48:33
阅读次数：
171
集成hive 的前提是apache hadoop 集群能够正常启动。 hadoop 版本 apach2.6.0 hive 版本：1.2.1 1、安装mysql 并赋予权限： 1.1：创建hive 用户和密码： Create user ‘hive’ identified by ‘123456’ 1.2
分类：
数据库 时间：
2016-03-07 16:39:52
阅读次数：
261
1. 窗口函数 LEAD(column_name, n, default_value)，用于统计窗口内往下第n行的值， LAG(column_name, n, default_value)，用于统计窗口内往上第n行的值。 FIRST_VALUE(column_name)，分组窗口排序后，截止到当前行
分类：
其他好文 时间：
2016-03-01 18:42:18
阅读次数：
180
Hadoop=HDFS+Hive+Pig+... HDFS: 存储系统MapReduce：计算系统Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架Pig：基于Hadoop的语言开发的HBase:NoSQL数据库Flume：一个收集处理Hadoop
分类：
其他好文 时间：
2016-02-29 19:52:51
阅读次数：
132
Hadoop、Redis、Memcached、MongoDB、Spark、Storm、云计算、R语言、机器学习、Nginx、Linux、MySQL、Java EE、.NET、PHP Spark 大数据 视频教程 安装 SQL Streaming Scala Hive Hadoop
分类：
数据库 时间：
2016-02-28 18:34:07
阅读次数：
203
