前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hive sql转化成的mr任务,最终都是以Application应用的身份在跑.这些Application跑完之后,这些信息在jobHistory中就可以看了,可以说hadoop在这方面做得真的非常完整.但是完善归完善.但是jobHistory可以说是一种"事后分析"...
分类：
移动开发 时间：
2016-01-05 09:49:49
阅读次数：
305
课程观看地址：http://www.xuetuwuyou.com/course/62课程出自学途无忧网：http://www.xuetuwuyou.com一、软件版本Centos6.5、VMware10CDH5.2.0（Hadoop2.5.0）Hive-0.13sqoop-1.4.5二、学完课程之后，您可以：①、一个人搞定企业Hadoop平台搭建和运维工作；界面化高效运维和监..
分类：
其他好文 时间：
2016-01-04 17:04:21
阅读次数：
219
错误一：Hive的where后不能用字段的别名，错误二：hive的groupby中不能用自己定义函数，否则报错（用嵌套select取代）错误三：运行：$ ./hive_game_operationstatis5.sh时，报错信息例如以下：./hive_game_operationstatis5.sh...
分类：
数据库 时间：
2016-01-04 10:11:48
阅读次数：
338
问题产生原因：用户在创建文件时候，其创建的文件的属主和属组都是用户本身，所以让组具有写权限并不意味着其他用户具有写权限解决方案：给共同访问的目录添加SGID权限解决过程：场景举例：比如一个公司的开发团队有三个用户：Hadoop、habase、hive有一个文件目录tmp/project供..
分类：
系统相关 时间：
2015-12-31 07:29:07
阅读次数：
1855
最近，大数据风靡一时，也成为我们码农热捧的技术。大家疯狂的搭配hadoop环境，翻看各种hadoop技术的书，浏览hadoop、hive、storm等技术。过了一段时间，当我们想用这些技术对数据练习的时候。面对从网上下来了测试数据，要么束手无策，要么不管三七二十一就来一个统计回归模型。 我们对...
分类：
其他好文 时间：
2015-12-30 06:57:28
阅读次数：
168
想使用spark sql cli 直接读取hive中表来做分析的话只需要简答的几部设置就可以了1.拷贝hive-site.xml 至spark confcd /usr/local/hive/conf/hive-site.xml /usr/local/spark-1.5.1/conf/2.配置spar...
分类：
数据库 时间：
2015-12-28 15:48:25
阅读次数：
306
《Programming Hive》读书笔记（一）Hadoop和Hive环境搭建 先把主要的技术和工具学好，才干更高效地思考和工作。Chapter 1.Introduction 简单介绍Chapter 2.Getting Started 环境配置Hadoop版本号会更新，以官方安装教程为准...
分类：
其他好文 时间：
2015-12-26 16:37:19
阅读次数：
188
cm 安装cdh 后添加hive服务，出现错误提示添加服务时候hive 配置如下：错误信息提示：错误日志：xec /opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hadoop/bin/hadoop jar /opt/cloudera/parce...
分类：
其他好文 时间：
2015-12-25 17:10:56
阅读次数：
1248
Hive是一个基于Hadoop的数据仓库，提供比较完整的SQL功能（本质还是将SQL转换为MapReduce），可供数据分析师利用Hadoop对海量数据进行分析。但是，Hive也有自身的缺点，比如比较慢等。一. Hive的工作原理和结构二. Hive的基本操作1. 表操作2. 视图操作3. 索引操作...
分类：
其他好文 时间：
2015-12-25 01:13:12
阅读次数：
234
转自：http://blog.chinaunix.net/uid-27177626-id-4653808.htmlHive三种不同的数据导出的方式，根据导出的地方不一样，将这些方法分为三类：（1）导出到本地文件系统（2）导出到HDFS（3）导出到hive的另一个表中导出到本地文件系统执行：hive>...
分类：
其他好文 时间：
2015-12-24 00:18:52
阅读次数：
334
