培训大数据架构开发、挖掘分析！ 从零基础到高级，一对一培训！[技术QQ：2937765541] 课程体系： 获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广，一直在线为你培训解答！)： 获取视频资料和培训解答技术支持地址 ...
分类：
数据库 时间：
2016-04-20 17:53:40
阅读次数：
321
hive普通用户报错：一、报错BootingDerby(versionTheApacheSoftwareFoundation-ApacheDerby-10.10.1.1-(1458268))instancea816c00e-0154-2ed3-cbb2-00000e1ebc98ondatabasedirectory/var/lib/hive/metastore/metastore_dbinREADONLYmodewithclassloadersun.misc.Launcher$AppCl..
分类：
其他好文 时间：
2016-04-20 13:49:31
阅读次数：
261
主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括，YARN,Hcatalog,Oozie,Cassandra,Hama,Whirr,Flume,Bigtop,Crunch,Hue等。从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件..
分类：
其他好文 时间：
2016-04-19 20:20:22
阅读次数：
335
本文主要使用Hive引擎对比测试了两种业界较为认可的列式存储格式——ORC和Parquet，并使用Text存储格式做对比，设置了星状模型、扁平式宽表，嵌套式宽表等多种场景进行测试，以供感兴趣的同学参考。...
分类：
其他好文 时间：
2016-04-19 19:41:57
阅读次数：
236
Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等.这 ...
分类：
其他好文 时间：
2016-04-18 11:27:43
阅读次数：
230
一、简介 CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分，分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包，例如hive、hdfs、spark等等。
由于实验室服务器集群实现了硬件虚拟化，要在虚拟资源重新搭建CDH...
分类：
其他好文 时间：
2016-04-17 22:55:40
阅读次数：
202
?虽然Hive提供了很多函数，但是有些还是难以满足我们的需求。因此Hive提供了自定义函数开发 ?自定义函数包括三种UDF、UADF、UDTF ?UDF(User-Defined-Function) ?UDAF（User- Defined Aggregation Funcation） ?UDTF(U ...
分类：
其他好文 时间：
2016-04-17 11:39:55
阅读次数：
216
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的 Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均 值能代表的价值降低。Hiv ...
分类：
其他好文 时间：
2016-04-15 20:19:39
阅读次数：
246
摘要：Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化， 针对MR全局的优化以及针对整个查询的优化。 一个Hive查询生成多个Ma ...
分类：
数据库 时间：
2016-04-15 11:43:57
阅读次数：
226
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区 ...
分类：
数据库 时间：
2016-04-15 11:43:18
阅读次数：
244
