培训大数据架构开发、挖掘分析！ 从零基础到高级，一对一培训！[技术QQ：2937765541] 课程体系： 获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广，一直在线为你培训解答！)： 获取视频资料和培训解答技术支持地址 ...
分类：
数据库 时间：
2016-04-28 00:18:47
阅读次数：
247
sort by 不受 hive.mapred.mode 的值是否为 strict 和 nostrict 的影响。sort by 的数据只能保证在同一个 Reduce 中的数据可以按指定字段排序；DISTRIBUTE BY 排序查询 按照指定的字段对数据划分到不同的输出 Reduce 文件中；CLUSTER BY 查询 cluster by 除了具有 distribute by 的功能外还兼...
分类：
其他好文 时间：
2016-04-26 21:03:49
阅读次数：
204
一、Sqoop介绍Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。Sqoop目前已经是Apache的顶级项目了，目前版本..
分类：
其他好文 时间：
2016-04-23 15:05:32
阅读次数：
193
一、Hive是什么？ Hive 是基于 Hadoop 构建的一套数据仓库分析系统，它提供了丰富的 SQL 查询方式来分析存储在 Hadoop 分布式文件系统中的数据， 可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行，通过自己的 SQL 去 查询分析需要的内容，这套 SQL 简称 Hive SQL。
二...
分类：
其他好文 时间：
2016-04-23 12:01:58
阅读次数：
238
环境要求：mysqlhadoophive版本为：apache-hive-1.2.1-bin.tar1.设置hive用户进入mysql命令行，创建hive用户并赋予所有权限：mysql-uroot-prootmysql>createuser‘hive‘identifiedby‘hive‘;mysql>grantallon*.*TO‘hive‘@‘%‘withgrantoption;mysql>flushprivileges;2.创..
分类：
其他好文 时间：
2016-04-23 01:48:26
阅读次数：
275
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架...
分类：
其他好文 时间：
2016-04-22 19:55:01
阅读次数：
129
1 Ranger简介
Apache Ranger提供一个集中式安全管理框架,它可以对Hadoop生态的组件如Hive,Hbase进行细粒度的数据访问控制.通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限.这些策略可以为不同的用户和组来设置,同时权限可与hadoop无缝对接.
2 准备
2.1 环境说明
1 Ra...
分类：
Web程序 时间：
2016-04-22 19:49:59
阅读次数：
1306
培训大数据架构开发、挖掘分析！ 从零基础到高级，一对一培训！[技术QQ：2937765541] 课程体系： 获取视频资料和培训解答技术支持地址 课程展示(大数据技术很广，一直在线为你培训解答！)： 获取视频资料和培训解答技术支持地址 ...
分类：
数据库 时间：
2016-04-20 17:53:40
阅读次数：
321
hive普通用户报错：一、报错BootingDerby(versionTheApacheSoftwareFoundation-ApacheDerby-10.10.1.1-(1458268))instancea816c00e-0154-2ed3-cbb2-00000e1ebc98ondatabasedirectory/var/lib/hive/metastore/metastore_dbinREADONLYmodewithclassloadersun.misc.Launcher$AppCl..
分类：
其他好文 时间：
2016-04-20 13:49:31
阅读次数：
261
主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括，YARN,Hcatalog,Oozie,Cassandra,Hama,Whirr,Flume,Bigtop,Crunch,Hue等。从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件..
分类：
其他好文 时间：
2016-04-19 20:20:22
阅读次数：
335
