# Hadoop-2.2.0+Hbase-0.96.2+Hive-0.13.1分布式环境整合，超详细哦
# 学习前言
一些基本的东西就不说了，前面已经说过，比如ssh免密码登录，时间同步等，如果不清楚的话请上面看Hadoop-1.x，或者Hadoop-2.X的搭建，那里面很详细。
本来这个早该整理完了，但是这段时间有点小忙，都没有时间去弄，不过今天终于把这个整理完了，以此来帮助那些想学这些新技术的朋友们，虽然整理的时候有点累，但是还是值得的。对云计算有兴趣的朋友可以加上面说的214293307这个群哦，一...
分类：
其他好文 时间：
2014-07-08 19:25:04
阅读次数：
702
不足
即使开启hive权限认证的情况下，任何用户仍然是超级用户，可以通过grant给任何人赋予任何权限，这样权限认证基本没有意义，因此必须在开启权限认证的同时，对执行grant/revoke的实体进行限制，比如只有admin才能 grant privilege on database，只有table owner才能grant privilege on table。BIP中hive目前是没有开...
分类：
其他好文 时间：
2014-07-08 19:07:16
阅读次数：
226
sqoop是一个把关系型数据库数据抽向hadoop的工具。同时，也支持将hive、pig等查询的结果导入关系型数据库中存储。由于，笔者部署的hadoop版本是2.2.0，所以sqoop的版本是：sqoop-1.99.3-bin-hadoop2001、下载sqoop wget http://mirro...
分类：
其他好文 时间：
2014-07-06 15:37:41
阅读次数：
138
1、下载hive:wget http://mirrors.cnnic.cn/apache/hive/hive-0.12.0/hive-0.12.0.tar.gz2、解压hive安装文件 tar -zvxf hive-0.12.0.tar.gz3、配置hive环境变量，初始化hive在hdfs上的工作...
分类：
其他好文 时间：
2014-07-06 15:35:09
阅读次数：
146
override def preStart() { webUi = new WorkerWebUI(this, workDir, Some(webUiPort)) webUi.bind() //创建并绑定UI registerWithMaster() //注册到Master}d...
分类：
其他好文 时间：
2014-07-06 12:54:32
阅读次数：
220
Master.preStart(){ webUi.bind() context.system.scheduler.schedule(0 millis, WORKER_TIMEOUT millis, self, CheckForWorkerTimeOut) //定时任务检测是否有DEAD WORK.....
分类：
移动开发 时间：
2014-07-06 12:51:21
阅读次数：
249
我的CSDN专访。
摘要：EMC公司作为全球信息存储及管理产品方面的领先公司，不久前，EMC宣布收购DSSD加强和巩固了其在行业内的领导地位，日前我们有幸采访到EMC中国的张安站，他就大数据、商业存储、Spark等给大家分享了自己的看法。...
分类：
其他好文 时间：
2014-07-06 12:03:25
阅读次数：
225
DAGScheduler的主要功能1、接收用户提交的job;2、将job根据类型划分为不同的stage，并在每一个stage内产生一系列的task，并封装成TaskSet;3、向TaskScheduler提交TaskSet;以如下示例描述Job提交过程：val sc = new SparkConte...
分类：
其他好文 时间：
2014-07-05 21:16:38
阅读次数：
198
GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化，跟其他分布式图计算框架相比，GraphX最大的贡献是，在Spark之上提供一栈式数据解决方案，可以方便且高效地完成图计算的一整套流水作业。
分类：
其他好文 时间：
2014-07-05 16:50:56
阅读次数：
210
之前一直用phpHiveAdmin，也一直在关注hue，最近打算调研一下hue，hue在最近两年发展很快,页面效果和功能上都有很大程度的提升，所支持的服务也越来越多，除了hive,hbase,目前还支持sqoop,impala,pig等。hue的一个大致架构如下图所示核心服务是HueServer，在本地使用SQLLite作..
分类：
其他好文 时间：
2014-07-04 06:16:59
阅读次数：
469
