为什么要比较，起因是为了提高Hadoop集群的存储和计算效率，尤其是离线Hive作业的效率，为什么比较的是这三者，是因为三者是目前Hive离线作业中正在大规模使用或可能大规模使用的三种主流的相对成熟的...
分类：
其他好文 时间：
2016-12-22 23:07:10
阅读次数：
1959
为了学习Hadoop生态的部署和调优技术，在笔记本上的3台虚拟机部署Hadoop集群环境，要求保证HA，即主要服务没有单点故障，能够执行最基本功能，完成小内存模式的参数调整。 ...
分类：
其他好文 时间：
2016-12-17 02:14:27
阅读次数：
201
刀片服务器、SAN、虚拟化技术“螺旋式前进”这种东西存在于各个领域，在大规模数据存储与处理上，一样如此。曾经，当管理人员购买服务器的时候，如需更高的性能，则会购买更高配置的服务器，这种做法称之为“纵向扩展(Scaleup)”；后来当我们意识到纵向扩展会带来更高的开销时..
分类：
其他好文 时间：
2016-12-16 20:00:15
阅读次数：
173
虚拟机安装不要用Cgywin系统都为32位的Centos5Linux安装ssh协议，安装的时候选中ssh安装包。一、硬件环境2机器，通过hostname进行设置：master(192.168.1.102)slave1(192.168.1.101)该环境目前只有2个节点，有资源的话可以增加slave2、slave3…虚拟机上安装linux的话，用使用桥..
分类：
其他好文 时间：
2016-12-16 19:59:06
阅读次数：
198
Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来 ...
分类：
其他好文 时间：
2016-12-06 22:58:31
阅读次数：
346
环境：VMwareWorkstation8.0 和 Ubuntu14.04 1. 使用三台虚拟机搭建Hadoop集群 2. 一定要在每台机器上配置ssh免密码登录 3. 由于需要给/etc/hosts文件配置3台虚拟机的IP，所以尽量给三台虚拟机设置静态IP。不然即使之前整个集群搭建成功了，但是当某 ...
分类：
其他好文 时间：
2016-12-05 02:18:57
阅读次数：
219
在Linux上搭建Hadoop集群搭建笔记 1、安装虚拟机 下载软件： VMware workstation CentOS 镜像 2、远程连接 下载软件并安装 Xshell5 http://www.netsarang.com/products/xsh_overview.html xftp5 http ...
分类：
系统相关 时间：
2016-12-03 21:07:42
阅读次数：
308
实验性操作是在虚拟机里进行的，除了搭建hadoop本身的操作之外，遇到的其它问题总结如下： 1. 虚拟机挂载windows磁盘： 添加硬件，要保证该硬件此时没有被读写访问等，因为挂载后，该磁盘在宿主机上就不能用了。启动虚拟机linux，执行 fdisk –l 查看windows磁盘的分区，如/dev... ...
分类：
其他好文 时间：
2016-11-27 07:31:47
阅读次数：
188
注 : 待测试 一、准备两三台linux机器，最好是hadoop集群环境 机器A：10.0.0.2 机器B：10.0.0.3 机器C：10.0.0.4 二、个机器安装信息 机器A安装mysql(用于存储元数据信息)与Hive(用于开启hiveserver) 机器B可是作为mysql的主备 机器C作为 ...
分类：
Web程序 时间：
2016-11-25 23:07:17
阅读次数：
229
记一次完全独立完成的统计分析系统的搭建过程，主要用到了PHP+Hadoop+Hive+Thrift+Mysql实现 安装 Hadoop安装: http://www.powerxing.com/install-hadoop/Hadoop集群配置: http://www.powerxing.com/in ...
分类：
Web程序 时间：
2016-11-23 16:36:45
阅读次数：
489
