Hadoop集群规范硬盘选型 尽管建议采用RAID（Redundant Array of Independent Disk，即磁盘阵列）作为NameNode的存储器以保护元数据，但是若将RAID作为DataNode的存储设备则不会给HDFS带来益处。HDFS所提供的节点间数据复制技术已能满足数据备....
分类：
其他好文 时间：
2015-08-26 17:24:31
阅读次数：
214
何为Sahara The Sahara project provides a simple means to provision a Hadoop cluster on top of OpenStack 即基于OpenStack提供简单的Hadoop集群创建和管理方式。 Sahara提供的功能 *????? Hadoop clust...
分类：
其他好文 时间：
2015-08-26 14:10:41
阅读次数：
145
前言在Hadoop集群中，按照集群规模来划分，规模可大可小，大的例如百度，据说有4000台规模大小的Hadoop集群，小的话，几十台机器组成的集群也都是存在的。但是不论说是大型的集群以及小规模的集群，都免不了出现节点故障的情况，尤其是超大型的集群，节点故障几乎天天发生，因此如何做到正确，稳妥的故障情况处理，就显得很重要了，这里提供一个在Hadoop集群中可以想到的办法，就是Decommission...
分类：
其他好文 时间：
2015-08-20 09:12:18
阅读次数：
176
闲来无事，突然看到关于Hadoop集群。以前也了解过，网上找过一些关于百度，谷歌等底层hadoop集群的文档，可是面对很多陌生的技术，看不太通透。所有想自己动手虚拟机试试。经常听到这么高大上的名词，Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实..
分类：
系统相关 时间：
2015-08-16 23:28:43
阅读次数：
229
背景这一篇可以说是“HiveJSON数据处理的一点探索”的兄弟篇。平台为了加速即席查询的分析效率，在我们的Hadoop集群上安装部署了Spark Server，并且与我们的Hive数据仓库共享元数据。也就是说，我们的用户即可以通过HiveServer2使用Hive SQL执行MapReduce分析数...
分类：
数据库 时间：
2015-08-14 15:15:07
阅读次数：
334
硬盘在服务器中起着至关重要的作用，对于硬盘的管理是IAAS部门的责任，但作为业务运维也需要懂得相关的技术。
可以采用LVM或裸盘来管理硬盘，用裸盘的好处是节省了硬盘I/O速度。需要根据不同的场景采用不同的方式来管理。...
分类：
其他好文 时间：
2015-08-11 16:15:17
阅读次数：
442
转自：http://www.uml.org.cn/sjjm/201508103.asp 作者：Uri Margalit 来源：InfoQ 发布于：2015-8-10TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行...
分类：
其他好文 时间：
2015-08-10 17:46:57
阅读次数：
240
这个过程，是针对如何在eclipse中编写hadoop2.x对应的MapReduce程序，然后打包并上传到hadoop集群执行的过程。
1. 下载hadoop2.x的tar包，解压到某个目录下（注： 不是源码包，是安装包）
2. 将hadoop2x-eclipse插件导入eclipse：
（1） 编译插件。插件源码地址 https://github.com/win...
分类：
系统相关 时间：
2015-08-10 13:40:54
阅读次数：
219
文章概览：1、前言2、Eclipse查看远程hadoop集群文件3、Eclipse提交远程hadoop集群任务4、小结1 前言 Hadoop高可用品台搭建完备后，参见《Hadoop高可用平台搭建》，下一步是在集群上跑任务，本文主要讲述Eclipse远程提交hadoop集群任务。2Eclipse查看....
分类：
系统相关 时间：
2015-08-10 13:24:48
阅读次数：
430
2.1 Storm基本概念在运行一个Storm任务之前，需要了解一些概念：TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfigurationStorm集群和Hadoop集群表面上看很类似。但是Hadoop上...
分类：
其他好文 时间：
2015-08-04 00:16:30
阅读次数：
204
