通过 搭建Hadoop集群 (二), 我们已经可以顺利运行自带的wordcount程序. 下面学习如何创建自己的Java应用, 放到Hadoop集群上运行, 并且可以通过debug来调试. 有多少种Debug方式 Hadoop在Eclipse上的Debug方式 一般来说, Debug最多的应用场景是
分类：
其他好文 时间：
2016-02-02 21:37:21
阅读次数：
280
工欲善其事必先利其器。Cloudera是一个非常简单方便的，用来部署和管理Hadoop集群的工具。
分类：
其他好文 时间：
2016-01-29 15:34:30
阅读次数：
270
在CentOS 6.7 x64上搭建Hadoop 2.6.3完全分布式环境，并在DigitalOcean上测试成功。 本文假设： 主节点（NameNode）域名（主机名）：m.fredlab.org 子节点（DataNode）域名（主机名）：s1.fredlab.org s2.fredlab.org
分类：
其他好文 时间：
2016-01-29 03:11:03
阅读次数：
154
前面的步骤请看 http://www.cnblogs.com/haibinyuan/p/5153681.html 安装Hadoop 解压安装 登录master, 下载解压hadoop 2.6.2压缩包到/home/hm/文件夹. (也可以从主机拖拽或者psftp压缩包到master) [hm@mas
分类：
其他好文 时间：
2016-01-27 21:15:09
阅读次数：
199
安装步骤：1) JDK -- Hadoop是用Java写的，不安装Java虚拟机怎么运行Hadoop的程序；2）创建专门用于运行和执行hadoop任务（比如map和reduce任务）的linux用户，就像windows下的服务账户，并且授权给他可以访问运行JDK目录权限，让他可以执行java虚拟机。...
分类：
系统相关 时间：
2016-01-10 17:06:59
阅读次数：
419
前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hive sql转化成的mr任务,最终都是以Application应用的身份在跑.这些Application跑完之后,这些信息在jobHistory中就可以看了,可以说hadoop在这方面做得真的非常完整.但是完善归完善.但是jobHistory可以说是一种"事后分析"...
分类：
移动开发 时间：
2016-01-05 09:49:49
阅读次数：
305
作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经...
分类：
其他好文 时间：
2015-12-28 22:09:41
阅读次数：
246
小知识点：half：关机yarn端口：8088删除hdfs目录：hadoop fs -rm -r /wc/outputnamenode两个状态都是standby原因：zookeeper没有比hdfs先启动现在来做一个流量统计的例子：首先数据是这样一张表：见附件统计：（代码）1，flowbean：pa...
分类：
编程语言 时间：
2015-12-04 12:29:51
阅读次数：
198
之前有朋友问如何搭建一个更为稳定、数据更为安全、执行效率更高的Hadoop集群，其实搭建一个HA机制的集群就能满足这些需求。所以就以前的工作上的一些经验和总结来和大家介绍一下什么是高可用的Hadoop集群，以及如何把这个高可用的Hadoop集群搭建起来1、什么是HA机制 1.1、Hadoop-HA....
分类：
其他好文 时间：
2015-12-03 02:17:08
阅读次数：
231
1，免密场景很多用户和场景是需要实现机器之间用户免密登录的。例如hadoop集群，oraclerac等等。2,常规免密操作-----这种方式最简单直接，但是是2点之间的机器A：192.168.1.1机器B:192.168.1.2需求：要求在机器A上可以使用root用户免密登录到机器B（注意，这里登录B也是使用的r..
分类：
系统相关 时间：
2015-12-01 14:57:01
阅读次数：
513
