前言
首先确保已经搭建好Hadoop集群环境，可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce任务时，发现相比于使用Job.setNumReduceTasks(int)控制reduce任务数量而言，控制map任务数量一直是一个困扰我的问题。好在经过很多摸索与实验，终于梳理出来，希望对在工作中进行Hadoop进行性能调优的新人们有个借鉴。本文只针对FileI...
分类：
其他好文 时间：
2016-04-12 17:23:55
阅读次数：
173
课程大纲及内容简介: 每节课约35分钟，共不下40讲 第一章（11讲） ·分布式和传统单机模式 ·Hadoop背景和工作原理 ·Mapreduce工作原理剖析 ·第二代MR--YARN原理剖析 ·Cloudera Manager 4.1.2安装 ·Cloudera Hadoop 4.1.2 安装 · ...
分类：
其他好文 时间：
2016-04-12 07:06:02
阅读次数：
130
本文旨在提供最基本的，可以用于在生产环境进行Hadoop、HDFS、Hbase分布式环境的搭建，对自己是个总结和整理，也能方便新人学习使用。
安装
JDK
现在直接到Oracle官网（http://www.oracle.com/）寻找JDK7的安装包不太容易，因为现在官方推荐JDK8。找了半天才找到JDK下载列表页的地址（http://www.oracle.com/technetwork/j...
分类：
系统相关 时间：
2016-04-11 14:28:42
阅读次数：
419
一、介绍
以前写完MapReduce任务以后总是打包上传到Hadoop集群，然后通过shell命令去启动任务，然后在各个节点上去查看Log日志文件，后来为了提高开发效率，需要找到通过Ecplise直接将MaprReduce任务直接提交到Hadoop集群中。该章节讲述用户如何从Eclipse的压缩包最终完成Eclipse提价任务给MapReduce集群。
二、详解
1、安装Eclipse，安装...
分类：
系统相关 时间：
2016-03-31 11:04:53
阅读次数：
297
搭建Hadoop集群环境（3台机器） 1 准备环境 1.1 安装系统，并配置网络使3台机器互联互通，且SSH可直连（无需密码、保存私钥） 1.1.1 安装系统 安装Centos 6.5系统 安装过程略 1.1.2 配置网络 设置三台机器的iP分别为 IP 主机名称 10.132.41.116 Had ...
分类：
其他好文 时间：
2016-03-29 14:45:58
阅读次数：
297
搭建5个节点的Hadoop集群节点在实验室192.168.100.20:8006，用户名：root，密码：gzudb604，申请了5个节点，分别是：192.168.100.120 #主节点
192.168.100.123 #节点1
192.168.100.126 #节点2
192.168.100.127 #节点3
192.168.100.128 #节点4网络基本配置255.255.255....
分类：
其他好文 时间：
2016-03-26 07:31:26
阅读次数：
313
一、环境配置由于集群至少需要三台服务器，我就拿上次做的MongoDBMaster,Slave,Arbiter环境来做Hadoop集群。服务器还是ibmcloud免费提供的。其中Arbiter在这里做的也是slave的角色。HostnameIPServerTypeMaster192.168.0.28Centos6.2Slave192.168.0.29Ubuntu14.04Arbiter192.16..
分类：
其他好文 时间：
2016-03-16 01:51:43
阅读次数：
578
软件版本：Sqoop：1.99.4；JDK：1.7；Hadoop2.2；环境：1. Hadoop集群：node12:NameNode、ResourceManager、JobHistoryServer、DataNode、NodeManager； 1.5G内存+10G硬盘+1核node13:SecondaryNameNode、DataNode、NodeManager；1.5G内存+10G硬盘+1核2....
分类：
编程语言 时间：
2016-03-08 15:00:38
阅读次数：
613
集成hive 的前提是apache hadoop 集群能够正常启动。 hadoop 版本 apach2.6.0 hive 版本：1.2.1 1、安装mysql 并赋予权限： 1.1：创建hive 用户和密码： Create user ‘hive’ identified by ‘123456’ 1.2
分类：
数据库 时间：
2016-03-07 16:39:52
阅读次数：
261
1、SecureCRT简介 SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRT
分类：
其他好文 时间：
2016-03-03 13:07:32
阅读次数：
294
