本文从Hadoop是什么、能做什么、谁使用三个主要问题去讲解。对于重点知识如MapReduce、YARN、Hadoop生态系统内的其他组件（HBase、Pig、Hive、Zookeeper等）的介绍和使用这里不做详细说明，需要大家对这些内容扩展并深入学习。1、Hadoop是什么及功能1、2002年，Hadoop作为一个..
分类：
其他好文 时间：
2016-12-05 02:54:44
阅读次数：
164
所用版本：hadoop2.6.5 数据样式如下： 辅助类 mapper reducer driver command result ...
分类：
Web程序 时间：
2016-12-05 02:35:12
阅读次数：
209
准备： 确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程，导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties，通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R log4j.appe ...
原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步 ...
分类：
系统相关 时间：
2016-12-03 21:16:34
阅读次数：
409
在此强调：Hadoop，zookpeer，spark，kafka已经正常启动开始安装部署hive基础依赖环境：
1，jdk1.6+
2,hadoop2.x
3，hive0.13-0.19
4，mysql（mysql-connector-jar）安装详细如下：#java
exportJAVA_HOME=/soft/jdk1.7.0_79/
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HO..
分类：
其他好文 时间：
2016-12-02 16:40:56
阅读次数：
249
第一步：准备相关材料 我是要在另一台新服务器上搭建ESXi，部署了5个虚拟机，用 vSphere Client 管理。(注：如果选择CD/DVD驱动器的时候，一直显示正在连接，则需要重启客户端) 这里我选用的是Cloudera公司的CDH版本，问题少一些，并且可以配套下载，避免遇到各种兼容问题。 C ...
分类：
其他好文 时间：
2016-11-30 11:38:13
阅读次数：
589
本文主要内容摘记自电子工业出版社出版的《写给大忙人的Hadoop2》，DouglasEadline著，卢涛李颖译。如想深入了解相关内容，请购买正版书籍阅读。一、大数据的定义大数据不只是数据量大的意思，根据维基百科（http://en.wikipedia.org/wiki/Big_data）,大数据的定义有以下几个特..
分类：
其他好文 时间：
2016-11-30 04:15:19
阅读次数：
145
环境：centos6.7，hadoop2.7.3，虚拟机VMware下载hadoop：http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gznamendoe192.168.137.9;secondnode192.168.137.15;datanode192.168.137.16修改三台主机的/etc/hosts，将namenode,secondnode,datanode信息分别..
分类：
其他好文 时间：
2016-11-29 23:41:15
阅读次数：
170
转载请注明源出处：http://www.cnblogs.com/lighten/p/6106891.html 最近开始学习大数据相关的知识，最著名的就是开源的hadoop平台了。这里记录一下目前最新版的hadoop在Ubuntu系统下的搭建过程。搭建过程中发现一篇十分清晰全面的搭建文章，本文删减了一 ...
分类：
系统相关 时间：
2016-11-27 23:07:03
阅读次数：
484
hadoop2.6 HA平台搭建 一、条件准备 软件条件： Ubuntu14.04 64位操作系统， jdk1.7 64位，Hadoop 2.6.0, zookeeper 3.4.6 硬件条件： 1台主节点机器，配置：cpu 8个，内存32G,硬盘200G 5台从节点机器，配置均为：cpu 4个，内 ...
分类：
其他好文 时间：
2016-11-25 23:38:26
阅读次数：
209
