要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。 说来简单，但是应该怎么做呢？不急，本文的主要目的就是让新手看了之后也能够亲自动 ...
分类：
系统相关 时间：
2017-11-09 22:50:48
阅读次数：
421
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统 ...
分类：
其他好文 时间：
2017-11-05 13:50:28
阅读次数：
144
开篇：在本笔记系列的第一篇中，我们介绍了如何搭建伪分布与分布模式的Hadoop集群。现在，我们来了解一下在一个Hadoop分布式集群中，如何动态（不关机且正在运行的情况下）地添加一个Hadoop节点与下架一个Hadoop节点。 一、实验环境结构 本次试验，我们构建的集群是一个主节点，三个从节点的结构 ...
分类：
其他好文 时间：
2017-11-03 13:07:50
阅读次数：
224
Hadoop前面安装的集群是2.6版本，现在升级到2.7版本。注意，这个集群上有运行Hbase，所以，升级前后，需要启停Hbase。更多安装步骤，请参考：Hadoop集群(一)Zookeeper搭建Hadoop集群(二)HDFS搭建Hadoop集群(三)Hbase搭建升级步骤如下：集群IP列表Namenode:
192.168.143.46
192...
分类：
其他好文 时间：
2017-10-26 23:00:12
阅读次数：
201
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器 这样我们就 ...
分类：
其他好文 时间：
2017-10-26 20:04:02
阅读次数：
205
转载请注明出处，谢谢 2017-10-22 17:14:09 之前都是用python开发maprduce程序的，今天试了在windows下通过eclipse java开发，在开发前先搭建开发环境。在此，总结这个过程，希望能够帮助有需要的朋友。 用Hadoop eclipse plugin，可以浏览管 ...
1、离线计算是什么？ 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、***任务调度 1，hivesql 2、调度平台 3、Hadoop集群运维 4、数据清洗（脚本语言） ...
分类：
其他好文 时间：
2017-10-19 00:18:55
阅读次数：
282
导读： 第一章：初识Hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL第六章：一夫多妻制第七章：越来越多的分析任务第八章：我的数据要实时第九章：我的数据要对外第十章：牛逼高大上的机器学习 经常有初学 ...
分类：
其他好文 时间：
2017-10-12 19:06:15
阅读次数：
180
HDFS只是Hadoop最基本的一个服务，很多其他服务，都是基于HDFS展开的。所以部署一个HDFS集群，是很核心的一个动作，也是大数据平台的开始。安装Hadoop集群，首先需要有Zookeeper才可以完成安装。如果没有Zookeeper，请先部署一套Zookeeper。另外，JDK以及物理主机的一些设置等..
分类：
其他好文 时间：
2017-10-11 22:39:19
阅读次数：
224
前面已经完成Zookeeper和HDFS的安装，本文会详细介绍Hbase的安装步骤。以及安装过程中遇到问题的汇总。Hadoop集群搭建(一)ZookeeperHadoop集群搭建(二)HDFS下面开始Hbase的安装。Hbase的服务器规划192.168.67.101c6701--Master+regionserver
192.168.67.102c6702--Master(stand..
分类：
其他好文 时间：
2017-10-11 22:31:26
阅读次数：
145
