配置之前的准备 环境 centos 7.2+ 了解hadoop以及后面一系列需要的服务之间的大致关系，以及相互的支持连接所需物件。 1.账户 useradd -m hadoop -s /bin/bash # -m 完整的用户空间（在/home里自建一个用户文件夹并配置相关文件夹） # -s 确定sh ...
分类：
其他好文 时间：
2018-01-21 22:40:32
阅读次数：
197
* Hadoop-CDH源码编译 这一节我们主要讲解一下根据CDH源码包手动编译的过程，至于为什么要使用CDH，前几节已经说明，那为什么又要自己手动编译，因为CDH的5.3.6对应的Hadoop2.5.0没有native动态库，很多压缩功能无法使用。 * 首先源码包下载： http://archiv ...
分类：
其他好文 时间：
2018-01-12 22:47:05
阅读次数：
370
* HBase框架基础（四） 上一节我们介绍了如何使用HBase搞一些MapReduce小程序，其主要作用呢是可以做一些数据清洗和分析或者导入数据的工作，这一节我们来介绍如何使用HBase与其他框架进行搭配使用。 * HBase与Hive 在开始HBase与Hive搭配使用前，我们复习一下这两个框架 ...
分类：
其他好文 时间：
2018-01-12 22:32:09
阅读次数：
213
Mac配置hadoop1.修改 /etc/hosts127.0.0.1 localhost2.下载hadoop2.9.0和jdk并安装配置相应环境 vim /etc/profile export HADOOP_HOME=/Users/yg/app/cluster/hadoop-2.9.0 expor ...
分类：
系统相关 时间：
2018-01-04 18:10:36
阅读次数：
287
本篇主要讲述了如何在CentOS7下部署Hadoop，包括了Hadoop运行的支持组件以及Hadoop的配置，并简单介绍了一下HDFS这个分布式文件系统的命令及用法，最后通过运行简单的MapReduce示例来演示如何运行MapReduce程序。
分类：
系统相关 时间：
2017-12-26 17:45:45
阅读次数：
538
Hadoop配置 一、配置jdk 二、配置ssh及免密登录 三、上传hadoop2.6.4.tar.gz文件到linux1 四、创建安装目录，并把hadoop2.6.4.tar.gz文件解压到目录中 命令：tar -zxvf hadoop-2.6.4.tar.gz 我的解压目录：/root/app/ ...
分类：
其他好文 时间：
2017-12-25 18:19:41
阅读次数：
402
参考 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 1、下载并解压 2、设置环境变量 3、修改hadoop-env.sh 4、修改core-site.xml 5、修 ...
分类：
其他好文 时间：
2017-12-23 19:09:16
阅读次数：
138
原文引自：http://blog.sina.com.cn/s/blog_628cc2b70102w9up.html 一、初始化SparkContext System.setProperty("hadoop.home.dir", "D:\\spark-1.6.1-bin-hadoop2.6\\spar ...
分类：
编程语言 时间：
2017-12-22 15:55:17
阅读次数：
188
在ubuntu16.4下spark的单机/伪分布式配置我在此就不在一一赘述，详情请点击如下连接： Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 我出现问题是在配置好伪分布式的文件并且NameNode 的格式化正确我弄成后，在启动hdfs时出现如下错误： 此 ...
分类：
系统相关 时间：
2017-12-18 01:14:10
阅读次数：
188
1.1设置机器名：hostname gedit /etc/sysconfig/network Scala http://www.scala lang.org/ cd /opt mkdir scala cp /home/hserver1/desktop/scala 2.12.2.tgz /opt/sc ...
分类：
其他好文 时间：
2017-12-11 22:09:04
阅读次数：
236
