一、hadoop安装虚拟机（centos7）Master：192.168.0.228Slave：192.168.0.207软件apache-hive-1.2.1-bin.tar.gzhadoop-2.6.0-cdh5.4.8.tar.gzjdk-8u65-linux-x64.tar.gzmysql-connector-java-5.1.31-bin.jarhbase-0.98.15-hadoop2-bin.tarzookeeper-3.4.6.tar1.关闭防火墙Syste..
分类：
数据库 时间：
2015-11-24 06:23:30
阅读次数：
467
一、在Ubuntu下创建hadoop组和hadoop用户增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。1、创建hadoop用户组2、创建hadoop用户sudo adduser -ingroup hadoop hadoop回车后会提示输入新...
分类：
系统相关 时间：
2015-11-22 13:49:28
阅读次数：
167
1、前期工作：（1）准备三台电脑： 安装Ubuntu14.04（最好用户名都为hadoop，方便后面的文件传输） 网络映射： 分别修改三台的主机名（sudo /etc/hostname）:分别为master,slave1,slave2并配好IP假设为：ip1，ip2，ip3 修改网络...
分类：
其他好文 时间：
2015-11-19 20:59:51
阅读次数：
425
官网链接hadoop配置文件主页：http://hadoop.apache.org/docs/r2.5.2/HDFS hapdoop HA全分布配置:http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHi...
分类：
其他好文 时间：
2015-11-17 18:49:02
阅读次数：
181
一、hadoop2.0安装部署流程 1、自动安装部署：Ambari、Minos（小米）、Cloudera Manager（收费） 2、使用RPM包安装部署：Apache hadoop不支持、HDP与CDH提供 3、使用jar包安装部署：各版本均提供。（初期为了理解hadoop，建议使用这种方式） 部...
分类：
其他好文 时间：
2015-11-15 23:16:32
阅读次数：
259
下图是例子:还用说么，引入相关jar包（等下再一一说明) 包括scala，spark-assembly-1.4.1-hadoop2.5.0-cdh5.2.1.jar(按照你的spark和hadoop版本)，还有在spark的lib下datanucleus的jar，mysql的数据源连接，这都是必须的...
分类：
其他好文 时间：
2015-11-13 00:56:41
阅读次数：
385
安装JDK1.7以上Hadoop2.7.0不支持JDK1.6，Spark1.5.0开始不支持JDK1.6安装Scala2.10.4安装Hadoop2.x至少HDFSspark-env.shexportJAVA_HOME=
exportSCALA_HOME=
exportHADOOP_CONF_DIR=/opt/modules/hadoop-2.2.0/etc/hadoop//运行在yarn上必须要指定
exportSPARK_MASTER_IP=s..
分类：
其他好文 时间：
2015-11-12 06:42:36
阅读次数：
238
关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml? 关于ResourceManager高可靠需要配置的文件有yarn-site.xml? 逻辑结构：? ? NameNode-HA工作原理：? 在一个典型的HA集群中，最好有2台独立...
分类：
其他好文 时间：
2015-11-11 20:53:09
阅读次数：
409
关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml关于ResourceManager高可靠需要配置的文件有yarn-site.xml逻辑结构：NameNode-HA工作原理：在一个典型的HA集群中，最好有2台独立的机器的来配置NameNode角色，无论在...
分类：
其他好文 时间：
2015-11-11 20:40:35
阅读次数：
298
本文不会搞什么Yarn混搭Spark，只想建立一个纯粹的Spark环境，太多层东西搅和在一起，不靠谱。创建spark服务运行帐号# useradd smilesmile帐号就是spark服务的运行帐号。下载安装包在root帐号下，下载最新安装包，注意不是source，而是bin安装包，支持hadoop2.6以后的wget http://mirrors.cnnic.cn/apache/spark/s...
分类：
其他好文 时间：
2015-11-11 16:48:52
阅读次数：
787
