情景描述：用户的登录信息以记录的方式被存放在mysql(版本为5.1.73)的表中，现打算使用sqoop将登录记录抽取并存放到hdfs上，并使用mapreduce程序统计每个用户的登录次数。环境描述：采用4台虚拟机部署hadoop2.6.5的完全分布式环境，在其中一台担任namenode节点的主机上安装mysq..
分类：
其他好文 时间：
2017-08-04 16:17:42
阅读次数：
198
脚本分析start-all.sh1）首先进入/soft/Hadoop/sbin目录2）nanostart-all.shsbin/start-all.sh主要做的事情：1)libexec/hadoop-config.sh2)start-dfs.sh3)start-yarn.sh3)catlibexec/hadoop-config.shhadoop_conf_dir=etc/hadoop4)catsbin/start-dfs.shsbin/start-dfs.sh的作用..
分类：
其他好文 时间：
2017-08-01 21:43:17
阅读次数：
140
hbase配置 （前提是zookeeper能正常使用） HBase是主从式结构，HMaster、HRegionServer HBase的伪分布 1.配置环境变量HBASE_HOME 2. 修改文件$HBASE_HOME/conf/hbase-env.sh，修改内容如下 export JAVA_HOM ...
分类：
其他好文 时间：
2017-07-21 13:26:10
阅读次数：
139
Hadoop的环境搭建分为单机模式、伪分布式模式、完全分布式模式。 因为我的本本比较挫，所以就使用伪分布式模式。 安装JDK 一般Linux自带的Java运行环境都是Open JDK，我们到官网下载Oracle JDK（http://www.oracle.com/technetwork/java/j... ...
分类：
其他好文 时间：
2017-07-10 10:32:37
阅读次数：
227
环境是 64bit Ubuntu 14.04 系统, jdk 1.7 以及 Eclipse Mars (4.5) 这里介绍两种调试 Hadoop 源代码的方法: 利用 Eclipse 远程调试工具和打印调试日志. 这两种方法均可以调试伪分布式工作模式和完全分布式工作模式下的 Hadoop. (1) ...
分类：
其他好文 时间：
2017-07-04 12:12:12
阅读次数：
198
(一）软件准备 1，hadoop-2.7.3.tar.gz（包） 2,三台机器装有cetos7的机子 （二）安装步骤 1，给每台机子配相同的用户 进入root : su root 创建用户s: useradd s 修改用户密码：passwd s 2.关闭防火墙及修改每台机的hosts(root 下） ...
分类：
其他好文 时间：
2017-06-21 18:55:37
阅读次数：
283
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
分类：
其他好文 时间：
2017-06-01 11:19:26
阅读次数：
252
hadoop完全分布式的搭建思路？jdk必须安装，所有机器都是一样的。环境变量是PATH,但是在配置PATH的时候，一定要加上.;这是系统原来的环境变量，如果不加这个，可能再次开不出机器。Hadoop安装，可以放在yarn，也可以不放在yarn，环境变量HADOOP_HOME,JAVA_HOME(这个主要是切换j..
分类：
其他好文 时间：
2017-05-18 20:03:38
阅读次数：
132
Hadoop2.7.3 多台主机完全分布式搭建（Mac OS X 10.12.4系统） 前言 由于学校课程实验的要求，特意需要搭建hadoop的完全分布式系统，所以自己就蛋疼的配了，可惜关于MAC系统的Hadoop搭建材料太少，而且真正的基于校园网的配置基本上没有(基本是在一台电脑上进行，因此当在多 ...
分类：
系统相关 时间：
2017-04-29 22:19:03
阅读次数：
343
很久没有更新了，主要是没有时间，今天挤出时间验证了一下，果然还是有些问题的，不过已经解决了，就发上来吧。 PS：小豆腐看仔细了哦~ 关于hadoop环境搭建，从单机模式，到伪分布式，再到完全分布式，我们这里就讨论完全分布式，关于搭建工具，有hadoop+CentOs+VMware，感觉各个版本还是有 ...
分类：
系统相关 时间：
2017-04-25 10:01:43
阅读次数：
1018
