参考 ant安装目录/usr/apache-ant-1.9.7 成功安装ant 在PC端给eclipse安装hadoop插件，连接另一台电脑的hadoop伪分布式。 未成功[忧伤][忧伤] ...
分类：
系统相关 时间：
2017-02-13 21:42:04
阅读次数：
177
Hadoop部署方式
本地模式
伪分布模式(在一台机器中模拟，让所有进程在一台机器上运行)
集群模式 服务器只是一堆废铁而已，上面跑了tomcat，我们叫它web服务器；上面跑了mysql，我们叫它...
分类：
其他好文 时间：
2017-02-09 16:15:32
阅读次数：
126
步骤1：修改IP 地址和主机名： vi /etc/sysconfig/network-scripts/ifcfg-eth0 如果该文件打开为空白文件代表你计算机上的网卡文件不是这个名称“ifcfg-eth0” ，可以 cd /etc/sysconfig/network-scripts/ 这个目录查看 ...
分类：
其他好文 时间：
2017-02-09 10:54:17
阅读次数：
257
昨天测试环境的Hbase启动有问题,日志中显示: transaction type: 1 error: KeeperErrorCode = NoNode for /hbase hmaster等其他进程日志中显示连接不上zookeeper，发现zookeeper启动有问题。 于是判断可能是zookee ...
分类：
其他好文 时间：
2017-02-07 13:55:48
阅读次数：
177
1、检查网络配置[root@hadoop-master ~]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop-masterGATEWAY=192.168.126.2 [root@hadoop-master ~]# cat /etc/h ...
分类：
其他好文 时间：
2017-01-30 22:45:03
阅读次数：
296
伪分布式需要修改5个配置文件（hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop） 第一个：hadoop-env.sh 第二个：core-site.xml 第三个：hdfs-site.xml 第四个：mapred-site.xml (mv mapred-site.xml.te ...
分类：
系统相关 时间：
2017-01-22 07:51:40
阅读次数：
198
上一篇文章介绍了在ubuntu系统中安装Hadoop的伪分布式环境，这篇文章主要为MapReduce开发环境的搭建流程。1.HDFS伪分布式配置使用MapReduce时，如果需要与HDFS建立连接，及...
分类：
其他好文 时间：
2017-01-20 10:05:50
阅读次数：
378
1. 下载解压 2. 在conf目录下，新建3个文件(3台服务器)：zoo1.cfg、zoo2.cfg、zoo3.cfg zoo1.cfg: tickTime=2000dataDir=/tmp/zookeeper1clientPort=2181initLimit=5syncLimit=2server ...
分类：
其他好文 时间：
2017-01-12 08:01:10
阅读次数：
151
因为工作需要，要搭建一个虚拟机，做一个伪分布式的开发环境。搭建很顺利，测试环境不用考虑太多，启动hdfs，搞定！启动yarn，搞定。运行一个examples看看，结果作业一直卡在accepted状态，一直没有真正运行，而且从日志上看，也没有任何的报错信息。这个问题困惑了两天，搜索..
分类：
其他好文 时间：
2017-01-07 21:27:38
阅读次数：
522
Map阶段的优化(Map phase) Mapred.min.split.size指的是数据的最小分割单元大小。 Mapred.max.split.size指的是数据的最大分割单元大小。 dfs.block.size指的是HDFS设置的数据块大小。 Reduce阶段的优化(Reduce phase) ...
分类：
数据库 时间：
2017-01-03 20:20:41
阅读次数：
319
