一.环境介绍： 1.安装jdk 7以上 2.python 2.7.11 3.IDE pycharm 4.package: spark-1.6.0-bin-hadoop2.6.tar.gz 二.Setup 1.解压spark-1.6.0-bin-hadoop2.6.tar.gz 到目录D:\spark ...
分类：
编程语言 时间：
2017-03-03 19:19:52
阅读次数：
3238
1.选取三台服务器（CentOS系统64位） 114.55.246.88 主节点 114.55.246.77 从节点 114.55.246.93 从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。 ...
分类：
其他好文 时间：
2017-02-28 15:27:36
阅读次数：
403
上一篇博文已经介绍了搭建scala的开发环境，现在进入正题。如何开发我们的第一个spark程序。下载spark安装包，下载地址http://spark.apache.org/downloads.html（因为开发环境需要引用spark的jar包）我下载的是spark-2.1.0-bin-hadoop2.6.tgz，因为我的scalaIDE版本是scala-SDK..
分类：
其他好文 时间：
2017-02-17 00:53:53
阅读次数：
461
http://blog.csdn.net/ycisacat/article/details/53313833 主要是根据这位前辈的教程来的，其中有一些改动 主从机之间ssh无密码登陆 因为hadoop运行过程中需要主从机很频繁地用ssh登陆，如果没有无密码登陆会需要一直输入密码，（rp如我输多了还可 ...
分类：
系统相关 时间：
2017-02-16 22:09:07
阅读次数：
173
#########安装hadoop2.6.0完全分布式集群#########文件及系统版本：####hadoop-2.6.0Javaversion1.8.0_77centos64位####预备####在/home/hadoop/下：mkdirCloud把java和hadoop安装包放在/home/hadoop/Cloud下####配置静态ip####master192.168.116.100slave1192.168.116.110slav..
分类：
编程语言 时间：
2017-02-09 16:32:08
阅读次数：
234
hadoop web控制台页面的端口整理： 50070：hdfs文件管理 8088：ResourceManager 8042：NodeManager 19888：JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server) ...
分类：
Web程序 时间：
2017-01-31 19:21:15
阅读次数：
247
hadoop-2.5.0\share\hadoop\common 所有jar，hadoop-2.5.0\share\hadoop\common\lib 所有jar，hadoop-2.5.0\share\hadoop\hdfs 所有jar hadoop-2.5.0\share\hadoop\mapre ...
分类：
编程语言 时间：
2017-01-31 15:59:34
阅读次数：
291
start-dfs.sh start-yarn.sh 1、检查hdfs hdfs dfs -ls / http://localhost:50070 2、运行例子程序 hdfs dfs -ls / hdfs dfs -mkdir -R /example/grep/input hdfs dfs -mkd ...
分类：
其他好文 时间：
2017-01-30 22:52:39
阅读次数：
218
1、检查网络配置[root@hadoop-master ~]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop-masterGATEWAY=192.168.126.2 [root@hadoop-master ~]# cat /etc/h ...
分类：
其他好文 时间：
2017-01-30 22:45:03
阅读次数：
296
############################################################# hadoop “util.NativeCodeLoader: Unable to load native-hadoop library for your platform” h ...
分类：
其他好文 时间：
2017-01-30 21:49:14
阅读次数：
227
