本教程是在三台电脑上部署的hadoop正式环境，没有建立用户组，而是在当前用户下直接进行集群的部署的，总结如下：1、三个节点的主机电脑名为：192.168.11.33Master，192.168.11.24Slaver2,192.168.11.4Slaver1，并且这三台主机用户名都要设置一样，我的都是hadoop的用户。因为..
解压后的pycharm相关文件的路径：/home/hadoop2/下载/pycharm-community-4.5.4添加快速启动pycharm命令：（1）进入/usr/local/sbin这个目录中//原来需要进入/pycharm-community-4.5.4/bin/下输入sh pycharm...
分类：
其他好文 时间：
2015-10-22 14:02:21
阅读次数：
494
场景介绍：主机mac pro，安装了两台虚拟机，虚拟机均为Ubuntu系统ubuntu系统配置jdk1、到 Sun 的官网下载http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html2、解压...
分类：
其他好文 时间：
2015-10-20 22:36:08
阅读次数：
246
一切从示例程序开始：示例程序Hadoop2.7 提供的示例程序WordCount.javapackage org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org...
分类：
移动开发 时间：
2015-10-20 12:05:31
阅读次数：
434
spark-submit 脚本应用程序提交流程执行提交命令如下：root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# ./spark-submit --master spark://sparkmaster:7077 --class SparkWordCount --executor-memory 1g /root/IdeaPr...
分类：
其他好文 时间：
2015-10-19 22:36:11
阅读次数：
300
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。Hadoop2.6.0HA集群搭建
分类：
其他好文 时间：
2015-10-19 14:05:32
阅读次数：
99
还算是比较顺利，在代码中注释写得已经比较详细了。附上脚本，有兴趣的朋友可以尝试一下。注意bashrc中添加的环境变量名的修改，否则会出现找不到主类等问题。 1 ###ubuntu 14.04 LTS 2 3 ##make hadoop account 4 sudo addgroup hadoop ....
分类：
其他好文 时间：
2015-10-13 22:41:42
阅读次数：
245
构建Hadoop伪分布式环境 这篇文章介绍Hadoop伪分布式环境的搭建过程与原理，是个人的学习总结，以纪念在各个步骤中遇到的麻烦、踩过的坑！ 这篇笔记包含这样几个内容：
配置伪分布式环境
运行一个简单的作业
可能遇到的问题及解决办法
配置伪分布式环境 本文中的内容基于Hadoop2，即MapReduce作业运行在Yarn平台之上。
打通SSH，实现无密码登陆
由于Hadoop控制脚本需...
分类：
其他好文 时间：
2015-10-13 19:18:26
阅读次数：
230
上一篇，我们从发展历程，架构，MapReduce等方面对比了Hadoop1.x与Hadoop2.x,特别是这这几年，2.x的发展已经可以适合很多的应用场景了。前面我们通过Eclipse插件来进行文件的上传，删除等，下面我们熟悉下Hadoop命令，从而更能直接，强力的对Hadoop进行操作。 下...
分类：
其他好文 时间：
2015-10-12 10:38:37
阅读次数：
361
0.环境说明: 编译所用的操作系统为: [root@host11hadoop-2.7.1-src]#cat/etc/redhat-release CentOSrelease6.5(Final) hadoop的版本为2.7.11.安装依赖软件包: yuminstallsvnautoconfautomakelibtoolcmakencurses-developenssl-develgcc*2.配置java和maven环境: wgetwgethttp://..
分类：
其他好文 时间：
2015-10-03 11:59:44
阅读次数：
205
