一：Haddop版本介绍 0.20.x版本最后演化成了现在的1.0.x版本 0.23.x版本最后演化成了现在的2.x版本 hadoop 1.0 指的是1.x(0.20.x),0.21,0.22 hadoop 2.0 指的是2.x,0.23.x CDH3,CDH4分别对应了hadoop1.0 hado ...
分类：
其他好文 时间：
2017-03-19 23:45:56
阅读次数：
271
1. 软件版本：IDE：Intellij IDEA 14，Java：1.7，Scala：2.10.6；Tomcat：7，CDH：5.8.0； Spark：1.6.0-cdh5.8.0-hadoop2....
分类：
编程语言 时间：
2017-03-18 21:34:09
阅读次数：
500
机器部署 准备三台Linux服务器，安装好JDK1.7 下载Spark安装包 上传spark-2.1.0-bin-hadoop2.6.tgz安装包到Linux(intsmaze-131)上 解压安装包到指定位置tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz -C /h ...
分类：
其他好文 时间：
2017-03-17 23:34:42
阅读次数：
357
1 环境 hadoop2.7.3 apache-hive-2.1.1-bin spark-2.1.0-bin-hadoop2.6 jdk1.8 2 配置文件 在hive-site.xml中配置mysql数据库连接。 cp apache-hive-2.1.1-bin/conf/hive-site.xm ...
分类：
其他好文 时间：
2017-03-14 19:00:09
阅读次数：
412
搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive）
Hive配置MySQL,配置常见问题。
分类：
数据库 时间：
2017-03-09 12:04:43
阅读次数：
1058
1、先使用groupadd hadoop 建立hadoop用户组 2、新建用户，useradd -d /usr/hadoop -g hadoop -m hadoop （新建用户hadoop指定用户主目录/usr/hadoop 及所属组hadoop） 3、passwd hadoop 设置hadoop密 ...
分类：
其他好文 时间：
2017-03-08 10:55:46
阅读次数：
152
将工程打成jar 放入到linux中 切换到[root@node4 Desktop]# cd /usr/local/development/spark-2.0-hadoop2.6/bin/ 输入命令 打印出结果 ...
分类：
其他好文 时间：
2017-03-06 23:29:45
阅读次数：
209
1，准备好hbase的linux环境下的压缩包，这里hadoop版本为hadoop2.5.0，hbase版本为 2，解压缩这个版本，不选src的，其实两个任一都行 进入到hbase安装包目录，我这里的是 cd /usr/local/bigdata/hbase/ 命令行命令: tar -zxvf hb ...
分类：
其他好文 时间：
2017-03-05 22:50:58
阅读次数：
203
环境：系统用的是ubuntu15.04 Hadoop2.7.3 虚拟机 master-hadoop ip:192.168.116.129 虚拟机 slave1-hadoop ip:192.168.116.130 虚拟机 slave2-hadoop ip:192.168.116.131 Hadoop ...
分类：
系统相关 时间：
2017-03-05 18:16:52
阅读次数：
219
本文接上篇hadoop2.5.2学习13-MR之新浪微博TF-IDF算法简介
上篇微博实现了第一个mappreduce， 统计的词频TF和微博总数N
本文将统计DF，即每个词条在多少个文章中出现...
分类：
其他好文 时间：
2017-03-04 13:14:09
阅读次数：
296
