先看看我们出现的问题 我这里是hadoop-2.6.0版本。 如果你也是hadoop2.6的可以下载下面这个： http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar 若是其他的hadoop版本，下载下面这 ...
分类：
移动开发 时间：
2017-04-12 22:52:02
阅读次数：
831
在谷歌趋势上看，spark全球火，而hawq除了中国其他地方也比较火，尤其德国芬兰hawq火。有意思的是hawq的开发团队的老大是华人，是北京某著名大学的08届博士！团队也有好多华人 hive的感觉很呆板，spark天马行空但吃内存并发底。pgsql-->greenplum-->hawq，一路走来， ...
分类：
其他好文 时间：
2017-04-12 02:35:04
阅读次数：
254
通过java程序访问hdfs: hdfs系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定，而这个值默认位于/tmp/hadoop-${user.name}下面， 由于/tmp目录在系统重启时候会被删除，所以应该修改目录位置。 修改core-site.xml(在所 ...
分类：
编程语言 时间：
2017-04-05 16:19:45
阅读次数：
183
本案例搭建的环境介绍如下：Ambari2.4.2+HDP2.5（hadoop2.7；hive1.2；Tez；Spark2.0）+jdk1.8.25+centos7.0,这里首先要关注些注意事项，至于为什么会一一说明。第一部分：注意事项：版本必须低于7.2selinux必须关闭firewalld必须关闭127.0.0.1hosts该条记录删除本地仓库必须搭..
分类：
其他好文 时间：
2017-04-04 17:53:04
阅读次数：
222
1.去清华的镜像站点下载文件spark-2.1.0-bin-hadoop2.7.tgz，因为hadoop安装的是2.7.2的版本 2.把文件解压到/usr/local目录下，解压之后的效果，Hadoop和Spark都在Hadoop用户下 添加Hadoop用户和用户组 然后修改文件夹的用户，用户组以及 ...
分类：
其他好文 时间：
2017-04-03 16:07:58
阅读次数：
211
hadoop2.x以后, 计算框架放在在yarn上 1, yarn.site 2, mapred-stie.xml, 把mapreduce的环境放在yarn中 3, yarn-site.xml, 制定mapreduce运行在哪个框架上 NodeManager 和 Datanode在一块, 不需要配置 ...
分类：
其他好文 时间：
2017-04-02 18:18:18
阅读次数：
124
java开发map_reduce程序 配置系统环境变量HADOOP_HOME，指向hadoop安装目录（如果你不想招惹不必要的麻烦，不要在目录中包含空格或者中文字符） 把HADOOP_HOME/bin加到PATH环境变量（非必要，只是为了方便） 如果是在windows下开发，需要添加windows的 ...
分类：
其他好文 时间：
2017-03-31 10:14:09
阅读次数：
230
其实啊，将spark的压缩包解压好，就已经是spark的最简易安装了。 其实啊，想说的是，只要将spark这压缩包解压好，就已经是spark的最简易安装了。 ...
分类：
其他好文 时间：
2017-03-23 21:42:52
阅读次数：
403
spark-assembly-1.5.2-hadoop2.6.0.jar ...
分类：
其他好文 时间：
2017-03-23 18:30:02
阅读次数：
164
环境：centos6.7|zabbix3.2.4|hadoop2.6.0主要监控进程：journalnode|namenode|zkfc|datanode监控脚本:hadoop.sh#!/bin/bash
server=$1
case$serverin
journalnode)
/etc/init.d/hadoop-hdfs-journalnodestatus>>/dev/null2>&1
echo$?
;;
namenode)
/etc/init.d/..
分类：
系统相关 时间：
2017-03-21 20:26:49
阅读次数：
617
