【目录】Leetcode【目录】多线程【目录】linux【目录】python【目录】Qt【目录】processing【目录】 hadoop2.6.0【目录】计算机网络【目录】编程之美【目录】编程题目【目录】数据结构【目录】其他
分类：
其他好文 时间：
2015-01-02 14:40:46
阅读次数：
194
hadoop2.6.0安装+例子运行数据丢失问题解决通过代码运行程序流程利用Hadoop的 Java API利用JAVA API 实现数据上传
分类：
其他好文 时间：
2015-01-02 14:34:59
阅读次数：
160
1.创建用户 adduser hduser 修改hduser用户权限： sudo vim /ect/sudoers ,在文件中增加 hduser ALL=(ALL:ALL) ALL 。 2.安装ssh并设置无密码登陆 1）sudo apt-get install openssh-serve...
分类：
系统相关 时间：
2014-12-31 16:06:17
阅读次数：
277
1、下载并编译spark源码下载sparkhttp://spark.apache.org/downloads.html我下载的是1.2.0版本解压并编译，在编译前，可以根据自己机器的环境修改相应的pom.xml配置，我的环境是hadoop2.4.1修改个小版本号即可，编译包括了对hive、yarn、ganglia等的支持tarxzf~/source/spark-1..
分类：
其他好文 时间：
2014-12-29 18:36:06
阅读次数：
5133
之前跑了一下hadoop里面自带的例子，现在顺一下如何通过源代码来运行程序。我懒得装eclipse,就全部用命令行了。整体参考官网上的：http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-clie...
分类：
其他好文 时间：
2014-12-27 17:23:15
阅读次数：
150
想自己走一遍从代码到运行的流程，结果各种错，郁闷啊。问题①http://localhost:50070/ 里面一进去就告诉我块丢了....解决：bin/hadoop fsck -delete删除所有有问题的内容
分类：
其他好文 时间：
2014-12-27 17:18:16
阅读次数：
146
Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这种不方便我们调试代码，所以我们自己编译一个Eclipse插件，方便我们在我们本地上调试，经过hadoop1.x的发展，编译hadoop2.x版本的eclipse插件比之前简单多了。接下来我 们开始编译Hadoop-eclipse-plugin插件，并在Eclipse开发Hadoop...
我们hadoop2,4集群默认不支持snappy压缩，但是最近有业务方说他们的部分数据是snappy压缩的（这部分数据由另外一个集群提供给他们时就是snappy压缩格式的）想迁移到到我们集群上面来进行计算，但是直接运行时报错：...
分类：
移动开发 时间：
2014-12-23 00:20:47
阅读次数：
496
编译前的准备:首先安装ANT、ECLIPSE、HADOOP.使用的的HADOOP版本是2.4。1、安装ANT解压：tar-zxvfapache-ant-1.9.4-bin.tar.gz重命名：mvapache-ant-1.9.4ant添加环境变量：exportANT_HOME=#{home}/antexport$PATH=$PATH:ANT_HOME/bin验证：ant-versionapache-ant-1.9.42、将Ec..
分类：
系统相关 时间：
2014-12-22 02:09:39
阅读次数：
211
Windows下的 Eclipse上调试Hadoop2代码，所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.6.0.jar插件，并在运行Hadoop代码时出现了一系列的问题，搞了好几天终于能运行起代码。接下来我们来看看问题并怎么解决，提供给跟我同样遇到的问题作为参考。...
分类：
数据库 时间：
2014-12-20 16:57:19
阅读次数：
583
