简介环境：window7 x64Eclipse Java EE IDE for Web Developers.（Version: Kepler Service Release 1）（Build id: 20130919-0819）HBase （hbase-0.98.3-hadoop2-bin.tar...
分类：
编程语言 时间：
2014-09-02 17:16:45
阅读次数：
496
注意：以下操作基于Hadoop-1.2.1，Eclipse Luna 1、下载插件源码包 https://github.com/winghc/hadoop2x-eclipse-plugin 2、新建eclisep java工程，将压缩包中以下目录的内容复制到project中 hadoop2x-eclipse-p...
分类：
系统相关 时间：
2014-09-01 01:42:32
阅读次数：
1641
前提你得安装有Hadoop 我的版本hadoop2.3-cdh5.1.01、下载maven包2、配置M2_HOME环境变量，配置maven 的bin目录到path路径3、export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCa...
分类：
其他好文 时间：
2014-08-27 18:37:18
阅读次数：
252
前言： Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，...
分类：
其他好文 时间：
2014-08-26 09:51:26
阅读次数：
502
今天碰到的一个 spark问题，困扰好久才解决首先我的spark集群部署使用的部署包是官方提供的spark-1.0.2-bin-hadoop2.tgz部署在hadoop集群上。在运行java jar包的时候使用命令java -jar chinahadoop-1.0-SNAPSHOT.jar chin...
分类：
编程语言 时间：
2014-08-24 08:04:42
阅读次数：
321
部署spark集群使用spark包spark-1.0.2-bin-hadoop2.tgz在spark-shell和java -jar访问hadoop hdfs上的文件写法是有区别的在spark-shell直接使用/user/ning/1.txt 之类的路径，不用加hdfs://host:port 的...
分类：
编程语言 时间：
2014-08-24 08:04:12
阅读次数：
261
hadoop eclipse plugin插件源码编译和Eclipse安装配置
分类：
系统相关 时间：
2014-08-23 18:59:21
阅读次数：
392
环境：Centos6.4 64位Hadoop2.2.0Sun JDK1.7.0_45hive-0.12.0准备工作：yum -y install lzo-devel zlib-devel gcc autoconf automake libtool开始了哦！（1）安装LZOwget http://ww...
分类：
其他好文 时间：
2014-08-23 15:18:00
阅读次数：
1180
hadoop2.0 yarn 内存溢出问题解决异常提示：Container [pid=20170,containerID=container_1390877171119_0002_01_000005] is running beyond virtual memory limits. Current ...
分类：
其他好文 时间：
2014-08-23 15:12:51
阅读次数：
218
YARN加载本地库抛出Unable to load native-hadoop library解决办法用官方的Hadoop2.1.0-beta安装后，每次hadoop命令进去都会抛出这样一个WarningWARN util.NativeCodeLoader: Unable to load nativ...
分类：
其他好文 时间：
2014-08-23 12:30:40
阅读次数：
282
