需要的工具：centos6.5 -64bit 需要的软件：java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake ? 检测系统中是否已安装了某一软...
分类：
其他好文 时间：
2014-11-15 06:47:46
阅读次数：
240
前言： Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；并且它提供高吞吐量（high throughput）来訪问应用程序的数据，适合那些有着超大数据集....
分类：
其他好文 时间：
2014-11-11 14:00:31
阅读次数：
305
在http://www.aboutyun.com/thread-8130-1-1.html 这里看到到，安装过程遇到了上面说的问题，所以将此文转载过来，以备不时之需，感谢此作者。问题导读：1.如果获取hadoop srcmaven包？2.编译hadoop需要装哪些软件？3.如何编译hadoop2.4...
分类：
系统相关 时间：
2014-11-10 17:18:21
阅读次数：
330
IDE：eclipseSpark:spark-1.1.0-bin-hadoop2.4scala:2.10.4创建scala工程，编写wordcount程序如下package com.luogankun.spark.baseimport org.apache.spark.SparkConfimport...
分类：
编程语言 时间：
2014-11-09 23:29:11
阅读次数：
231
说明：hadoop安装，一共有三种部署方式，分别是本地部署、伪分布部署、集群部署。这里我们以伪分布模式为例进行讲解。软件：Myeclipse-2014-GA，hadoop-2.5.1.tar.gz，hadoop-eclipse-plugin-2.5.0.jar软件下载地址：链接: http://pa...
分类：
编程语言 时间：
2014-11-09 19:28:31
阅读次数：
179
eclipse的hadoop插件下载地址：https://github.com/winghc/hadoop2x-eclipse-plugin将下载的压缩包解压，将hadoop-eclipse-kepler-plugin-2.2.0这个jar包扔到eclipse下面的dropins目录下，重启eclipse即可进入windows->Preference配置根目录，这里面的hadoop
insta...
Hadoop2NameNodeHA配置Hadoop2官方提供了两种NameNodeHA的实现方式，分别基于QJM和NFS,这里以基于QJM的HDFSHA为例。实验环境系统版本：CentOSrelease6.4(Final)Hadoop版本：ApacheHadoop2.5.1Hive版本：Hive0.13.1IP列表IPHostnameNameNodeDataNodeRMNodeManagerJournalNode192..
分类：
其他好文 时间：
2014-11-08 02:16:48
阅读次数：
322
第一篇主要是整体的步骤，其实中间遇到很多问题，第二篇将遇到的问题全部列举下来：1.1包不能加载警告WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-j...
分类：
其他好文 时间：
2014-11-07 12:52:08
阅读次数：
1722
