1、安装JDK，我安装的是java1.72、创建管理员账户3、安装ssh服务（如果已有跳过此步）4、ssh无密码验证登陆以上过程略，可参考ubuntu下安装hadoop一文。5、下载并解压hadoop2.6.0安装包tar -xzvf hadoop-2.6.0.tar.gz /Users/hadoo...
分类：
系统相关 时间：
2015-09-02 17:23:59
阅读次数：
256
官网上的教程版本不符,还过于简单(很多必要的步骤没提到),
所以自行网上找教程.
在这里整理一下:
假设java_home已经配置完成,ssh也可连通
1.修改配置文件
以下文件均在 %HADOOP_HOME%/conf/ 下
core-site.xml: Hadoop Core的配置项，例如HDFS和MapReduce常用的I/O设置等。
hdfs-sit...
分类：
其他好文 时间：
2015-08-31 23:44:50
阅读次数：
269
1 基本配置主机名:192.168.145.154 hadoop2=======2etc/hadoop下文件配置1）core-site.xml fs.defaultFS hdfs://hadoop2:8020 io.file.buff...
分类：
其他好文 时间：
2015-08-31 23:23:07
阅读次数：
168
ApacheHadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。Hadoop框架透明地为应用提供可靠性和数据移动。它实现了..
分类：
其他好文 时间：
2015-08-27 19:22:39
阅读次数：
197
hadoop的生态圈：ETL数据的抽娶转换、加载1)安装hive1.解压#tarzvxfhive-0.13.0.tar.gz-C/usr/local#cd/usr/local#ln-sv/usr/local/hive-0.12.0/usr/local/hive2.替换jar包，保持hbase0.98与hadoop1.2一致#cd/usr/hive/lib#rm-rfhbase-0.94*#find/usr/hbase/lib-name"hbase*.ja..
分类：
其他好文 时间：
2015-08-27 19:18:59
阅读次数：
415
hadoop最近可以说是相当火，也勾起了我的兴趣，所以打算学习一下。想要学习hadoop肯定要先学会在自己的电脑上搭建一个hadoop伪分布环境。伪分布模式安装步骤的第一步就是要配置Linux环境。我自己的Linux是Ubuntu系统，不过只要是Linux系统，都大同小异，配置步骤基本没啥区别。
首先，需要进行本地网络配置。我们需要在linux系统下新增一个网络连接，自己设定好ip（ip...
分类：
系统相关 时间：
2015-08-26 22:44:50
阅读次数：
230
安装JDK 1.7+
【下载网址】http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html环境变量设置（最好不要采用openjdk）：export JAVA_HOME=/usr/java/java-1.7.0_71
export JRE_HOME=$JAVA_HOME/jre
export...
分类：
其他好文 时间：
2015-08-26 22:42:31
阅读次数：
335
Hadoop 的安装（依赖库的安装，ssh设置），环境变量的设置，包括独立模式和 单节点伪分布式模式...
分类：
其他好文 时间：
2015-08-25 19:37:30
阅读次数：
122
hadoop2.6伪分布配置：http://blog.csdn.net/gamer_gyt/article/details/46793731
hive1.2 derby元数据库配置：http://blog.csdn.net/gamer_gyt/article/details/47150621
环境说明
hadoop2.6伪分布 Ubuntu14.04 ...
分类：
数据库 时间：
2015-08-19 11:16:47
阅读次数：
331
Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、YARN-Client模式或者YARN-Cluster模式。...
分类：
其他好文 时间：
2015-08-19 09:29:03
阅读次数：
241
