最近开始研究学习hadoop,想把自己的一些知识点写在这里作为自己的学习记录。同时，如果能够为有需要的朋友带来帮助也是一件快乐的事。这篇文章基本上都是参考网上的资料，我按照自己的理解和实践经验将其组织起来。网上大多教程没有具体介绍操作的背后原因，我按照我的理解以及将一些分布于网上比较散乱的细碎知识点 ...
分类：
其他好文 时间：
2016-10-22 00:14:48
阅读次数：
229
目录 环境准备 创建hadoop用户 更新apt 配置SSH免密登陆 安装配置Java环境 安装Hadoop Hadoop单机/伪分布配置 单机Hadoop 伪分布Hadoop 启动Hadoop 停止Hadoop 目录 作者： vincent_zh时间：2016-10-16 出处：http://ww ...
分类：
其他好文 时间：
2016-10-16 19:19:16
阅读次数：
303
Hbase安装模式介绍 单机模式 1> Hbase不使用HDFS,仅使用本地文件系统 2> ZooKeeper与Hbase运行在同一个JVM中 分布式模式– 伪分布式模式1> 所有进程运行在同一个节点上,不同进程运行在不同的JVM当中2> 比较适合实验测试– 完全分布式模式1> 进程运行在多个服务器 ...
分类：
其他好文 时间：
2016-10-09 23:14:35
阅读次数：
251
1.准备环境 虚拟机（redhat enterprise linux 6.5） jdk-8u92-linux-x64.tar.gz hadoop-0.20.2.tar.gz 2.关闭虚拟机的防火墙，selinux，配置SSH免密码登录 [root@sishen ~]# vim /etc/syscon... ...
分类：
其他好文 时间：
2016-10-09 14:17:50
阅读次数：
243
我们使用之前搭建好的Hadoop环境，可参见：《【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式》http://www.cnblogs.com/ssslinppp/p/5923793.html 示例程序为《Hadoop权威指南3》中的获取最高温度的示例程序；数据准备输入数据为：s... ...
分类：
其他好文 时间：
2016-10-09 13:06:00
阅读次数：
157
不依赖hadoop 百度分享安装包地址：http://pan.baidu.com/s/1dD4BcGT 点击打开链接 解压 并重命名： 进入spark100目录： 修改配置： Cd conf 配置单击节点，故只需要写本机的hostname就可以了。 重命名Spark-env.sh.template ...
分类：
其他好文 时间：
2016-10-04 16:29:33
阅读次数：
156
Hadoop: 大数据里面的公认的解决方案标准 第一天 Hadoop的基本概念 伪分布式集群安装 hdfs mapreduce 演示 第二天 hdfs原理和使用操作 第三天 mapreduce 的原理和编程 第四天 常见mr算法实现和shuffle的机制 第五天 Hadoop2.x种HA机制的原理和 ...
分类：
其他好文 时间：
2016-10-02 00:10:28
阅读次数：
220
原文地址: http://blog.csdn.net/salonzhou/article/details/47401069 简介 Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来，现在已经成为了 Apache 的顶级项目。Zookeeper ...
分类：
其他好文 时间：
2016-10-01 19:56:11
阅读次数：
334
一、安装opensjdk1.8.0yuminstalljava-1.8.0-openjdk-y二、下载hadoop3.0.0wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz三、配置hadoop1、解压hadoop2、编辑etc/hadoop/hadoop-env.shexportJAVA_HOME=‘/usr/lib/jvm/jav..
分类：
其他好文 时间：
2016-10-01 06:53:38
阅读次数：
150
一、 基本环境搭建 1. 设置主机名、静态IP/DNS、主机映射、windows主机映射(方便ssh访问与IP修改)等 设置主机名: vi /etc/sysconfig/network # 重启系统生效(临时修改: hastname xxx;另起一个终端将会看到效果,需要注意的是: 若即将搭建Had ...
分类：
其他好文 时间：
2016-09-30 15:27:18
阅读次数：
183
