Hadoop: 大数据里面的公认的解决方案标准 第一天 Hadoop的基本概念 伪分布式集群安装 hdfs mapreduce 演示 第二天 hdfs原理和使用操作 第三天 mapreduce 的原理和编程 第四天 常见mr算法实现和shuffle的机制 第五天 Hadoop2.x种HA机制的原理和 ...
分类：
其他好文 时间：
2016-10-02 00:10:28
阅读次数：
220
原文地址: http://blog.csdn.net/salonzhou/article/details/47401069 简介 Apache Zookeeper 是由 Apache Hadoop 的 Zookeeper 子项目发展而来，现在已经成为了 Apache 的顶级项目。Zookeeper ...
分类：
其他好文 时间：
2016-10-01 19:56:11
阅读次数：
334
一、安装opensjdk1.8.0yuminstalljava-1.8.0-openjdk-y二、下载hadoop3.0.0wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz三、配置hadoop1、解压hadoop2、编辑etc/hadoop/hadoop-env.shexportJAVA_HOME=‘/usr/lib/jvm/jav..
分类：
其他好文 时间：
2016-10-01 06:53:38
阅读次数：
150
一。问题的由来： 二。解决问题的方法(所有的操作在root下完成)： 1.前期需要的环境，下面的已经在伪分布式中配置好，不再重复 配置好jdk 配置好hadoop 2.上传还需要包 apache-maven-3.0.5-bin.tar.gz和protobuf-2.5.0.tar.gz maven是项 ...
分类：
其他好文 时间：
2016-09-22 15:51:09
阅读次数：
202
本文的配置环境是VMware10+centos2.5。 在学习大数据过程中，首先是要搭建环境，通过实验，在这里简短粘贴书写关于自己搭建大数据伪分布式环境的经验。 如果感觉有问题，欢迎咨询评论。 一:伪分布式准备工作 1.规划目录 2.修改目录所有者和所属组 3.删除原有的jdk 4.上传需要的jdk ...
分类：
系统相关 时间：
2016-09-15 12:24:34
阅读次数：
246
Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0 http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/ Spark快速入门指南 – Spark安装与基础使用 http://dblab.xmu.edu.cn/blog ...
分类：
其他好文 时间：
2016-09-01 18:01:36
阅读次数：
165
Hadoop伪分布式环境搭建： 自动部署脚本： 运行脚本： ...
分类：
其他好文 时间：
2016-09-01 12:49:59
阅读次数：
188
1. /etc/profile JAVA_HOME, HADOOP_HOME export JAVA_HOME=export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$JA ...
分类：
其他好文 时间：
2016-08-26 10:19:56
阅读次数：
147
1、本地连接远端用户没有权限 2、执行时提示，保存三分数据，但是只有一个节点是活的 问题1解决办法：在hdfs-site.xml文件中添加一下配置（是否在HDFS中开启权限检查） <property><name>dfs.permissions.enabled</name><value>false</ ...
分类：
其他好文 时间：
2016-08-25 20:29:00
阅读次数：
120
