假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭启动HADOOP1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 关闭HADOOP1. 进入HADOOP_HOME目录。 2. 执行sh bin/stop-al ...
分类：
其他好文 时间：
2016-08-10 22:46:49
阅读次数：
129
memcached已经火了好多年了，现在网上关于memcached的资源相当多了，我就不浪费话语了。干脆写一个实战系列，坚持一切用实施说话。环境介绍Linux虚拟机内核信息[root@hadoop1~]#uname-aLinuxhadoop12.6.32-358.el6.i686内存：1G安装过程1.准备编译环境，安装必须的gcc，make工..
分类：
系统相关 时间：
2016-08-07 01:01:32
阅读次数：
314
大数据开发基础上之图说笔记 1、Hadoop2概览 1.1Hadoop2的组成、演化： 1.2Hadoop2.0——Hadoop1.0演化与改进： 2、HDFS系统概览 2.1HDFS系统的主要特性与适用场景： 2.2HDFS的体系结构： 2.3HDFS的构成 2.4HDFS的读流程： 2.5HDF ...
分类：
其他好文 时间：
2016-07-31 14:29:27
阅读次数：
126
作为一个搬砖的低级码农，在复制和粘贴中漫无目的的度过数个春秋，直到某天发现进来的90后才发现自己已经在虚伪无用的搬砖技能中麻木了太长时间。是时候展现真正的技术了---大数据。第一次接触大数据的时候，是处于炫耀的心态才了解了一点点，那时候还是hadoop1，看了点皮毛，..
分类：
其他好文 时间：
2016-06-30 14:44:56
阅读次数：
151
一、实用网站 1. linux内核版本 www.kernel.org 2. 查看网站服务器使用的系统 www.netcraft.com 二、推荐书籍 1. 《Hadoop权威指南》 1-3版： Hadoop1系列 4版（目前仅有英文原版）：Hadoop2系列 yarn高可用性，HA 2. 《Hive ...
分类：
其他好文 时间：
2016-06-25 10:53:41
阅读次数：
127
1.Hadoop1.0和2.0的区别 1.0 = hdfs + mapreduce 2.0 = hdfs + yarn + mapreduce + other dataprocess 2.软件层次 1. 分布式存储层 HDFS a,良好的扩展性 b,高容错性 c,适合PB以上的数据 组成： mast ...
分类：
其他好文 时间：
2016-06-24 18:42:04
阅读次数：
167
1.关于磁盘使用策略，介绍参考http://www.it165.net/admin/html/201410/3860.html 在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式： 第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeCh ...
分类：
其他好文 时间：
2016-06-24 10:43:38
阅读次数：
629
工作这么多年了，从零开始学习 大数据，现在把提纲保存一下。 一、Hadoop入门，了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述6、Hadoop生态圈以及 ...
分类：
其他好文 时间：
2016-06-23 16:08:41
阅读次数：
255
Datanode备份机制有各个dn节点自行控制，并不是由客户端发起。因为客户端远程传输消耗比各个dn节点传输消耗大（一般备份节点通常在一个机房，传输速度快）安全模式类似系统初始化，这个时段一般是namenode加载metadata，datanode向namednode汇报各个节点block的位置信息的过程..
分类：
其他好文 时间：
2016-06-04 18:07:20
阅读次数：
480
目录说明在编译之前，我们需要先下载后hadoop1.2.1的源码文件，并解压到合适的位置。目录结构如下：Eclipse：D:\eclipseHadoop：D:\hadoop-1.2.1Step1导入Hadoop-eclipse插件工程1.下载hadoop-1.2.1.tar.gz,并解压缩到D盘根目录下2.在Eclipse中选择File—>Import—>Gener..
分类：
系统相关 时间：
2016-06-04 18:04:59
阅读次数：
217
