hadoop入门(一) 一、概述 1.什么是hadoop hadoop不仅是一个用于存储分布式文件系统,还是设计用来在有通用计算设备组成的大型集群上执行的分布式应用的基础框架。 hadoop框架最核心的设计是mapreduce和HDFS 1.2为什么要选择hadoop 1)扩容：能可靠的处理和存储P ...
分类：
其他好文 时间：
2018-09-21 17:38:43
阅读次数：
216
一、Hadoop 二、HDFS 大文件；一次写，多次读，不能修改；普通硬件就可以存储。 低延迟数据；小文件处理没优势；不适合多次写，随意改的数据 同时可以分布式的读取，读取速度可以大大加快。 副本备份；自动备份； 分块信息保存在：namenode。 分块存储；冗余存储；分布读取； namenode保 ...
分类：
其他好文 时间：
2018-05-07 19:30:30
阅读次数：
154
大数据：Hadoop入门 一：什么是大数据 （1.）大数据是指在一定时间内无法用常规软件对其内容进行抓取，管理和处理的数据集合，简而言之就是数据量非常大，大到无法用常规工具进行处理，如关系型数据库，数据仓库等。这里“大”是一个什么量级呢？如在阿里巴巴每天处理数据达到20PB（即20971520GB） ...
分类：
其他好文 时间：
2017-12-23 23:03:07
阅读次数：
228
大数据：Hadoop入门 一：什么是大数据 （1.）大数据是指在一定时间内无法用常规软件对其内容进行抓取，管理和处理的数据集合，简而言之就是数据量非常大，大到无法用常规工具进行处理，如关系型数据库，数据仓库等。这里“大”是一个什么量级呢？如在阿里巴巴每天处理数据达到20PB（即20971520GB） ...
分类：
其他好文 时间：
2017-12-23 19:01:09
阅读次数：
269
一、hadoop的概念 （1）什么是大数据 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。 （2）hadoop的定义 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop的框架最核心的设计就是：HDFS和M ...
分类：
其他好文 时间：
2017-08-18 11:16:57
阅读次数：
191
1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS（分布式文件系统）B.YARN（运算资源调度系统）C.MAPREDUCE（分布式运算编程框架..
分类：
其他好文 时间：
2017-03-27 12:05:23
阅读次数：
405
说明： hadoop版本：hadoop-2.5.0-cdh5.3.6 环境：centos6.4 必须可联网 hadoop 下载网址： http://archive.cloudera.com/cdh5/cdh/5/ 其实编译还真就是体力活，按照官方的说明，一步步往下做就可以了，不过总会遇到坑。。 编译 ...
分类：
其他好文 时间：
2016-08-04 19:11:50
阅读次数：
196
1.hadoop是什么? 一个适合大数据的分布式存储和计算平台. 是一个平台,分布式的存储和分布式的计算,在平台之上跑的一般都是大数据.抽象的层面理解hadoop就是一个分布式的平台.2.什么是分布式的存储系统? 数据实际被分散存储,但是对于开发人员而言感觉不到.3.什么是分布式计...
分类：
其他好文 时间：
2015-03-17 23:25:55
阅读次数：
264
从数据爆炸开始。。。
1.1 第三次工业革命
第一次：18世纪60年代，手工工厂向机器大生产过渡，以蒸汽机的发明和使用为标志。
第二次：19世纪70年代，各种新技术新发明不断被应用于工业生产，以电力的发明使用为标志。
第三次：20世界四五十年代末，以高新技术为代表的新科学技术革命，以原子能、航天技术和电子计算机
1.2 信息技术发展...
分类：
其他好文 时间：
2014-06-21 21:12:22
阅读次数：
399
