Hadoop学习

时间：2016-10-02 00:10:28 阅读：220 评论：0 收藏：0 [点我收藏+]

标签：

Hadoop: 大数据里面的公认的解决方案标准

第一天 Hadoop的基本概念伪分布式集群安装 hdfs mapreduce 演示

第二天 hdfs原理和使用操作

第三天 mapreduce 的原理和编程

第四天常见mr算法实现和shuffle的机制

第五天 Hadoop2.x种HA机制的原理和全分布式集群安装部署及维护

第六天 hbase hive

第七天 strom+kafka

第八天实战项目

What is Apache Hadoop?

The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing.

Hadoop 来源

解决问题：

1.海量数据的存储 HDFS

2.海量数据的分析MapReduce

3.资源管理调度 YARN

作者:Doug Cutting

受Google三篇论文的启发（GFS、MapReduce、BigTable）

处理海量数据

面临着公共问题：任务调度、节点存活精度、数据共享、中间节点传递。。。

需要框架的出现，减少开发的工作量

标准框架Hadoop

1.解决特定领域的公共问题：海量集数据的处理

2.Hadoop不是数据库、是有好多框架组成的生态系统。

3.导出文本文件，不是放到数据库中。几十个T放不到MySQL中

4.根本就不是数据库的搞法，但是Hadoop包含有数据库NoSQl

5.直接对文本文件进行处理（写逻辑使用Java或者C++编程），然后分发到集群上进行运行，这就是MapReduce

6.几十个T的文件存储方式：使用HDFS存储，分布式集群，不是存储在一台机器上面，存储在很多的机器上。

7.海量数据的存储以及海量数据的分析组成狭义的Hadoop

Hadoop 0.20~2.5.x发展：

从1.x到2.x多了YARN这部分。

将jar包分发到各个机器上，然后分配一定的资源以及进程资源。这些工作和自己所写的代码的逻辑没有关系。因此这部分的逻辑处理封装为YARN （资源管理调度），MapReduce只管逻辑不管资源分配了。

实时的逻辑计算。。。

Lucene 建立索引

把运算分布到分布的机器上进行运行

作者 Doug Cutting

GFS 存储数据

MapReduce

BigTable 就是一个数据库

解决存储的问题！！！

某些机器负载就会特别大，而其他的机器负载很小！！！

某些机器坏了，这样就会导致文件的丢失！！！

更加可靠更加复杂

存储多个副本即使宕机也没有关系，没有性能下降

文件所在的路径以及存储文件的路径应当有一个对应的关系，这个关系使用NameNode进行映射存储。

多个整数数字进行排序。！！！

能够并发运行的分开，分组并发

写两个程序：Map程序在每个节点并发进行

Reduce程序选择几个节点进行运行

http://hadoop.apache.org

安装-部署-开发-维护

2.4.1

2.5最新版本

最多解出的Cloudera CDH5 和Hadoop的版本号不是一致的

Aparche原生原汁原味

2.4.1

CenOS

搭建Hadoop

测试Hadoop

主机名zpfbuaa

端口219.142.245.200

修改hosts文件

# 219.142.245.200 zpfbuaa

219.142.245.200 zpfbuaa

向hadoop中put数据

1.hadoop fs -put 文件名 hdfs://zpfbuaa:9000/

在hadoop中创建文件夹

1.hadoop fs -mkdir /wordcount/

测试hadoop自带的jar包

1.在share文件夹下

进入hadoop

进入mapreduce

hadoop-mapreduce-examples-2.4.1.jar 包含示例程序

2.运行示例程序

a.hadoop jar hadoop-mapreduce-examples-2.4.1.jar pi 5 5

其中pi表示该程序用来计算pi的值后面的5 5越大计算的pi的结果越精确

b.hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount 文件所在目录输出结果保存目录

可以先建立输出结果的保存目录，然后运行wordcount（计数程序）

配置文件

1.core-site-xml

修改

<property>
<name>fs.defaultFS</name>
<value>hdfs://zpfbuaa:9000/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/data/</value>
</property>

2.hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

3.mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

4. yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>zpfbuaa</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>