一、数据压缩在hadoop中的意义1、基本概述?压缩技术可以减少底层hdfs的读写字节数。并且能够降低在数据传输过程中占用的网络带宽资源，以及降低占用的磁盘空间。而在MapReduce中，shuffle以及merge过程都面临着巨大的IO压力。但是要注意增加了压缩，另外一方面会增加cpu的负载。所以在要权衡好是否采用压缩，以及采用的压缩算法的特性。2、压缩应用基本原则运算密集型的job，少用压缩。
分类：
其他好文 时间：
2019-10-29 13:44:07
阅读次数：
84
概述hadoop主要是用于应对海量数据的存储和计算的，前面hdfs文件系统，则重点是用于海量数据的存储。那么有了这么多数据，我们又该怎么在这些数据里面来提取我们需要的信息呢？这个时候hadoop中出现了一个非常重要的成员MapReduce。MapReduce是一种编程模型，用于大规模数据集(大于1T... ...
分类：
其他好文 时间：
2019-10-21 00:07:46
阅读次数：
95
[Toc] 接下来以一个简单的WordCount为例子，介绍Java版本的MapReduce的程序编写。 mapreduce程序主要分三部分：1.map部分，2.reduce部分，3.提交部分。 1. 准备部分 hadoop中，针对数据类型自成一体，与java的数据类型对应。封装在hadoop.io ...
分类：
其他好文 时间：
2019-10-15 20:43:33
阅读次数：
91
Hadoop将很多Writable类归入org.apache.hadoop.io包中，在这些类中，比较重要的有Java基本类、Text、Writable集合、ObjectWritable等，重点介绍Java基本类 1. Java基本类型的Writable封装 目前Java基本类型对应的Writabl ...
分类：
编程语言 时间：
2019-10-15 13:33:51
阅读次数：
126
工作需要接触到jstormJStorm集群包含两类节点：主控节点（Nimbus）和工作节点（Supervisor）主控节点（Nimbus）上运行NimbusDaemon。Nimbus负责接收Client提交的Topology，分发代码，分配任务给工作节点，监控集群中运行任务的状态等工作。Nimbus作用类似于Hadoop中JobTracker。工作节点（Supervisor）上运行Supervis
分类：
Web程序 时间：
2019-09-19 22:04:26
阅读次数：
105
Hadoop 中有三大组件：HDFS、MapReduce、YARN，HDFS 负责大文件存储的问题，MapReduce 负责大数据计算，而 YARN 负责资源的调度，接下来的文章我会一一介绍这几个组件。今天我们先来聊聊 HDFS 的架构及文件的读写流程。 总体架构 HDFS 设计的目的是为了存储大数 ...
分类：
其他好文 时间：
2019-08-24 16:56:05
阅读次数：
103
Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口 ...
分类：
其他好文 时间：
2019-08-20 11:09:39
阅读次数：
62
一、主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。 主从结构分类： 1、一主多从 2、多主多从 Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式： 1、主节点 从节点 2、master sl ...
分类：
其他好文 时间：
2019-08-19 00:07:51
阅读次数：
69
sqoop数据迁移 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 工作机制 将导入或导出 ...
分类：
其他好文 时间：
2019-08-15 09:20:19
阅读次数：
76
1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件，提交给HDFS的 （用以存放文件目录树，权限设置，副本数设置等 ...
分类：
其他好文 时间：
2019-08-13 17:25:04
阅读次数：
89
