认知和学习Hadoop，我们必须得了解Hadoop的构成，我根据自己的经验通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍： 一、 Hadoop组件 由图我们可以看到Hadoop组件由底层的Hadoop核心构件以及上层的Hadoop生态系统共同集成，而上层的生态系统都是基于 ...
分类：
其他好文 时间：
2020-10-29 10:11:31
阅读次数：
19
Hadoop基础之环境搭建 环境搭建 本地环境 可以用于开发的单节点模式，没有分布式的概念 伪分布式环境 一个节点表示一整个集群，但是分布式的概念，一个节点充当分布式里的所有角色 完全分布式 一个集群中有N个节点，他们分别充当分布式中不同的角色，完成不同的任务 伪分布式环境搭建 下载安装包 Hado ...
分类：
其他好文 时间：
2020-10-26 11:17:07
阅读次数：
16
1、Sqoop参数 /opt/module/sqoop/bin/sqoop import \ --connect \ --username \ --password \ --target-dir \ --delete-target-dir \ --num-mappers \ --fields-ter ...
分类：
其他好文 时间：
2020-10-06 21:17:18
阅读次数：
41
视频学习： https://www.bilibili.com/video/BV1z441127qT?p=1 一、应用现状 一、项目结构 二、安装和使用 安装教程：https://www.bilibili.com/video/BV1z441127qT?p=5 ...
分类：
其他好文 时间：
2020-08-10 23:16:57
阅读次数：
82
JDK下载与配置 Hadoop下载，安装与部署 由于Hadoop是由java编程而写，所有运行环境需要java支持，Hadoop需java1.6及以上支持。 1.JDK 下载与配置 查看当前系统jdk，chuxianOpen JDK 需要卸载 rpm -qa | grep jdk rpm -e -- ...
分类：
其他好文 时间：
2020-08-08 17:41:47
阅读次数：
71
4 开启 Reduce 输出阶段压缩 当 Hive 将 输 出 写 入 到 表 中 时 ， 输 出 内 容 同 样 可 以 进 行 压 缩 。 属 性hive.exec.compress.output 控制着这个功能。用户可能需要保持默认设置文件中的默认值 false， 这样默认的输出就是非压缩的纯 ...
分类：
其他好文 时间：
2020-07-24 21:30:31
阅读次数：
69
1 Hadoop 源码编译支持 Snappy 压缩 1.1 资源准备 1．CentOS 联网 配置 CentOS 能连接外网。Linux 虚拟机 ping www.baidu.com 是畅通的 注意：采用 root 角色编译，减少文件夹权限出现问题 2．jar 包准备(hadoop 源码、JDK8 ...
分类：
其他好文 时间：
2020-07-23 22:32:44
阅读次数：
73
1 数据导入 1.1 向表中装载数据（Load） 1．语法 hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1, ...
分类：
其他好文 时间：
2020-07-22 20:27:55
阅读次数：
71
1．需求 某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。 2．需求分析，如图 5-12 所示 3．具体实现 （0）先在集群上创建/servers 节点 [zk: localhost:2181(CONNECTED) 10] create /serv ...
分类：
其他好文 时间：
2020-07-21 14:07:54
阅读次数：
68
1 节点类型 2 Stat 结构体 1）czxid-创建节点的事务 zxid 每次修改 ZooKeeper 状态都会收到一个 zxid 形式的时间戳，也就是 ZooKeeper 事务 ID。 事务 ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的 zxid，如果 zxid1 小于 ...
分类：
其他好文 时间：
2020-07-21 14:07:08
阅读次数：
60
