一、环境准备 ①准备三台虚拟机，配置静态IP ②先修改主机名(每个节点统一命名规范) vim /etc/hostname master #重启生效 配置DNS每个节点 vim /etc/hosts 192.168.60.121 master192.168.60.122 salve1 192.168. ...
分类：
其他好文 时间：
2019-12-03 18:08:46
阅读次数：
106
1. 前置条件: 已经安装好了带有HDFS, MapReduce, Yarn 功能的 Hadoop集群 链接: "ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建" 2. 上传tar包并解压到指定目录: 3. 修改hive配置文件: 新建文件夹 ...
分类：
其他好文 时间：
2019-12-02 13:51:54
阅读次数：
127
首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表： 接下来就可以操作了。。。 一、将MySQL数据导入到hdfs 首先我测试将zhaopin表中的前100条数据导出来，只要id、jobname、salarylevel三个字段。 再Hdfs上创 ...
分类：
数据库 时间：
2019-12-01 17:03:39
阅读次数：
118
Kafka入门介绍 https://www.cnblogs.com/swordfall/p/8251700.html最近在看hdoop的hdfs 以及看了下kafka的底层存储，发现分布式的技术基本上都是相同的。 都是通过增加一个coordinator的节点作为存储元数据， 将实体数据放到datan ...
分类：
其他好文 时间：
2019-12-01 09:52:12
阅读次数：
85
创建表: 如下的格式 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_nameLIKE existing_table_or_view_name[LOCATION hdfs_path]; 拷贝表结构，不拷贝表数据 ...
分类：
其他好文 时间：
2019-12-01 09:47:31
阅读次数：
100
Hadoop — HDFS的概念、原理及基本操作 https://www.cnblogs.com/swordfall/p/8709025.html 分类: Hadoop undefined 1. HDFS的基本概念和特性 设计思想——分而治之：将大文件、大批量文件分布式存放在大量服务器上，以便于采取 ...
分类：
其他好文 时间：
2019-12-01 09:30:58
阅读次数：
95
HBase特点 1）海量存储 Hbase适合存储PB级别的海量数据，在PB级别的数据以及采用廉价PC存储的情况下，能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性，才为海量数据的存储提供了便利。 2）列式存储 这里的列式存储其实说的是列族存储，Hbase ...
分类：
其他好文 时间：
2019-11-29 19:53:24
阅读次数：
85
创建文件 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.ha ...
分类：
编程语言 时间：
2019-11-29 14:25:55
阅读次数：
80
1.安装hadoop的hdfs伪分布式部署2.hadoop fs常规命令3.配置文件在官方哪里找 4.整理 jdk、ssh、hosts文件 1.安装hadoop的hdfs伪分布式部署 1.1 创建用户和目录 [root@aliyun ~]# useradd hadoop [root@aliyun ~ ...
分类：
其他好文 时间：
2019-11-28 13:20:10
阅读次数：
89
一、写过程 ①准备客户端（构建客户端对象）和服务端（启动NN和DN） ②客户端向服务端发送上传请求 ③服务器端接收客户端的请求，并检查请求的合法性（路径是否存在，权限是否够等） ④如果合法，响应客户端可以上传，否则无法上传 ⑤在上传时，数据以block的形式传输，写入到DN所在的机器。客户端请求上传 ...
分类：
其他好文 时间：
2019-11-27 01:10:43
阅读次数：
69
