背景：hadoop版本为3.1.3, 且以伪分布式形式安装，hive版本为3.1.2，hive为hadoop的一个客户端。 1. 安装简要步骤 (1) 官网下载apache-hive-3.1.2-bin.tar.gz，并解压缩 (2) 进入conf配置文件夹，将hive-env.sh.templat ...
分类：
其他好文 时间：
2019-11-30 19:04:36
阅读次数：
184
创建文件 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.ha ...
分类：
编程语言 时间：
2019-11-29 14:25:55
阅读次数：
80
一。zookeeper简介 zookeeper 是apache旗下的hadoop子项目，它一个开源的，分布式的服务协调器。同样通过zookeeper可以实现服务间的同步与配置维护。通常情况下，在分布式应用开发中，协调服务这样的工作不是件容易的事，很容易出现死锁，不恰当的选举竞争等。zookeeper ...
分类：
其他好文 时间：
2019-11-29 13:02:44
阅读次数：
82
1、增加hadoop账户su # 上述提到的以 root 用户登录useradd -m hadoop -s /bin/bash # 创建新用户hadooppasswd hadoop 输入 口令 hadoop为 hadoop 用户增加管理员权限 visudo找到以下文本处，增加 hadoop 权限## ...
分类：
其他好文 时间：
2019-11-29 00:39:07
阅读次数：
86
gzip，bzip2，lzo，snappy是hadoop中比较常见的文件压缩格式，可以节省很多硬盘存储，博主阅读了“剑仙ex”的: Gzip , BZip2 , Lzo Snappy 四种方式的优缺点 和使用场景很受启发，但这位仁兄没有做成表格进行对比，本文将会对这4种压缩格式优缺点，使用场景做一个 ...
分类：
移动开发 时间：
2019-11-28 20:57:51
阅读次数：
162
zookeeper的工作机制，zookeeper的作用
分类：
其他好文 时间：
2019-11-28 15:10:39
阅读次数：
120
1.安装hadoop的hdfs伪分布式部署2.hadoop fs常规命令3.配置文件在官方哪里找 4.整理 jdk、ssh、hosts文件 1.安装hadoop的hdfs伪分布式部署 1.1 创建用户和目录 [root@aliyun ~]# useradd hadoop [root@aliyun ~ ...
分类：
其他好文 时间：
2019-11-28 13:20:10
阅读次数：
89
[TOC] 无论是 NoSQL，还是大数据领域，HBase 都是非常"炙热"的一门数据库。 本文将对 HBase 做一些基础性的介绍，旨在入门。 一、简介 HBase 是一个开源的、面向列的非关系型分布式数据库，目前是Hadoop体系中非常关键的一部分。 在最初，HBase是基于谷歌的 BigTab ...
分类：
其他好文 时间：
2019-11-27 23:38:27
阅读次数：
109
hadoop集群时间同步 第一种方法 通过网络链接外网进行时间同步，必须保证虚拟机是可以联网的 通过阿里云的时钟同步服务器 ? 第二种方式 通过某一台机器进行时间同步 所有操作必须在root用户下执行 1. 查看三台机器是否安装了ntp时钟同步工具 1. 如果没有安装执行以下命令来安装 2. 三台机 ...
分类：
其他好文 时间：
2019-11-27 23:30:28
阅读次数：
96
01-大数据快速入门基础02-Scala学习进击大数据Spark生态圏03-Spark从入门到项目实战大师课04-大数据系统学习全套视频教程(视频.源码.课件)05-大数据系统学习项目实战就业班课程06-大数据之Spark零基础到实战07-大数据项目实战视频hadoop spark实时计算项目实战教 ...
分类：
其他好文 时间：
2019-11-27 23:18:45
阅读次数：
126
