网上拉取Docker模板，使用singlarities/hadoop镜像 查看： 创建docker-compose.yml文件，内容： 执行： 4个datanode: 效果图； hdfs基础命令： 1、创建目录 2、查看目录 3、级联创建目录 4、级联列出目录 5、上传本地文件到HDFS 6、查看H ...
分类：
其他好文 时间：
2019-11-02 13:39:46
阅读次数：
123
安装前 1，更新apt 会让你输入密码（自己登录Ubuntu的时候设置的），输入密码不会显示在终端面板上，确定自己敲对之后点回车就行。 2,安装SSH服务器 安装过程中有个Y/N? 选Y 如果出现 解决一： 解决二： 会出现类似这样结果 这时我们只需要杀死apt-get进程就好了(找不到还是用解决一 ...
分类：
其他好文 时间：
2019-11-02 11:54:04
阅读次数：
111
-mkdir 创建目录 hdfs dfs -mkdir [-p] < paths> -ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 hdfs dfs -ls [-R] < args> -put 将本地文件或目录上传到HDFS中的路径 hdfs dfs -put < localsrc ...
分类：
其他好文 时间：
2019-11-01 09:34:15
阅读次数：
104
安装就安装 ，不扯其他的 hive 依赖 在 hive 安装前必须具备如下条件 1. 一个可连接的关系型数据库，如 Mysql，postgresql 等，用于存储元数据 2. hadoop，并启动 hdfs 3. HBase，非必须，但是如果不装，会有警告，不过不影响使用 4. java，1.8 以 ...
分类：
其他好文 时间：
2019-10-31 16:39:15
阅读次数：
107
本文分别介绍GuassDB跨集群访问远端oracle以及远端MPPDB数据库。因环境有限，这里不列举对接HDFS以及对接Spark功能。一、对接oracle数据库1、约束限制仅支持连接Oracle11.2.0.1至Oracle12.2.0.1。要求Oracle-ODBC驱动的版本为12.2.0.1.0。unixODBC的版本要求为2.3.6。支持最多配置20组远端Oracle配置。配置所需要的Or
分类：
数据库 时间：
2019-10-30 11:54:20
阅读次数：
440
一、首先进入：/usr/local/bin 文件夹下，编写start-cluster.sh脚本 vim start-cluster.sh (需要root权限) 下面的各个节点的信息根据自身情况进行修改 保存，退出。修改执行权限 chmod 777 start-cluster.sh 运行： 二、编写s ...
分类：
系统相关 时间：
2019-10-29 22:05:03
阅读次数：
240
一、数据压缩在hadoop中的意义1、基本概述?压缩技术可以减少底层hdfs的读写字节数。并且能够降低在数据传输过程中占用的网络带宽资源，以及降低占用的磁盘空间。而在MapReduce中，shuffle以及merge过程都面临着巨大的IO压力。但是要注意增加了压缩，另外一方面会增加cpu的负载。所以在要权衡好是否采用压缩，以及采用的压缩算法的特性。2、压缩应用基本原则运算密集型的job，少用压缩。
分类：
其他好文 时间：
2019-10-29 13:44:07
阅读次数：
84
HDFS开发 HDFS理论讲解 集群和分布式概念 集群：集群就是逻辑上处理统一任务的机器集合，可以属于同一机房，也可以分属不同的机房 分布式：分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 分布式文件系统的结构 主节点 名称节点 数据节点 HDFS架构 块 HDF ...
分类：
其他好文 时间：
2019-10-29 10:00:45
阅读次数：
85
1、工作机制详述 （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application。 （3）RM将该应用程序的资源路径返回给YarnRunner。 （4）该程序将运行所需资源提交到HDFS上。 （5）程序资源提交完毕后，申请运行mrAp ...
分类：
其他好文 时间：
2019-10-28 19:13:11
阅读次数：
86
HDFS是英文Hadoop Distributed File System的缩写，中文翻译为Hadoop分布式文件系统，它是实现分布式存储的一个系统，所以分布式存储有的特点，HDFS都会有，HDFS的架构图： 上图中HDFS的NameNode其实就是对应着分布式存储的Storage master，主 ...
分类：
其他好文 时间：
2019-10-28 10:45:47
阅读次数：
326
