1. client端向ResourceManager提交应用程序, 也就是client端会将 jar包,参数等数据上传到hdfs上的某路径下; 2. resourceManager将此应用程序添加到任务队列中; 3. 等待资源充沛时, resourceManager为该应用程序分配第一个contai ...
分类：
其他好文 时间：
2019-12-14 22:38:22
阅读次数：
128
一、.hdfs写文件的步骤 答案： (1)client向NameNode申请上传…/xxx.txt文件 (2)NN向client响应可以上传文件 (3)Client向NameNode申请DataNode (4)NN向Client返回DN1,DN2,DN3 (5)Client向DN1,DN2,DN3申 ...
分类：
其他好文 时间：
2019-12-14 20:55:37
阅读次数：
106
1.1 Sqoop 在工作中的定位是会用就行1.1.1 Sqoop导入数据到hdfs中的参数 /opt/module/sqoop/bin/sqoop import \ --connect \ # 特殊的jdbc连接的字符串 --username \ --password \ --target-dir ...
分类：
其他好文 时间：
2019-12-14 20:51:41
阅读次数：
178
从使用方面讲 Hive是一个构建在Hadoop平台上的数据仓库，可以将结构化的数据文件映射为一张数据库表。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化成Map/Reduce。 HBase 是基于HDFS平台的Key/Value类型的NoSql ...
分类：
其他好文 时间：
2019-12-14 15:36:27
阅读次数：
95
1. Hive数据倾斜原因key分布不均匀业务数据本身的特性SQL语句造成数据倾斜解决方法hive设置hive.map.aggr=true和hive.groupby.skewindata=true有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Jo ...
分类：
其他好文 时间：
2019-12-14 14:08:06
阅读次数：
92
》》 from django.shortcuts import render # Create your views here. from hdfs.client import Client from django.views import View from hdfs.client import ...
分类：
其他好文 时间：
2019-12-13 19:16:05
阅读次数：
182
当需要从Hive等Hadoop集群迁移数据到GaussDB200集群时，因为数据量太大，可能无法导出到本地。此时需要GaussDB200跨集群读取HDFS上的数据，并写入GaussDB200集群。目前GaussDB200只支持跨集群访问FusionInsightHD中的HDFS。前提条件FusionInsightHD和GaussDB200两个集群状态正常并且可以互相通信。远端FusionInsig
分类：
数据库 时间：
2019-12-12 16:34:48
阅读次数：
212
1. 基本原理 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 Quorum Journal Manager(QJM)，上 ...
分类：
其他好文 时间：
2019-12-12 12:57:17
阅读次数：
87
hadoop所有的配置文件都是在 etc/hadoop下 (1)配置集群 第一步:在hadoop下修改core-site.xml文件 vim etc/hadoop/core-site.xml <configuration> <!-- 指定HDFS中Name Node的地址--> <property> ...
分类：
其他好文 时间：
2019-12-11 13:06:14
阅读次数：
104
1.官网 https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 2.namenode支持3个及3个以上的namenode，官方建议3个，journa ...
分类：
其他好文 时间：
2019-12-10 17:12:56
阅读次数：
109
