HDFS的组成，NameNode，DataNode，SecondaryNameNode作用？ HDFS是什么？ HDFS的优缺点： HDFS的块大小，为什么不能太大，也不能太小？ ...
分类：
其他好文 时间：
2019-12-20 20:29:13
阅读次数：
103
一，hive 权限授权模型 1、Storage Based Authorization in the Metastore Server基于存储的授权（也就是HDFS的授权模型） - 可以对Metastore中的元数据进行保护，但是没有提供更加细粒度的访问控制（例如：列级别、行级别）。2、SQL St ...
分类：
其他好文 时间：
2019-12-20 13:52:44
阅读次数：
104
1 概述 解决hadoop启动hdfs时，datanode无法启动的问题。错误为： 2 问题描述 执行start-dfs.sh后，根据打印日志，可以看到分别执行了NameNode、DataNode的操作。 但是执行jps查看启动结果时，返现DataNode并没有启动。 3 查找问题 很是费解，刚刚还 ...
分类：
编程语言 时间：
2019-12-19 21:14:13
阅读次数：
131
#!/bin/bash# # desc : 定期移动文件到HDFS目录下# Script Name : mv clikcLog File to NFS# Code By : frank# mail : maoxiangyi@jd.com;anjianbing@jd.com# #初始化配置信息src_ ...
分类：
其他好文 时间：
2019-12-19 15:58:43
阅读次数：
69
GlusterFS概述 GlusterFS系统是一个可扩展的网络文件系统，相比其他分布式文件系统，GlusterFS具有高扩展性、高可用性、高性能、可横向扩展等特点，并且其没有元数据服务器的设计，让整个服务没有单点故障的隐患。 文件存储通常支持POSIX接口（如glusterfs，但GFS、HDFS ...
分类：
其他好文 时间：
2019-12-17 10:30:36
阅读次数：
122
采集类型： 全量 采集： 相当于每天整张表做个快照，在hdfs上就是一个分区 ，表比较小 增量采集： 采集每天增加的部分 1、流水型数据 ： 写入数据库数据不再发生变化（如日志，交易流水） ， 第二天处理前一天的数据 采集条件可设为1/ 按时间增量的抽取 ，sqoop: create_time>=T ...
分类：
其他好文 时间：
2019-12-16 13:05:35
阅读次数：
113
Hbase启动出问题 2019-12-15 09:59:57,183 WARN [hadoop:16000.activeMasterManager] hdfs.DFSClient: DFS Read org.apache.hadoop.hdfs.BlockMissingException: Coul ...
分类：
其他好文 时间：
2019-12-15 23:53:26
阅读次数：
859
Sqoop （sqoop.apache.org）工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于 ...
分类：
其他好文 时间：
2019-12-15 16:13:22
阅读次数：
82
Archive for required library: 'C:/Users/Administrator/.m2/repository/org/apache/hadoop/hadoop-hdfs/2.7.3/hadoop-hdfs-2.7.3.jar' in project 'MyMapReduc ...
分类：
其他好文 时间：
2019-12-15 12:59:51
阅读次数：
119
1 详细异常信息 2 解决心路历程 A尝试命令修复，不起作用 sudo -u hbase <!--?xml version="1.0" encoding="UTF-8"?--> hbase hbck repair B 尝试重新分配，继续修复，不起作用 sudo -u hbase <!--?xml v ...
分类：
其他好文 时间：
2019-12-14 22:52:52
阅读次数：
169
