Flume采集的控制台提示：The channel is full or unexpected failure. The source will try again after 1000 ms 这个是因为当前被采集的文件过大，深层的原因是文件采集的速度和sink的速度没有匹配好。所以应该可以通过增大 ...
分类：
其他好文 时间：
2019-12-28 22:41:20
阅读次数：
335
sqoop简介 sqoop是一款开源的工具，主要用于在hadoop和与传统的数据库之间进行的数据的传递，可以将一个关系型数据库中的数据导入到hadoop的hdfs中，也可以将hdfs的数据导入到关系型数据库中。sqoop的命名由来就是 ，它的原理就是将导入或者导出命令翻译成MapReduce来实现， ...
分类：
数据库 时间：
2019-12-28 16:30:57
阅读次数：
131
HDFS架构概述 HDFS（Hadoop Distributed File System）的架构 2.5.3 MapReduce架构概述 MapReduce将计算过程分为两个阶段：Map和Reduce，如图2-25所示 1）Map阶段并行处理输入数据 2）Reduce阶段对Map结果进行汇总 图中涉 ...
分类：
其他好文 时间：
2019-12-27 21:42:53
阅读次数：
71
hdfs的设计前提和目标： 1.认为硬件错误是常态而不是异常 2.流式数据访问，注重批处理和高吞吐量，而不是低延迟 3.大规模数据集 4.一次写入多次读取的文件访问模式 5.移动计算比移动数据更加划算 6.异构软硬件平台间的可移植性 namenode： 作用 1.存储文件和目录的元数据（元数据放在内 ...
分类：
其他好文 时间：
2019-12-27 21:40:48
阅读次数：
93
1. 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数 ...
分类：
其他好文 时间：
2019-12-27 13:08:13
阅读次数：
92
一、HDFS的写数据流程 ①服务端启动HDFS中的NN和DN进程 ②客户端创建一个分布式文件系统客户端，由客户端向NN发送请求，请求上传文件 ③NN处理请求，检查客户端是否有权限上传，路径是否合法等 ④检查通过，NN响应客户端可以上传 ⑤客户端根据自己设置的块大小，开始上传第一个块，默认0-128M ...
分类：
其他好文 时间：
2019-12-27 09:28:58
阅读次数：
183
hadoop存在的两个问题： 1.内存受限的问题 联邦解决内存受限问题。 建立多个NameNode，每个NameNode记录元数据的一部分，但是对于元数据整体来说本质上还是只有一份。 2.单点故障 HA（high available）高可用，解决hdfs的单点故障问题。 主备namenode，存储相 ...
分类：
其他好文 时间：
2019-12-26 21:28:33
阅读次数：
115
IDEA中的scala项目访问HDFS，程序运行，可能出现的异常： 权限问题：Permission denied: user=СÎ÷?Îè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 修改运行时参数，因为HDFS上的文件所属的用户是ha ...
分类：
数据库 时间：
2019-12-26 19:33:00
阅读次数：
103
hive中可能会出现一个非常常见的异常：Specified key was too long;max key length is 767 bytes？是mysql/hive字符集问题。需要改变hive元数据库的字符集：mysql>alert database ruozedata character ...
分类：
其他好文 时间：
2019-12-26 19:14:17
阅读次数：
69
一、Hbase基本原理 1、hbase基本介绍 HBASE是一个分布式的，面向列的开源数据库。Hbase的存储是基于hadoop的。因为Hadoop实现了一个分布式文件系统（HDFS），基于hadoop意味着hbase与生俱来的超强的扩展性和吞吐量，hbase采用的是key、value的存储方式。意 ...
分类：
数据库 时间：
2019-12-26 17:38:01
阅读次数：
82
