一、消费者和消费者群组 在 Kafka 中，消费者通常是消费者群组的一部分，多个消费者群组共同读取同一个主题时，彼此之间互不影响。Kafka 之所以要引入消费者群组这个概念是因为 Kafka 消费者经常会做一些高延迟的操作，比如把数据写到数据库或 HDFS ，或者进行耗时的计算，在这些情况下，单个消 ...
分类：
其他好文 时间：
2019-08-19 18:51:30
阅读次数：
91
一、主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。 主从结构分类： 1、一主多从 2、多主多从 Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式： 1、主节点 从节点 2、master sl ...
分类：
其他好文 时间：
2019-08-19 00:07:51
阅读次数：
69
Hive简介 什么是Hive 1. Hive由Facebook实现并开源 2. 是基于Hadoop的一个数据仓库工具 3. 可以将结构化的数据映射为一张数据库表 4. 提供HQL（Hive SQL）查询功能 5. 底层数据是存储在HDFS上 6. Hive的本质是将SQL语句转换为MapReduce ...
分类：
其他好文 时间：
2019-08-19 00:02:27
阅读次数：
94
1.什么是Hadoop？ Hadoop是一款进行数据处理和分析的软件，包含HDFS（分布式文件存储系统）,MapReduce（分布式计算框架），Yarn（分布式资源调度任务分配框架）。 Hadoop来源于谷歌2003-2004年发布的三篇论文，基于这三篇论文doug cutting( 来自 luce ...
分类：
其他好文 时间：
2019-08-18 14:02:04
阅读次数：
112
业务上可能会遇到这种情况，在最初创建hbase表时候，未指定压缩方式，当数据导入之后，由rowkey带来的数据膨胀导致hdfs上的数据大小远远大于原始数据大小。所以这时候可能就不得不考虑使用压缩，但是如果将表删除，再创建一张指定压缩的表，再重新导入数据未免太浪费时间。当然也完全不用这样，可以直接修改 ...
分类：
其他好文 时间：
2019-08-18 11:39:27
阅读次数：
133
HDFS 概念 1、概念 1.1、 HDFS - Hadoop File distributed filesystem， HDFS以流式数据访问模式来存储超大文件。 1.2、 HDFS 以块的方式存储数据。 HDFS 集群有两类节点的模式运行，一类是namenode 用来管理节点，一类是工作节点da ...
分类：
其他好文 时间：
2019-08-17 18:13:44
阅读次数：
83
Hadoop安装主要步骤： （1）安装运行环境 （2）修改主机名和用户名 （3）配置静态IP地址 （4）配置SSH无密码连接 （5）安装JDK (6) 配置Hadoop (7) 格式化 hdfs (8) 启动hadoop并验证安装 下面详细解释 （1）安装运行环境，本文采用的是ubuntu镜像文件, ...
分类：
其他好文 时间：
2019-08-17 00:31:40
阅读次数：
106
1. 官方文档 http://spark.apache.org/docs/latest/running-on-yarn.html 2. 配置安装 2.1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。 2.2.安装Spark：解 ...
分类：
其他好文 时间：
2019-08-16 20:47:19
阅读次数：
131
hadoop dfs -ls file:/// (最后一个/表示本地文件系统的根目录) HDFS的弱点： 实施访问数据弱 大量小文件 多用户写入 配置hdfs块的大小 hsfs-site.xml 冗余性 <property> <name>dfs.replication</name> <value>3 ...
分类：
其他好文 时间：
2019-08-16 01:10:14
阅读次数：
116
1.hadoop前世今生： 1） 搜索引擎：网络爬虫+索引服务器（生成索引+检索） 2） Doung Cutting 3) Nutch a.分布式存储 b.分布式计算 4）GFS论文 doung cutting写了hdfs 2.hadoop概述 hadoop common:提供网络通信 hadoop ...
分类：
其他好文 时间：
2019-08-16 00:34:16
阅读次数：
122
