场景描述： 公司埋点项目，数据从接口服务写入kafka集群，再从kafka集群消费写入HDFS文件系统，最后通过Hive进行查询输出。这其中存在一个问题就是：埋点接口中的数据字段是变化，后续会有少量字段添加进来。这导致Hive表结构也需要跟着变化，否则无法通过Hive查询到最新添加字段的数据。 解决 ...
分类：
其他好文 时间：
2018-03-02 22:17:48
阅读次数：
906
Apache Kafka是一个分布式流平台。准确的说是什么意思呢？我们认为流平台具有三种关键能力： 1、让你对数据流进行发布订阅。因此他很像一个消息队列和企业级消息系统。 2、让你以高容错的方式存储数据流。 3、让你在数据流出现时处理他们。 kafka擅长什么？他通常被用在两大类应用： 1、构建一个 ...
分类：
Web程序 时间：
2018-03-01 17:12:05
阅读次数：
196
安装kafka vi config/zookeeper.properties vi config/server.properties 这个文件是启动kafka集群需要指定的配置文件，注意2点： # The id of the broker. This must be set to a unique ...
分类：
其他好文 时间：
2018-02-23 14:48:29
阅读次数：
166
写在最前面，先简单讲解一些kafka的概念： 一、概念1.1 kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。Brokerkafka集群包含一个或者多个服务器，这种服务器被称为brokerTopic每条发布到kafka集群的消息都有一个类别，这个类别被 ...
分类：
其他好文 时间：
2018-02-13 14:07:23
阅读次数：
186
一、部署zookeeper集群 三台机器上执行相同的操作 在dataDir目录/data/zookeeper/下写一个myid文件，命令如下：echo 1 >myid注意：这个id是zookeeper的主机标示，每个主机id不同，第二台是2 第三台是3，id需要与 zoo.cfg里 server.数 ...
分类：
其他好文 时间：
2018-02-13 12:22:13
阅读次数：
164
1. KAFKA下载地址：http://kafka.apache.org/downloads KAFKA-快速上手-官方网站：http://kafka.apache.org/quickstart 2. 下载完成后解压，修改config目录下的配置文件：server.properties 、zooke ...
分类：
其他好文 时间：
2018-02-08 13:42:07
阅读次数：
216
最近平台部署了Kafka集群，为了方便管理于是安装了yahoo开源的一款基于web的管理工具
分类：
其他好文 时间：
2018-02-02 14:30:55
阅读次数：
504
副本分配算法如下： 将所有N Broker和待分配的i个Partition排序. 将第i个Partition分配到第(i mod n)个Broker上. 将第i个Partition的第j个副本分配到第((i + j) mod n)个Broker上. 将所有N Broker和待分配的i个Partiti ...
分类：
编程语言 时间：
2018-02-01 13:22:19
阅读次数：
159
1. kafka介绍 相关术语介绍： Broker Kafka集群包含一个或多个服务器，这种服务器被称为broker[5] Topic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broke ...
分类：
其他好文 时间：
2018-01-31 14:50:37
阅读次数：
186
前言 在 "上一篇" 中讲述如何搭建kafka集群，本篇则讲述如何简单的使用 kafka 。不过在使用kafka的时候，还是应该简单的了解下kafka。 Kafka的介绍 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 Kafka 有如下特性： 以时 ...
分类：
编程语言 时间：
2018-01-28 15:37:22
阅读次数：
250
