一、需求利用flume采集Linux下的文件信息，并且传入到kafka集群当中。环境准备zookeeper集群和kafka集群安装好。二、配置flume官网下载flume。博主自己这里使用的是flume1.6.0。官网地址http://flume.apache.org/download.html解压... ...
分类：
Web程序 时间：
2018-06-03 00:02:50
阅读次数：
236
一、基本思路 异步发送的基本思路就是：send的时候，KafkaProducer把消息放到本地的消息队列RecordAccumulator，然后一个后台线程Sender不断循环，把消息发给Kafka集群。 要实现这个，还得有一个前提条件：就是KafkaProducer/Sender都需要获取集群的配 ...
分类：
Web程序 时间：
2018-05-22 20:47:33
阅读次数：
297
目前面试了多家大数据开发工程师，成长了很多，也知道了很多知识，下面和大家分享一下我遇到的面试题和答案。 1.kafka集群的规模，消费速度是多少。 答：一般中小型公司是10个节点，每秒20M左右。 2.hdfs上传文件的流程。 答：这里描述的 是一个256M的文件上传过程 ① 由客户端 向 Name ...
分类：
其他好文 时间：
2018-05-19 19:40:08
阅读次数：
204
转：http://www.cnblogs.com/luotianshuai/p/5206662.html Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想 ...
分类：
其他好文 时间：
2018-05-19 13:55:42
阅读次数：
147
Kafka集群管理、状态保存是通过zookeeper实现，所以先要搭建zookeeper集群 zookeeper集群搭建 一、软件环境： zookeeper集群需要超过半数的的node存活才能对外服务，所以服务器的数量应该是2*N+1，这里使用3台node进行搭建zookeeper集群。 1. 3台 ...
分类：
其他好文 时间：
2018-05-11 14:31:35
阅读次数：
232
一、kafka的架构 1、Broker kafka集群包含一个或者多个服务器，这种服务器就叫做Broker 2、Topic 每条发布到kafka集群的消息都有一个类别，这个类别就叫做Topic（逻辑上的概念，物理上不同的Topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或者多个bro ...
分类：
其他好文 时间：
2018-05-09 14:41:49
阅读次数：
132
这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实：在kafka中，单个patition是kafka并行操作的最小单元。在producer和broker端，向每一个分区写入 ...
分类：
其他好文 时间：
2018-05-09 12:16:29
阅读次数：
134
消息中间件 消息中间件特点 消息中间件的传递模型 Kafka介绍 安装部署Kafka集群 安装Yahoo kafka manager kafka-manager添加kafka cluster 一、消息中间件 消息中间件是在消息的传输过程中保存消息的容器。消息中间件在将消息从消息生产者到消费者时充当中 ...
分类：
其他好文 时间：
2018-05-03 19:25:15
阅读次数：
223
为了演示集群的效果，这里准备一台虚拟机(window 7)，在虚拟机中搭建了单IP多节点的zookeeper集群（多IP节点的也是同理的），并且在本机（win 7）和虚拟机中都安装了kafka。 前期准备说明： 1.三台zookeeper服务器，本机安装一个作为server1，虚拟机安装两个(单IP ...
