1. Kafka下载：wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz解压 tar zxvf kafka_2.9.2-0.8.1.tgz（2.9.2为scala的版本 0.8.1为kafka地址）2.下载安装 ...
分类：
其他好文 时间：
2016-05-29 06:17:52
阅读次数：
119
我们希望开始介绍一整套精华ApacheTLP顶级项目介绍，包括Kafka,Zookepper,Hadoop,Spark,HBaseetc.公众号：技术极客TechBooster
分类：
Web程序 时间：
2016-05-28 14:30:41
阅读次数：
277
Apache顶级项目介绍系列－1，我们从Kafka说起。why？流行＋名字cool。Kafka官网是见过比较简单，直叙的网站，“kafka是一个高吞吐的分布式的消息系统”。Kafka最初起家于LinkedIn，当时原本作为linkedin用来管理活动流(PV,用户行为分析，搜索情况)和运营数据处理的pipline的基..
分类：
Web程序 时间：
2016-05-28 14:29:51
阅读次数：
237
一、基本概念
介绍
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。
这个独特的设计是什么样的呢？
首先让我们看几个基本的消息系统术语：
Kafka将消息以topic为单位进行归纳。
将向Kafka topic发布消息的程序成为producers.
将预订topics并消费消息的程序成为consumer.
...
分类：
其他好文 时间：
2016-05-27 12:22:24
阅读次数：
254
1 日志管理类的后台线程
分布式存储系统除了要保证客户端写请求流程的正确性，节点可能会非正常宕机或者需要重启，在启动的时候必须要能够正常地加载/恢复已有的数据，日志管理类在创建的时候要加载已有的所有日志文件，这和创建Log时要加载所有的Segment是类似的。 LogManager 的 logDirs 参数对应了 log.dirs 配置项，每个TopicPartition文件夹都对应一个Log实...
分类：
其他好文 时间：
2016-05-27 12:20:55
阅读次数：
264
本篇博文的目标是
1. Executor的WAL机制详解
2. 消息重放Kafka数据安全性的考虑：
Spark Streaming不断的接收数据，并且不断的产生Job，不断的提交Job给集群运行。所以这就涉及到一个非常重要的问题数据安全性。
Spark Streaming是基于Spark Core之上的，如果能够确保数据安全可好的话，在Spark Streaming生成Job的时候里面是基...
分类：
其他好文 时间：
2016-05-27 12:19:58
阅读次数：
233
一、基本概念
介绍
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。
这个独特的设计是什么样的呢？
首先让我们看几个基本的消息系统术语：
Kafka将消息以topic为单位进行归纳。
将向Kafka topic发布消息的程序成为producers.
将预订topics并消费消息的程序成为consumer.
...
分类：
其他好文 时间：
2016-05-27 11:43:48
阅读次数：
1857
今天老大让我去调研flume+kafka+hdfs日志收集系统，下午就开始搭建相关的环境了。这里只是简单地介绍flume配置文件相关的，其他关于flume的基础知识请查看其他人的博客（有空我会补上） 首先是安装flume，安装方法可以根据官网上的方法来，官网地址为：https://cwiki.apa ...
分类：
Web程序 时间：
2016-05-25 23:55:04
阅读次数：
193
1.增大partition最大连接数 kafka的集群有多个Broker服务器组成，每个类型的消息被定义为topic，同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上，消息生产者producer和消费者consumer可以在多个Broker上生产/ ...
分类：
其他好文 时间：
2016-05-24 00:17:42
阅读次数：
270
关于消息队列的使用 一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题 实现高性能，高可用，可伸缩和最终一致性架构 使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应用场景 ...
分类：
其他好文 时间：
2016-05-23 17:22:06
阅读次数：
228
