1、配置flume 二、配置kafka 1、创建一个topic 2、使用kafka的监控来查看 ...
分类：
Web程序 时间：
2016-07-11 17:02:41
阅读次数：
425
1.下载Kafkawgettarzxvfkafka_2.11-0.10.0.0.tgz
cdkafka_2.11-0.10.0.02.启动服务端Kafka需要用到ZooKeepr，所以需要先启动一个ZooKeepr服务端，如果没有单独的ZooKeeper服务端，可以使用Kafka自带的脚本快速启动一个单节点ZooKeepr实例#bin/zookeeper-server-start.shconfig/..
分类：
其他好文 时间：
2016-07-11 09:12:30
阅读次数：
189
https://github.com/ServiceStack/ServiceStack https://github.com/ctripcorp/ https://github.com/ctripcorp/cat.net https://github.com/apache/kafka https: ...
分类：
其他好文 时间：
2016-07-11 00:41:27
阅读次数：
167
需求;logstash运行在SUSE,LINUX,PPC LINUX,AIX机器上,并监控文件发送日志到KAFKA中去, 问题:在AIX机器上,file插件总是报异常,无法完成数据的读取 NotImplementedError: stat.st_dev unsupported or native s ...
分类：
其他好文 时间：
2016-07-10 23:09:45
阅读次数：
242
kafka是一个高吞吐量分布式消息系统，并且提供了持久化。其高性能的有两个重要特点：
利用了磁盘连续读写性能远远高于随机读写的特点；
并发，将一个topic拆分多个partition。
同一个ConsumerGroup内的Consumer和Partition在同一时间内必须保证是一对一的消费关系任意Partition在某一个时刻只能被一个Consumer Group内的一个Consumer消费(反过...
分类：
其他好文 时间：
2016-07-10 19:18:29
阅读次数：
1916
kafka topic的制定，我们要考虑的问题有很多，比如生产环境中用几备份、partition数目多少合适、用几台机器支撑数据量，这些方面如何去考量？笔者根据实际的维护经验，写一些思考，希望大家指正。 1.replicas数目 可以从上图看到，备份越多，性能越低，因为kafka的写入只写入主分区， ...
分类：
其他好文 时间：
2016-07-09 01:57:49
阅读次数：
4331
学习问题： 1.kafka是否需要zookeeper？2.kafka是什么？3.kafka包含哪些概念？4.如何模拟客户端发送、接受消息初步测试？（kafka安装步骤）5.kafka cluster怎么同zookeeper交互的？ 1.kafka是否需要zoopkeeper kafka应用需要zoo... ...
分类：
其他好文 时间：
2016-07-09 00:36:04
阅读次数：
306
kafka客户端封装源码。 1.为什么进行封装？ kafka官方自带的客户端，需要对参数进行设置，如下代码，很多参数的key都是字符串，这样对于编程人员来说非常不友好。参数很多的时候，有两种处理方式：（1）传一个config类进去解析；（2）使用建造者模式，笔者在此就使用建造者模式，对官方客户端进行 ...
分类：
其他好文 时间：
2016-07-08 23:23:08
阅读次数：
509
kafka_2.10-0.10 集群安装 kafka_2.10-0.10 集群安装 上文已经讲过如何安装Zookeeper集群，因为Kafka集群需要依赖Zookeeper服务，虽然Kafka有内置Zookeeper，但是还是建议独立安装Zookeeper集群服务，此处不再赘述 kafka集群还是安 ...
分类：
其他好文 时间：
2016-07-08 19:34:05
阅读次数：
746
链接:http://pan.baidu.com/s/1dFqbD4l 密码:treq 1.课程研发环境 项目源代码以spark1.5.2，jdk8,scala2.10.5为基准。 开发工具:SCALA IDE eclipse; 其他工具:shell脚本2.内容简介 本教程从最基础的Spark介绍开始 ...
分类：
数据库 时间：
2016-07-08 13:36:57
阅读次数：
171
