kafka 集群--3个broker 3个zookeeper创建实战准备工作：1. 准备3台机器，IP地址分别为：192.168.0.10，192.168.0.11，192.168.0.122. 下载kafka稳定版本，我的版本为：kafka_2.9.2-0.8.1.1.tgz3. 分别解压放入到想...
分类：
其他好文 时间：
2015-10-21 12:15:22
阅读次数：
459
今天在用Spark把Kafka的数据往ES写的时候，代码一直报错，错误信息如下：15/10/20 17:28:56 ERROR actor.OneForOneStrategy: org.apache.spark.SparkContextjava.io.NotSerializableException...
分类：
Web程序 时间：
2015-10-20 19:20:24
阅读次数：
382
随便拉上一个果粉说说这一年来苹果公司的成就，Apple Watch肯定排第一，再下来是iPhone破销量纪录及苹果30亿美元收购Beats Electronics，消息灵通的人说不定还会提到Apple Car。同样的问题摆在iOS开发者面前的话，去年苹果公司推出的新一代编程语言，诸多铁杆果粉早有耳闻...
分类：
编程语言 时间：
2015-10-16 23:22:22
阅读次数：
476
最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费...
分类：
Web程序 时间：
2015-10-15 20:36:00
阅读次数：
300
用户日志上报实时统计之编码实践1.概述 本课程的视频教程地址：《Kafka实战项目之编码实践》 该课程我以用户实时上报日志案例为基础，带着大家去完成各个KPI的编码工作，实现生产模块、消费模块，数据持久化，以及应用调度等工作， 通过对这一系列流程的演示，让大家能够去掌握Kafka项目的相关编码以.....
分类：
其他好文 时间：
2015-10-15 20:20:22
阅读次数：
275
引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借...
分类：
其他好文 时间：
2015-10-13 17:27:45
阅读次数：
246
注意：部署Kafka之前先部署环境JAVA、Zookeeper准备三台CentOS_6.5_x64服务器，分别是：IP： 192.168.0.249 dbTest249 Kafka ...
分类：
系统相关 时间：
2015-10-13 15:15:45
阅读次数：
258
1.下载kafkaoffsetmonitor的jar包，最好下国内的，github上有些下载不下来。KafkaOffsetMonitor-assembly-0.2.0.jar 2.新建在kafka的bin下面新建kafka-monitor文件夹，把jar包KafkaOffsetMonitor-assembly-0.2.0...
分类：
其他好文 时间：
2015-10-09 20:06:03
阅读次数：
259
storm是grovvy写的kafka是scala写的storm-kafkastorm连接kafkaconsumer的插件下载地址：https://github.com/wurstmeister/storm-kafka-0.8-plus除了需要storm和kafka相关jar包还需要google-collections-1.0.jar以及zookeeper相关包curator-framework-1.3.3.jar和curator-client..
分类：
其他好文 时间：
2015-10-09 18:29:00
阅读次数：
278
