完整解决方案请参考： Setting Up and Running Apache Kafka on Windows OS 在环境搭建过程中遇到两个问题，在这里先列出来，以方便查询： 1. \Java\jre7\lib\ext\QTJava.zip was unexpected at this tim ...
某电信运营商3G系统与4G系统建立号码核对系统，因为两个系统的号码状态不一致。源端使用OracleGoldengate软件，目标端使用Kafka自写CUE程序进行解析源端传输过去的Trail文件。目标端不采用Goldengate的复制进程进行解析。在某系统中创建OracleGoldengate相关进程mgr，抽取，投..
分类：
数据库 时间：
2016-08-19 22:30:51
阅读次数：
303
Kafka的部署 1. kafka简介 Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统 ...
分类：
其他好文 时间：
2016-08-19 22:16:20
阅读次数：
165
本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析 背景介绍 Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据 ...
分类：
其他好文 时间：
2016-08-19 13:04:03
阅读次数：
194
step1 压缩包 kafka_2.9.2-0.8.1.1.czj.zip step2：解压 unzip kafka_2.9.2-0.8.1.1.czj.zip 进入kafka_2.9.2-0.8.1.1： （以后执行命令在此路径下） cd kafka_2.9.2-0.8.1.1 修改配置文件con ...
分类：
其他好文 时间：
2016-08-18 23:04:34
阅读次数：
116
一、环境搭建 1. 《OD大数据实战》Hadoop伪分布式环境搭建 2. 《OD大数据实战》Hive环境搭建 3. 《OD大数据实战》Flume入门实例 4. 《OD大数据实战》Kafka入门实例 5. 《OD大数据实战》Oozie环境搭建 6. 7. 《OD大数据实战》HBase环境搭建 二、 ...
分类：
其他好文 时间：
2016-08-17 10:32:16
阅读次数：
1109
Kafka安装与使用 下载地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz 安装以及启动kafka 步骤1：安装kafka lizhitao@localhost:~$ tar -xz ...
分类：
其他好文 时间：
2016-08-16 13:09:19
阅读次数：
301
Kafka 0.9版本对java client的api做出了较大调整，本文主要总结了Kafka 0.9在集群搭建、高可用性、新API方面的相关过程和细节，以及本人在安装调试过程中踩出的各种坑。 关于Kafka的结构、功能、特点、适用场景等，网上到处都是，我就不再赘述了，直接进入正文 Kafka 0. ...
由于项目需要，写了版针对业务的自动化测试代码，主要应用场景在于由于业务日趋复杂，一些公共代码的改动，担心会影响已有业务。还没进行重写，但知识点还是不少的与大家分享实践下。首先，介绍下整个流处理的业务流程。 首先 从网管实时接入数据到kafka，然后消息接入 进行预处理（这个过程是通过jetty框架， ...
分类：
其他好文 时间：
2016-08-13 12:34:52
阅读次数：
375
这里主要分析kafka 客户端实现 (代码分析以perl kafka实现为准) kafka客户端分为生产者和消费者,生产者发送消息,消费者获取消息. 在kafka协议里客户端通信中用到的最多的四个协议命令是fetch,fetchoffset,send,metadata.这四个分别是获取消息,获取of ...
分类：
其他好文 时间：
2016-08-12 19:54:20
阅读次数：
148
