在大数据时代，数据规模变得越来越大。由于数据的增长速度和非结构化的特性，常用的软硬件工具已无法在用户可容忍的时间内对数据进行采集、管理 和处理。本文主要介绍如何在阿里云上使用Kafka和Storm搭建大规模消息分发和实时数据流处理系统，以及这个过程中主要遭遇的一些挑战。实践主要立 足建立一套汽车状态...
分类：
其他好文 时间：
2015-10-22 20:55:26
阅读次数：
259
问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2015-10-22 12:15:25
阅读次数：
163
kafka 集群--3个broker 3个zookeeper创建实战准备工作：1. 准备3台机器，IP地址分别为：192.168.0.10，192.168.0.11，192.168.0.122. 下载kafka稳定版本，我的版本为：kafka_2.9.2-0.8.1.1.tgz3. 分别解压放入到想...
分类：
其他好文 时间：
2015-10-21 12:15:22
阅读次数：
459
今天在用Spark把Kafka的数据往ES写的时候，代码一直报错，错误信息如下：15/10/20 17:28:56 ERROR actor.OneForOneStrategy: org.apache.spark.SparkContextjava.io.NotSerializableException...
分类：
Web程序 时间：
2015-10-20 19:20:24
阅读次数：
382
最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费...
分类：
Web程序 时间：
2015-10-15 20:36:00
阅读次数：
300
用户日志上报实时统计之编码实践1.概述 本课程的视频教程地址：《Kafka实战项目之编码实践》 该课程我以用户实时上报日志案例为基础，带着大家去完成各个KPI的编码工作，实现生产模块、消费模块，数据持久化，以及应用调度等工作， 通过对这一系列流程的演示，让大家能够去掌握Kafka项目的相关编码以.....
分类：
其他好文 时间：
2015-10-15 20:20:22
阅读次数：
275
========================================================================================== 一、基础介绍 ========================================================================================== 1...
分类：
其他好文 时间：
2015-10-13 19:34:48
阅读次数：
419
引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借...
分类：
其他好文 时间：
2015-10-13 17:27:45
阅读次数：
246
注意：部署Kafka之前先部署环境JAVA、Zookeeper准备三台CentOS_6.5_x64服务器，分别是：IP： 192.168.0.249 dbTest249 Kafka ...
分类：
系统相关 时间：
2015-10-13 15:15:45
阅读次数：
258
