1.概述 本课程的视频教程地址：《Kafka实战项目之应用概述》 本课程是通过一个用户实时上报日志来展开的，通过介绍 Kafka 的业务和应用场景，并带着大家搭建本 Kafka 项目的实战开发环境。下面我们来看看本课程有哪些课时，如下图所示： 接下来，我们开始第一课时的学习：《Kafka 回顾...
分类：
其他好文 时间：
2015-08-13 13:54:04
阅读次数：
209
转载自http://www.tuicool.com/articles/NzyqAn在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它...
分类：
其他好文 时间：
2015-08-12 18:18:39
阅读次数：
134
我们继续讨论console consumer的实现原理，本篇着重探讨ZookeeperConsumerConnector的使用，即后续所有的内容都由下面这条语句而起：val connector = Consumer.create(config)那么问题来了？这条语句后面执行了什么呢？我们先看crea...
分类：
其他好文 时间：
2015-08-11 22:58:11
阅读次数：
892
kafka分区及副本在broker的分配部分内容参考自：http://blog.csdn.net/lizhitao/article/details/41778193下面以一个Kafka集群中4个Broker举例，创建1个topic包含4个Partition，2 Replication；数据Producer流动如图所示：
(1)
pic(2)当集群中新增2节点，Partition增加到6个时分布情...
分类：
其他好文 时间：
2015-08-11 18:56:59
阅读次数：
169
最近 有网友看我的“整合Kafka到Spark Streaming——代码示例和挑战”文章，
讲 kafka对象 放到 pool 并通过broadcast广播出去：
然后 在开发测试阶段 报错如下：
然后就找我，说“代码都跟你的差不多呀，为什么就报这个错呢？”
其实 对于广播操作，spark 肯定要序列号的，还有尽量不要把大对象广播出去，
后来 把代码要过来看了下，发现 creat...
分类：
编程语言 时间：
2015-08-11 16:14:24
阅读次数：
173
---恢复内容开始---多线程基础介绍多线程一词可以解释为多个控制线程或多个控制流。虽然传统的UNIX进程包含单个 控制线程，但多线程(multithreading,MT)会将一个进程分成许多执行线程，其中每个 线程都可独立运行定义多线程术语表1–1多线程术语术语定义Process（进程）通过for...
分类：
编程语言 时间：
2015-08-10 19:46:30
阅读次数：
180
apache-flume1.6 sink默认支持kafka [FLUME-2242] - Flume Sink and Source for Apache Kafka 官方给的例子很贴心，可以直接运行=，=，详细配置之后慢慢看。 a1.channels = channel1 a1.sources = src-1 a1.sinks...
分类：
Web程序 时间：
2015-08-10 18:18:21
阅读次数：
831
介绍虽然我们这一节的标题是正则表达式，但实际这一节只是介绍grep，sed，awk这三个命令，而正则表达式作为这三个命令的一种使用方式（命令输出中可以包含正则表达式）。正则表达式本身的内容很多，要把它说明清楚需要单独一门课程来实现，不过我们这一节中涉及到的相关内容通常也能够满足很多情况下的需求了。想...
分类：
系统相关 时间：
2015-08-09 20:14:37
阅读次数：
458
笔者博文：妳那伊抹微笑博客地址：http://blog.csdn.net/u012185296个性签名：世界上最遥远的距离不是天涯，也不是海角，而是我站在妳的面前。妳却感觉不到我的存在技术方向：Flume+Kafka+Storm+Redis/Hbase+Hadoop+Hive+Mahout+Spar...
分类：
编程语言 时间：
2015-08-09 09:26:51
阅读次数：
161
[AngularJS] 使用AngularCSS动态加载CSS前言使用AngularAMD动态加载Controller使用AngularAMD动态加载Service上列两篇文章里，介绍了如何如何使用AngularAMD来动态加载Controller与Service。本篇文章以此为基础，介绍如何使用A...
分类：
Web程序 时间：
2015-08-09 07:13:06
阅读次数：
6638
