创建一个topic： [root@hdp1 bin]# ./kafka-topics.sh --create --zookeeper hdp1:2181 --replication-factor 1 --partitions 1 --topic justin Created topic "justi...
分类：
其他好文 时间：
2015-07-15 11:04:43
阅读次数：
292
支付宝系统架构概况典型处理默认资金处理平台财务会计支付清算核算中心交易柔性事务支付宝的开源分布式消息中间件–Metamorphosis(MetaQ)Metamorphosis (MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件，类似于LinkedIn的Kafka，具有消息存储顺序写、吞吐...
分类：
其他好文 时间：
2015-07-14 22:14:18
阅读次数：
176
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。
Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？
现今企业数据仓库和关系型数据库擅长处理结...
分类：
其他好文 时间：
2015-07-12 09:47:21
阅读次数：
149
各种组件，比如tomcat、storm、flume，我们都可以通过JMX方式开启远程调试，主要可以用来跟踪源码，了解程序内部的运行机制，其次，也有利于你修改源码。首先，本质上是要修改flume本身启动的配置文件的jvm配置部分。找到flume目录下的bin文件夹，下面会有个flume-ng文件，这便...
分类：
Web程序 时间：
2015-07-11 00:54:09
阅读次数：
819
一、原理介绍本文内容参考：https://github.com/apache/storm/tree/master/external/storm-kafka#brokerhosts（一）使用storm-kafka的关键步骤1、创建ZkHosts当storm从kafka中读取某个topic的消息时，需要...
分类：
其他好文 时间：
2015-07-10 22:02:17
阅读次数：
184
一、理论介绍（一）相关资料1、官方资料，非常详细： http://kafka.apache.org/documentation.html#quickstart2、有一篇翻译版，基本一致，有些细节不同，建议入门时先读此文，再读官方文档。若自认英语很强，请忽视： http://www.linuxidc....
分类：
其他好文 时间：
2015-07-10 22:00:53
阅读次数：
298
一、原理介绍本文内容参考：https://github.com/apache/storm/tree/master/external/storm-kafka#brokerhosts（一）使用storm-kafka的关键步骤1、创建ZkHosts当storm从kafka中读取某个topic的消息时，需要...
分类：
其他好文 时间：
2015-07-10 11:10:18
阅读次数：
2999
一、理论介绍（一）相关资料1、官方资料，非常详细： http://kafka.apache.org/documentation.html#quickstart2、有一篇翻译版，基本一致，有些细节不同，建议入门时先读此文，再读官方文档。若自认英语很强，请忽视： http://www.linuxidc....
分类：
其他好文 时间：
2015-07-10 10:47:31
阅读次数：
139
目前有一个需求，就是Flume可以作为一个类似于tomcat的服务器，可以通过post请求进行访问，并且路径需要：ip:port/contextPath格式。经过一些资料获悉，httpSource只是httpSource的一个玩具工具，可以说毛坯版，目前仅仅支持的是按照ip:port访问，并不具备s...
分类：
Web程序 时间：
2015-07-10 00:03:28
阅读次数：
353
1.概述 在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容，如下所示：数据消费Storm计算预览截图 接下来，我们开始分享今天的内容。2.数据消费 .....
分类：
其他好文 时间：
2015-07-09 12:59:06
阅读次数：
172
