大会地址 上海Spark Meetup第四次聚会将于2015年7月18日在太库科技创业发展有限公司举办，详细地址上海市浦东新区金科路2889弄3号长泰广场 C座12层，太库。本次聚会由七牛和Intel联合举办。大会主题 1. hadoop/spark生态的落地实践 王团结(七牛)七牛云数据平台工程师。主要负责数据平台的设计研发工作。关注大数据处理，高性能系统服务，关注hadoop/flume/k...
分类：
其他好文 时间：
2015-08-27 11:04:36
阅读次数：
189
实际上kafka对机器的需求与Hadoop的类似。原来，对于Linkin这样的互联网企业来说，用户和网站上产生的数据有三种：需要实时响应的交易数据，用户提交一个表单，输入一段内容，这种数据最后是存放在关系数据库(Oracle,MySQL)中的，有些需要事务支持。活动流数据，准实时的，例如..
分类：
其他好文 时间：
2015-08-25 17:03:36
阅读次数：
237
在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。怎么确定分区数？ “我应该选择几个分区？”——如果你在Kafka中国社区的群里，这样的问题你会经常碰到的。不过有些遗憾的....
分类：
编程语言 时间：
2015-08-25 14:12:36
阅读次数：
257
先上几个git地址，明天测试 https://github.com/linkedin/camus https://github.com/voyage-h/kafka-hadoop-consumer https://github.com/voyage-h/kafka-hadoop-consumer...
分类：
其他好文 时间：
2015-08-25 13:04:43
阅读次数：
152
当你编写kafka Producer时， 会生成KeyedMessage对象。 KeyedMessage<K,?V>?keyedMessage?=?new?KeyedMessage<>(topicName,?key,?message) 这里的key值可以为空，在这种情况下， kafka会将这个消息发送到哪...
分类：
其他好文 时间：
2015-08-25 13:03:42
阅读次数：
334
配置 设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。 配置单个组件 流中每个组件（源，接收器或通道）都有名称，类型，和一组特定实...
分类：
Web程序 时间：
2015-08-21 19:03:27
阅读次数：
418
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心...
分类：
Web程序 时间：
2015-08-21 18:42:41
阅读次数：
232
ZooKeeper
安装
#将ZooKeeper解压到/usr/local中
tar –zxvf zookeeper-3.4.6.tar.gz –C /usr/local
cd /usr/local
#重命名
sudo mv zookeeper-3.4.6 zookeeper
cd zookeeper/conf
sudo cp zoo_sample.cfg zoo.cfg
配置
...
分类：
其他好文 时间：
2015-08-19 13:35:19
阅读次数：
168
Flume 读取JMS 消息队列消息，并将消息写入HDFS...
分类：
Web程序 时间：
2015-08-18 12:09:10
阅读次数：
161
kafka的并行度与JStorm性能优化
> Consumers
Messaging traditionally has two models: queuing and publish-subscribe. In a queue, a pool of consumers may read from a server and each message goes to one of th...
分类：
Web程序 时间：
2015-08-18 01:20:54
阅读次数：
1040
