安装顺序 zookeeper,kafka,storm install zookeeper 1.上传tar包，解压tar tar -zxvf zookeeper-3.4.6.tar.gz 2.复制 zoo_sample.cfg 重命名 zoo.cfg cp zoo_sample.cfg zoo.cfg ...
分类：
其他好文 时间：
2016-12-11 02:03:07
阅读次数：
176
本文翻译自Building Analytics Engine Using Akka, Kafka & ElasticSearch，已获得原作者Satendra Kumar和网站授权。 在这篇文章里，我将和大家分享一下我用Scala、Akka、Play、Kafka和ElasticSearch等构建大型 ...
分类：
其他好文 时间：
2016-12-10 13:36:26
阅读次数：
371
一、更改日志输出级别 config/log4j.properties中日志的级别设置的是TRACE，在长时间运行过程中产生的日志大小吓人，所以如果没有特殊需求，强烈建议将其更改成INFO级别。具体修改方法如下所示，将config/log4j.properties文件中最后的几行中的TRACE改成IN ...
分类：
其他好文 时间：
2016-12-09 00:39:24
阅读次数：
398
一、Kafka中topic级别配置 1、Topic级别配置 配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它 ...
分类：
其他好文 时间：
2016-12-07 01:46:21
阅读次数：
299
Kafka配置优化其实都是修改server.properties文件中参数值 1、网络和io操作线程配置优化 # broker处理消息的最大线程数 num.network.threads=xxx # broker处理磁盘IO的线程数 num.io.threads=xxx 建议配置： 一般num.ne ...
分类：
其他好文 时间：
2016-12-07 01:09:35
阅读次数：
674
公司最近在研究多条件组合查询方案，Google的一位技术专家Sam和我们讨论了几个备选方案。 Sam的信： 我做了进一步研究，目前有这么几种做法： 1） 最直接粗暴，只做一个主index，比如按行业＋地区做一个index，这样来说的话，无论多少个标签的查询，直接先用主index做一个筛选，这样下来可... ...
分类：
其他好文 时间：
2016-12-06 20:01:27
阅读次数：
449
flume配置： #DBFile DBFile.sources = sources1 DBFile.sinks = sinks1 DBFile.channels = channels1 # DBFile-DB-Source DBFile.sources.sources1.type = spooldi... ...
分类：
Web程序 时间：
2016-12-03 11:51:21
阅读次数：
449
在此强调：Hadoop，zookpeer，spark，kafka已经正常启动开始安装部署hive基础依赖环境：
1，jdk1.6+
2,hadoop2.x
3，hive0.13-0.19
4，mysql（mysql-connector-jar）安装详细如下：#java
exportJAVA_HOME=/soft/jdk1.7.0_79/
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HO..
分类：
其他好文 时间：
2016-12-02 16:40:56
阅读次数：
249
Kafka 0.9版本开始推出了Java版本的consumer，优化了coordinator的设计以及摆脱了对zookeeper的依赖。社区最近也在探讨正式用这套consumer API替换Scala版本的consumer的计划。鉴于目前这方面的资料并不是很多，本文将尝试给出一个利用KafkaCon ...
分类：
编程语言 时间：
2016-12-02 12:00:45
阅读次数：
2896
参考资料： 设计消息中间件时我关心什么?(解密电商数据一致性与完整性实现,含PPT) http://mp.weixin.qq.com/s/5jEzEPCyTU0ELLi85L8qsQ 京东消息中间件JMQ：架构，与Kafka的对比，主要特性和应用场景 http://mp.weixin.qq.com/ ...
分类：
其他好文 时间：
2016-12-02 11:40:16
阅读次数：
218
