用了这个logstash扩展https://github.com/PeterPaulH/logstash-influxdb/blob/master/src/influxdb.rb把这个文件放到 logstash-1.4.2/lib/logstash/outputs看一下午logstash的文档，终于...
分类：
数据库 时间：
2014-09-25 22:12:27
阅读次数：
355
总结：
???1.kafka?中可以分步不同的组，消息可以被不同组里面的消费者多次消费
???2.?观察zookeeper中kafka中的信息：
[zk:?air00:2181(CONNECTED)?8]?ls?/
[consumers,?config,?controller,?adm...
分类：
其他好文 时间：
2014-09-25 16:08:39
阅读次数：
209
背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临例如以下几个挑战：怎样收集这些巨大的信息怎样分析它 怎样及时做到如上两点 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）...
分类：
其他好文 时间：
2014-09-23 14:04:14
阅读次数：
295
KafkaOffsetMonitor是不错的kafka监控的web工具，官方提供的版本需要在线下载js和css，其中angulajs的下载不了，在不联网的内部环境下不能正常使用，所以本人将其所有到的js和css单独下载整到当前这个jar包中，下载在内部环境可以直接使用...
分类：
Web程序 时间：
2014-09-21 11:38:20
阅读次数：
265
# consumer offset commit 使用kafka的python api时遇到了offset回滚的问题，因为最初使用了autocommit参数，发现有时会重复取记录，发现autocommit是批量提交，并且有offset回滚的问题，具体原因未发现，解决方法...
分类：
其他好文 时间：
2014-09-21 02:23:20
阅读次数：
439
Elasticsearch安装中文分词插件ik...
分类：
其他好文 时间：
2014-09-19 23:56:56
阅读次数：
490
logstash-forwarder搜集日志，汇总给logstash，然后输出到elasticsearch,并由kibana展现web界面.
分类：
其他好文 时间：
2014-09-17 18:23:32
阅读次数：
179
前言：做运维的很重要的基础工作就是监控，之前都是统计数据入库，然后前端js图表插件出图，费时费力，可定制性差前几天接触到了ELK(logstash, elasticsearch, kibana)这套日志收集展示工具集,的确很方便，但是手头没有那么大的存储啊也不是所有的日志数据都需要，然后就发现了gr...
分类：
其他好文 时间：
2014-09-16 15:30:20
阅读次数：
404
目前中央库中 org.apache.kafka 是用jdk1.7编译的, 故跑在1.6的jvm中会报错解决方案:1. 下载kafka源码, 本地sbt进行install, 编译前 java -version确认classpath中的jdk版本是1.62. 编译打包成功后, 进入当前kafka目录的 ...
分类：
编程语言 时间：
2014-09-14 22:06:27
阅读次数：
1889
多台机器\config\elasticsearch.yml 文件修改cluster.name设置统一的集群名如cluster.name: win-es-001node.name 设置当前Node名称node.name: "win-da-013"如果没有办法自发现，可以查看日志，看启动IP是否正确，如...
分类：
其他好文 时间：
2014-09-13 00:37:34
阅读次数：
321
