前言: 上周末自己学习了一下Kafka,参考网上的文章,学习过程中还是比较顺利的,遇到的一些问题最终也都解决了,现在将学习的过程记录与此,供以后自己查阅,如果能帮助到其他人,自然是更好的。======================================================.....
分类:
其他好文 时间:
2015-09-29 13:05:32
阅读次数:
279
基本操作 本节将列一下在Kafka集群上的最常用的操作。所有在本节被提到的工作都可以$KAFKA_HOME/bin目录下找到;并且每个工具都会较详细的打印命令的所有可能的选项。 添加和移除Topic 你可以手动创建一个Topic也...
分类:
其他好文 时间:
2015-09-26 16:02:25
阅读次数:
145
一直在做技术选型,Kafka还要学习scala,蛋疼,MetaQ太重, 朋友推荐HTTPSQS,自己看了几个MQ,最终决定引入轻量级的ZBus. ---这里的版本号是 6.2.0 http://git.oschina.net/rushmore/zbus/tree/6.2.0-release/ 下载...
分类:
其他好文 时间:
2015-09-24 17:52:28
阅读次数:
426
kafka 监控插件 1.KafkaOffsetMonitor 项目地址:https://github.com/quantifind/KafkaOffsetMonitor KafkaOffsetMonitor是用来实时监控Kafka集群的consumers以及它们在partition中的offset(偏移量)。 You can se...
分类:
其他好文 时间:
2015-09-23 17:26:45
阅读次数:
368
郑昀 基于杨海波的设计文档 创建于2015/8/13 最后更新于2015/8/25 关键词:异常流量、rate limiting、Nginx、Apriori、频繁项集、先验算法、Lua、ELK 本文档适用人员:技术人员 提纲: 所谓异常流量 如何识别异常...
分类:
编程语言 时间:
2015-09-23 13:38:25
阅读次数:
257
ELKstack是Elasticsearch、Logstash、Kibana三个开源软件的组合。目前都在Elastic.co公司名下。
ELK是一套常用的开源日志监控和分析系统,包括一个分布式索引与搜索服务Elasticsearch,
一个管理日志和事件的工具logstash,和一个数据可视化服务Kibana
logstash_1.5.3负责日志..
分类:
其他好文 时间:
2015-09-23 10:38:46
阅读次数:
334
环境信息:CentOS 6.5redis 3.0.4logstashelasticsearchkibana服务端ip:192.168.0.65客户端ip:192.168.0.66关系结构图:图片引用自:http://www.wklken.me/posts/2015/04/26/elk-for-ngi...
分类:
其他好文 时间:
2015-09-21 14:09:34
阅读次数:
203
博文作者:妳那伊抹微笑博客地址:http://blog.csdn.net/u012185296博文标题:_00023 Kafka 诡异操作_001自己定义Encoder实现Class级别的数据传送以及解析个性签名:世界上最遥远的距离不是天涯,也不是海角。而是我站在妳的面前,妳却感觉不到我的存在技术方...
分类:
Web程序 时间:
2015-09-20 20:37:01
阅读次数:
545
ELK日志管理·1.简介·2.依赖组件·3.下载·4.安装步骤o4.1安装rediso4.2ElasticSearch安装o4.3LogStash安装o4.4Kibana安装·5.使用说明o5.1ElasticSearcho5.2Kibana1.简介ELK日志管理系统主要功能:应用系统日志的分析和监控。ELK组成:ElasticSearch,LogStash,Kibana,RedisEL..
分类:
其他好文 时间:
2015-09-18 12:11:45
阅读次数:
441