今天老大让我去调研flume+kafka+hdfs日志收集系统，下午就开始搭建相关的环境了。这里只是简单地介绍flume配置文件相关的，其他关于flume的基础知识请查看其他人的博客（有空我会补上） 首先是安装flume，安装方法可以根据官网上的方法来，官网地址为：https://cwiki.apa ...
分类：
Web程序 时间：
2016-05-25 23:55:04
阅读次数：
193
消息队列目前流行的有三种 1. RabbitMQ 2. ActiveMQ 3. Kafka 这三种都非常强大，RabbitMQ目前用的比较多，也比较流行，阿里也在用 ActiveMQ是阿帕奇出品，但是性能上和RMQ相比相对差一些 卡夫卡呢，使用场景不同，不多介绍，主要是用于日志收集方面，结合hado ...
分类：
其他好文 时间：
2016-05-22 15:06:12
阅读次数：
293
初学Elasticsearch，在按照《Elasticsearch服务器开发(第2版)》进行学习的过程中，在P17页中1.4.5更新文档小节，使用脚本对文档进行局部更新的时候遇到了如下报错：~curl-XPOSThttp://127.0.0.1:9200/blog/article/1/_update-d‘{"script":"ctx._source.content=\"newcontent\""..
分类：
其他好文 时间：
2016-05-20 06:21:49
阅读次数：
433
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。...
分类：
其他好文 时间：
2016-05-19 15:17:51
阅读次数：
416
来自：美团技术博客
http://tech.meituan.com/mt-log-system-arch.html
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。
《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。...
分类：
Web程序 时间：
2016-05-18 19:40:29
阅读次数：
266
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版...
分类：
Web程序 时间：
2016-05-18 18:34:59
阅读次数：
259
官网地址 本文内容 语法 测试数据 可配置选项 参考资料 date 插件是日期插件，这个插件，常用而重要。 如果不用 date 插件，那么 Logstash 将处理时间作为时间戳。时间戳字段是 Logstash 自己添加的内置字段 @timestamp，在ES中关于时间的相关查询，必须使用该字段，你... ...
分类：
其他好文 时间：
2016-05-18 17:33:08
阅读次数：
414
ELK部署完成后，出现了一些问题，需要调整及优化。1.elasticsearch调节堆内存大小：Elasticsearch默认设置的内存是1GB，对于业务较小，所以需要将机器一半内存分配给jvm查看系统内存：#free-m
totalusedfreesharedbufferscached
Mem:2402820449357901858151
-/+buffers/cache:1..
分类：
其他好文 时间：
2016-05-18 12:51:47
阅读次数：
1303
https://nxlog.co/docs/elasticsearch-kibana/using-nxlog-with-elasticsearch-and-kibana.html http://www.elain.org/2015/08/31/Elasticsearch%E5%85%8D%E8%B4 ...
分类：
其他好文 时间：
2016-05-17 21:13:45
阅读次数：
174
参考:http://www.ksearch.cn/search-engine/elasticsearch-config-performance.html[本环境为rpm安装的elasticsearch2.x版本]置了传递给JVM的启动参数JAVA_OPTS。其中最重要的参数是-Xmx和-Xms，分别用来控制分配给es进程的最大内存、最小内存。（一般来说内存越多越好）通常来..
分类：
其他好文 时间：
2016-05-17 19:53:25
阅读次数：
166
