1.没有日志分析系统1.1运维痛点1.运维要不停的查看各种日志。2.故障已经发生了才看日志(时间问题。)3.节点多，日志分散，收集日志成了问题。4.运行日志，错误等日志等，没有规范目录，收集困难。1.2环境痛点1.开发人员不能登陆线上服务器查看详细日志。2.各个系统都有日志，日..
分类：
其他好文 时间：
2016-12-23 19:48:23
阅读次数：
255
1.字节流： IuputStream 所有字节输出流的超类 。 抽象类 FileInputStream BufferedInputStream：提供数据的读取效率，拓展方法（内部维护了一个8k字节的数组） OutputStream 所有字节输出流的超类。 抽象类 FileOutputStream B ...
分类：
编程语言 时间：
2016-12-17 20:26:02
阅读次数：
201
首先安装flume：建议和Hadoop保持统一用户来安装Hadoop，flume本次我采用Hadoop用户安装flumehttp://douya.blog.51cto.com/6173221/1860390开始配置：1，配置文件编写：vimflume_hdfs.conf#Defineamemorychannelcalledch1onagent1agent1.channels.ch1.type=memoryagent1.channe..
分类：
Web程序 时间：
2016-12-06 14:52:40
阅读次数：
312
filebeat是beats工具中的一种，都是用来收集日志文件的，作为监听，可以通过配置随时将结果映射到Elasticsearch，logstash，file或者console（只能配置一种），本篇博...
分类：
其他好文 时间：
2016-09-29 18:16:41
阅读次数：
1142
MR系类： ①hadoop生态 >MapReduce:分布式处理 >Hdfs:hadoop distribut file system >其他相关框架 ->unstructured data:收集日志 flume,scribe ->structured data:sqoop hdfs与关系型数据库相 ...
分类：
其他好文 时间：
2016-09-27 13:31:31
阅读次数：
177
1.rsyslogd服务1.1服务功能rsyslog是RHEL或centos系统6.x版本的日志服务，代替以前系统的syslog服务。在这个架构中rsyslog服务主要是收集日志的功能，把日志归类，写入数据库。1.2服务配置文件/etc/rsyslog.conf1.2服务配置###vim/etc/rsyslog.confservice.loglevellogfile*.*/..
分类：
其他好文 时间：
2016-09-06 23:36:28
阅读次数：
325
在我们的运维工作中，常常会对系统上的日志进行收集，手动管理少量的几台服务器的日志收集没有太大难度，但是企业当中批量的管理成千上万台服务器的时候，这时候想一台台的收集日志未免太浪费时间了，这时候我们需要一个批量管理日志的系统来解决这一难题，今天我给大家带来的..
分类：
其他好文 时间：
2016-08-31 12:16:11
阅读次数：
336
日志的分析在联调和后期维护是非常重要。 今天让我们进入ELK。。。让我们一起感受这个强大的日志收集，日志分析存储，日志查询界面化显示的震撼效果吧。 Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自 ...
分类：
其他好文 时间：
2016-08-28 22:15:32
阅读次数：
327
实验环境：之前ELK已经初步安装完毕了，只需要将nginx的日志发送过来就可以了，nginx的IP为：192.168.137.101。因为服务端只是收集日志的所以下面的操作完全是在nginx机器上面完成的。在这里感谢《ELKstack权威指南》这本书，下面配置的内容都是借鉴的这本书。#/opt/logstash/b..
分类：
其他好文 时间：
2016-07-29 19:30:08
阅读次数：
2582
Logstash的插件： input插件： File：从指定的文件中读取事件流； 使用FileWatch（Ruby Gem库）监听文件的变化。 .sincedb：记录了每个被监听的文件的inode, major number, minor nubmer, pos; 一下是一个收集日志简单的示例： i ...
分类：
其他好文 时间：
2016-07-20 21:27:40
阅读次数：
215
