kafka单机部署kafka是一种高吞吐量的分布式发布订阅消息系统,kafka是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为环境配置：
CentOSrelease6.3(Final)
jdk版本：jdk-6u31-linux-x64-rpm.bin
zookeeper版..
分类：
其他好文 时间：
2014-12-19 19:23:50
阅读次数：
225
Hadoop典型应用有：搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等Hadoop的核心是HDFS和mapreduce,两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。mapr...
分类：
其他好文 时间：
2014-11-26 13:48:30
阅读次数：
195
多线程操作同一个文件时会出现并发问题。解决的一个办法就是给文件加锁(lock),但是这样的话，一个线程操作文件时，其它的都得等待，这样的话性能非常差。另外一个解决方案，就是先将数据放在队列中，然后开启一个线程，负责从队列中取出数据，再写到文件中。
下面我们讲解一个实际项目中应用的案例，关于日志的处理.这里是使用ASP.NET MVC项目作为Demo。
方式一：使用队列
思路：把所有产生的日志...
分类：
Web程序 时间：
2014-11-23 17:39:13
阅读次数：
243
日志处理中一些shell命令技巧阴差阳错的做的日志分析，前途未卜的这段日子，唯一还有点意思的可能就是手动的处理大量日志。总结一下。日志文件的输入是动则几个G的文本。从N个这样的文件中得到一个列表，一个数字，一个比例。在什么工具都没有情况下，用shell命令不仅是验证系统数据的准确性的方法，也是一个很...
分类：
系统相关 时间：
2014-11-21 20:15:39
阅读次数：
265
在编程过程中，我们经常会用try...catch处理可能出错的代码块。如果程序出现错误，则直接show出错误信息。当然，大型的系统都有错误日志处理模块，用数据库记录错误日志信息，有相应的写入错误日志和读取操作日志的功能，功能强大，实现起来肯定也是相当的复杂。可有时我们只是想方便的查看错误日志信息，但...
概述
开发一个MVC的Web程序，然后，将其发布，用户开始使用我们的程序，使用的过程中出现了相应的错误，直接跳转到了错误页，用户问我们怎么回事，我们当时一般是不知道怎么回事，要是知道的话，就改了，那么，我们应该怎么着的快速的找到问题，并且，修改它呢？
有人说我们可以进行相应的调试，连接人家的数据库，获得上线相应版本的程序，然后才调试，这个一般行不通，上线程序的数据都...
分类：
其他好文 时间：
2014-10-31 11:55:27
阅读次数：
162
这三样东西分别作用是：日志收集、索引与搜索、可视化展现l logstash 这张架构图可以看出logstash只是collect和index的地方，运行时传入一个.conf文件，配置分三部分:input ,filter,output。l redis redis在这里是作为日志收集与索引之间解耦...
分类：
其他好文 时间：
2014-10-28 17:19:54
阅读次数：
812
package com.doctor.logbackextend;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import kafka.consumer.Consumer;
import kafka.consumer.ConsumerCo...
分类：
Web程序 时间：
2014-10-26 09:07:44
阅读次数：
383
日志记录器(Logger)是日志处理的核心组件。log4j具有5种正常级别(Level)。 日志记录器(Logger)的可用级别Level (不包括自定义级别 Level)， 以下内容就是摘自log4j API (http://jakarta.apache.org/log4j/docs/api/in...
分类：
其他好文 时间：
2014-09-05 16:03:51
阅读次数：
205
关于动态代理，大家显式使用的可能比较少，但是说到Spring的Interceptor、各种各样的事务管理，大家会更熟悉一些，没错，这些在底层实现上，都是使用的动态代理，确切的说，想要为一个类的方法，动态添加功能，比如验证、资源释放、日志处理等，使用的都是动态代理。
为了平缓的过渡，先来说一下静态代理。
静态代理
静态代理的思路很简单：把一个真实对象的实例放到代理对象的实例中，...
分类：
其他好文 时间：
2014-09-04 10:33:49
阅读次数：
250
