Kafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。当前很多的消息队列服务提供可靠交付保证，并默认是即时消费（不适...
分类：
其他好文 时间：
2014-06-21 06:22:00
阅读次数：
273
Apache已经发布了Kafka 0.8，也是自从成为Apache软件基金会的顶级项目后Kafka的 第一个主版本。 Apache Kafka是发布—订阅消息传递，实现了分布式提交日志，适用于离线和在线消息消费。它最初由LinkedIn开发的消息系统，用于低延迟的收集和发送大 量的事件和日志数据。最...
分类：
其他好文 时间：
2014-06-21 06:21:23
阅读次数：
253
感谢微信平台---一天一道算法题---每天多一点进步----problem: 给你一天的Google搜索日志 你怎么设计算法找出是否有一个搜索词 它出现的频率占所有搜索的一半以上?如果肯定有一个搜索词栈大多数 你能这么提高你的算法找到它？再假设搜索日志就是内存中的一个数组 要求O(1)空间 O(n....
分类：
其他好文 时间：
2014-06-20 23:46:54
阅读次数：
192
SQL SERVER 可以使用xp_readerrorlog 或者sp_readerrorlog来查看错误日志。xp_readerrorlog 一共有七个参数：1. 存档编号2. 日志类型(1为SQL Server日志,2为SQL Agent日志)3. 查询包含的字符串4. 查询包含的字符串5. ....
分类：
其他好文 时间：
2014-06-20 22:28:50
阅读次数：
293
##Flume概述[Flume](http://flume.apache.org/)是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 ...
分类：
其他好文 时间：
2014-06-20 22:18:57
阅读次数：
309
原文地址http://www.cnblogs.com/liukemng/p/3725582.html一、项目依赖的jar包：1.Spring框架依赖的jar包：日志：commons-logging-1.1.3.jar；JSTL支持：jakarta-taglibs-standard-1.1.2中的js...
分类：
编程语言 时间：
2014-06-20 20:00:55
阅读次数：
269
一、执行start-dfs.sh后，datenode没有启动 查看日志如下： 2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for bloc.....
分类：
其他好文 时间：
2014-06-20 19:51:18
阅读次数：
160
1.默认情况一般创建数据库后，有两个文件，后缀分别为 .mdf(主要文件) 和 .ldf（日志文件） 默认只有一个文件组2.添加文件组，文件组是用来放文件的（用户可以添加文件 后缀默认为 .ndf的文件）3.添加文件4.为什么用文件组对于用户角度来说，需对创建的对象指定存储的文件组只有三种数据对象：...
分类：
数据库 时间：
2014-06-20 19:50:41
阅读次数：
200
1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（...
分类：
其他好文 时间：
2014-06-20 16:18:14
阅读次数：
294
需要以下jar包：---log4jcommons-loggin-1.1.1.jarlog4j-1.2.16.jar---mysqlmysql-connector-java-5.1.15-bin.jar---log4j.properties配置内容log4j.rootLogger=INFO,DATAB...
分类：
数据库 时间：
2014-06-20 16:11:50
阅读次数：
206
