一.scribe配置参数的两种方式: 1)通过命令行,-ccommandname 2)通过指定配置文件二.全局参数 1)port:(number) scribe监听的端口 默认为0 可以通过命令行-p指定 2)max_msg_per_second:(number) 每秒最大日志并发数 默认为0,0则表示没有限制 在scribeHandler::throttleDeny..
分类：
其他好文 时间：
2014-12-15 22:06:41
阅读次数：
350
首先安装一个最新版本的autoconf，否则后面编译的时候会出问题（提示说autoconf版本要2.65以上才行）wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gztar xvf autoconf-2.69.tar.gzcd autoc...
分类：
其他好文 时间：
2014-11-09 17:59:32
阅读次数：
203
Scribe的配置文件由全局的section和一个或多个store的section组成。这篇来了解一下scribe的配置文件，在源码包的examples目录下有多个配置文件实例：?123456789examples/├── example1.conf #模拟服务端├── example2centra...
分类：
其他好文 时间：
2014-09-30 20:01:30
阅读次数：
288
It is finally here: you can configure the open source log-aggregator, scribe, to log data directly into the Hadoop distributed file system.Many Web 2....
分类：
其他好文 时间：
2014-08-07 22:03:16
阅读次数：
261
收集：各种开源的分布式日志收集系统：Scribe， Flume等等存储可以同时包含各种不同的存储类型，可根据不同的需求增减相应的存储类型：底层存储：能够存储大量的数据，最好具有可扩展性 HDFS S3等等关系存储：MySQL，Postgresql等等键值存储：HBase，Redis等等计算计算能力也...
分类：
其他好文 时间：
2014-07-30 09:48:23
阅读次数：
213
总结之前工作中遇到的一个问题。
背景：
运维用scribe从apache服务器推送过来的日志有重复记录，所以这边的ETL处理要去重，还有个需求是要按业务类型多目录输出，方便挂分区，后面的使用。
这两个需求单独处理都没有问题，但要在一个mapreduce里完成，需要一点技巧。
1、map输入数据，经过一系列处理，输出时：
if(ttype.equals("other"))...
分类：
其他好文 时间：
2014-07-11 00:20:13
阅读次数：
226
1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（...
分类：
其他好文 时间：
2014-06-20 16:18:14
阅读次数：
294
目录(?)[-]Scribe can be configured withGlobal
Configuration VariablesStore ConfigurationStore Configuration VariablesFile
Store ConfigurationNetwork Sto...
分类：
其他好文 时间：
2014-05-30 08:27:50
阅读次数：
381
