最近涌现出各种各样能帮助你理解日志的新工具，有类似 Scribe、Logstash 这样的开源项目，也有类似 Splunk 的预付费工具，还有托管服务如 SumoLogic 和 PaperTrail。这些工具的共同点是对日志数据进行清洗，在大量日志中提取一些更有价值的文件。但有一件事这些工具却爱莫能...
分类：
其他好文 时间：
2015-07-09 19:32:42
阅读次数：
154
最近涌现出各种各样能帮助你理解日志的新工具，有类似 Scribe、Logstash 这样的开源项目，也有类似 Splunk 的预付费工具，还有托管服务如 SumoLogic 和 PaperTrail。这些工具的共同点是对日志数据进行清洗，在大量...
分类：
其他好文 时间：
2015-07-09 06:23:34
阅读次数：
122
总结：
1、安装
一般不需要，默认已安装
2、服务器端配置
（1）/etc/rsyncd.secrets：保存登陆的用户名密码，如：
scribe:abcpassword
（2）/etc/rsyncd.conf：配置模块，指定登陆的用户，同步的路径，客户端的ip等。见后面的附录
3、在客户端进行rsync
rsync -avzP scribe@s...
分类：
其他好文 时间：
2015-06-16 19:24:06
阅读次数：
153
首先提供pagination.js的插件源码/** * This jQuery plugin displays pagination links inside the selected elements. * * @author Gabriel Birke (birke *at* d-scribe ...
分类：
Web程序 时间：
2015-06-07 23:31:02
阅读次数：
267
常用的分布式日志收集系统：Apache Flume、Facebook Scribe、Apache Chukwa1、Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation）...
分类：
Web程序 时间：
2015-05-07 16:30:07
阅读次数：
248
START：Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统，日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称，泛指文件、操作记录等许多数据。一、Flume基础理论1.1 常见的分布式日志收集系统 Scribe是facebook开源的日志收集....
分类：
Web程序 时间：
2015-04-22 01:51:13
阅读次数：
166
log 这个事, 说大不大说小又不小. 大点的, 可以用scribe flume 这样的系统去做, 小点的, 也就打印一个调试信息而已. 在Erlang 中, log 这事情确实比较伤, error_logger 是个单点, io:format 容易导致节点崩溃. 在开源社区, lager 算是使用...
分类：
其他好文 时间：
2015-03-18 01:01:46
阅读次数：
350
日志收集分析系统架构
一．部署架构
日志收集系统一般包括如图所示三层。Web服务器层，日志收集层，日志存储层。Web服务器层是日志的来源，一般部署web应用供用户访问，产生日志，该节点上一般需要部署日志收集程序的agent。日志收集层手机web服务器产生的日志传输给日志存储层，存储层一般使用分布式文件系统HDFS,日志可以存储在hdfs上或者hbase上。
以scribe作...
分类：
其他好文 时间：
2015-02-23 17:55:28
阅读次数：
265
典型大数据计算模式与系统
典型大数据计算模式
典型系统
大数据查询分析计算
HBase，Hive，Cassandra，Impala，Shark，Hana等
批处理计算
Hadoop MapReduce，Spark等
流式计算
Scribe，Flume，Storm，S4, Spark S...
分类：
其他好文 时间：
2015-01-13 21:33:30
阅读次数：
382
【资料整理】scribe安装配置1.安装boost。
_______________________________________________________________________________________________________
yuminstallautomakegcc-c++libevent-developensslopenssl-develboostboost-develbzip2-develpython-devel
注：
1）客..
分类：
其他好文 时间：
2014-12-25 06:44:58
阅读次数：
281
