文章来自：http://www.cnblogs.com/hark0623/p/4173714.html 转发请注明因业务需求，需要flume收集MQTT(Mosquitto)的数据。 方法就是flume自定义source，source中来订阅(subscribe)MQTTflume source的j...
分类：
Web程序 时间：
2014-12-19 14:22:28
阅读次数：
269
object LogicHandle { def main(args: Array[String]) { //添加这个不会报执行错误 val path = new File(".").getCanonicalPath() System.getProperties().put("h...
分类：
Web程序 时间：
2014-12-18 20:32:51
阅读次数：
255
1背景11.1MVCC：Snapshot Read vs Current Read21.2Cluster Index：聚簇索引31.32PL：Two-Phase Locking31.4Isolation Level42一条简单SQL的加锁实现分析52.1组合一：id主键+RC62.2组合二：id唯一...
分类：
数据库 时间：
2014-12-17 22:15:06
阅读次数：
268
如何做集成，其实特别简单，网上其实就是教程。http://blog.csdn.net/fighting_one_piece/article/details/40667035 看这里就成。 我用的是第一种集成。。做的时候，出现了各种问题。 大概从从2014.12.17 早晨5点搞到2014.12.1....
分类：
Web程序 时间：
2014-12-17 20:39:08
阅读次数：
241
郑昀 基于刘金鑫文档 最后更新于2014/12/1 关键词： recsys 、推荐评测、Evaluation of Recommender System、piwik、flume、kafka、storm、redis、mysql 本文档适用人员：研发 ? 推荐系统可不仅仅是围着推荐算法...
分类：
其他好文 时间：
2014-12-17 16:38:41
阅读次数：
458
最近接到一个日志收集的需求，经过测试和修改，目前基本实现想要的功能，记录一下。 先说一下日志收集的需求，每隔1小时收集一次log日志，按照类别生成不同的lzo压缩文件，而且生成的日志要放在到前一个小时的目录中。 拿到这个需求先想到使用flume来进行日志收集，再用Interceptor进行过...
分类：
Web程序 时间：
2014-12-17 01:34:44
阅读次数：
280
http://blog.csdn.net/zxcvg/article/details/18600335http://www.aboutyun.com/thread-8317-1-1.htmlhttp://blog.csdn.net/lskyne/article/details/37564449美团数...
分类：
Web程序 时间：
2014-12-13 12:09:38
阅读次数：
207
1 内核线程
内核为每个线程分配8K的栈空间, 在每个堆栈的顶部放着struct thread_info 结构体，用来保存线程相关信息.
其中有几个重要变量：
Preempt_count :
此变量分为四部分
0-7bit ：当前进程是否能抢占的标志
8-15bit:softirq 使能标志
16-23bit :hardirq 使能标志
24bit:PREEMPT_ACTIVE...
分类：
系统相关 时间：
2014-12-13 10:52:06
阅读次数：
485
采集层 主要可以使用Flume, Kafka两种技术。 Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API. Kafka：Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。...
分类：
Web程序 时间：
2014-12-12 13:27:34
阅读次数：
209
在使用flume中发现由于网络、HDFS等其它原因，使得经过Flume收集到HDFS上得日志有一些异常，表现为：1、有未关闭的文件：以tmp(默认)结尾的文件。加入存到HDFS上得文件应该是gz压缩文件，以tmp为结尾的文件就无法使用；2、有大小为0的文件，比如gz压缩文件大小为0，我们单独拿下这个...
分类：
Web程序 时间：
2014-12-11 13:46:24
阅读次数：
299
