这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source： 1、spool-source：适合静态文件，即文件本身不是动态变化的； 2、avro source可以适当提高线程数量来提高此source性能； 3、ThriftSource在使用时...
分类：
其他好文 时间：
2014-10-09 19:29:07
阅读次数：
292
elasticsearch kibana3安装...
分类：
其他好文 时间：
2014-10-09 17:29:58
阅读次数：
221
Flume配置
。
flume生成的数据结构
"_index" : "logstash-2013.01.07",
"_type" : "tms_jboss_syslog",
"_id" : "a_M9X_0YSpmE7A_bEzIFiw",
"_score" : 1.0, "_source" : {"@source":"file://localhost.localdomain/tmp...
分类：
其他好文 时间：
2014-10-09 17:03:48
阅读次数：
290
HTMLCanvasElement对应h5的canvas元素。
解析网页遇到canvas元素会创建HTMLCanvasElement实例。
Canvas可以支持2d和3d图形的绘制。
HTMLCanvasElement提供了getContext()接口，返回图形绘制的上下文对象,
对于2d图形返回的是CanvasRenderingContext2D。
CanvasRenderingCon...
分类：
移动开发 时间：
2014-10-08 15:08:35
阅读次数：
302
摘要：Part I分析了GPU客户端之间存在的同步问题，以及Chromium的GL扩展同步点机制的基本原理。本文将源代码的角度剖析同步点（SyncPoint）机制的实现方式。同步点机制的实现主要涉及到是如何跨进程实现两个GL扩展接口InsertSyncPointCHROMIUM和WaitSyncPointCHROMIUM的实现方式，以及如何实现GPU服务端的同步点等待。...
分类：
其他好文 时间：
2014-10-06 13:53:50
阅读次数：
132
Chromium中GPU进程架构导致多个GPU客户端会同时访问GPU服务，而多个GPU客户端可能存在数据依赖关系，例如渲染WebGL页面时，因此需要提供一种同步机制保证GPU操作的先后次序。本文讨论的就是多进程架构下GPU客户端之间的同步问题，以及同步点(SyncPoint)机制的基本原理。...
分类：
其他好文 时间：
2014-10-06 12:20:00
阅读次数：
293
Flume数据传输事务分析
本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。一般情况下，用MemoryChannel就好了，我们公司用的就是这个，FileChannel速度慢，虽然提供日志级别的数据恢复，但是一般情况下，不断电MemoryChannel是不会...
分类：
其他好文 时间：
2014-09-30 17:11:59
阅读次数：
187
最近在用Flume做数据的收集。用到了里面的Spooldir的源在使用中有如下的问题：如果文件的某一行有乱码，不符合指定的编码规范，那么flume会抛出一个exception，然后就停在那儿了。spooldir指定的文件夹中的文件一旦被修改，flume就会抛出一个exception，然后停在那儿了。...
分类：
其他好文 时间：
2014-09-26 19:21:18
阅读次数：
220
RPC分布式计算
目录(?)[+]
RPC 功能目标RPC 调用分类RPC 结构拆解RPC 组件职责RPC 实现分析
导出远程接口导入远程接口与客户端代理协议编解码传输服务执行调用
RPC 异常处理总结
《深入篇》我们主要围绕 RPC 的功能目标和实现考量去展开，一个基本的 RPC 框架应该提供什么功能，满足什么要求以及如何去实现它？
RPC 功能目标
R...
分类：
其他好文 时间：
2014-09-23 11:47:34
阅读次数：
363
Erlang：RabbitMQ源码分析 5. worker pool 实现分析...
分类：
其他好文 时间：
2014-09-19 21:09:56
阅读次数：
232
