码迷,mamicode.com
首页 >  
搜索关键字:flume hdfseventsink 实现分析    ( 1426个结果
跳表SkipList—定义
1.聊一聊跳表作者的其人其事 2. 言归正传,跳表简介 3. 跳表数据存储模型 4. 跳表的代码实现分析 5. 论文,代码下载及参考资料  . 聊一聊作者的其人其事  跳表是由William Pugh发明。他在 Communications of the ACM June 1990, 33(6) 668-676 发表了Skip lists: a probabilistic...
分类:其他好文   时间:2014-08-08 16:03:46    阅读次数:189
Java的LockSupport.park()实现分析
LockSupport类是Java6(JSR166-JUC)引入的一个类,提供了基本的线程同步原语。LockSupport实际上是调用了Unsafe类里的函数,归结到Unsafe里,只有两个函数: ? 1 2 public native void unpark(Thread jthread); public...
分类:编程语言   时间:2014-08-05 15:52:40    阅读次数:341
LRUCache和FastLRUCache实现分析
1、LRUCache的实现分析在分析LRUCache前先对LinkedHashMap做些介绍。LinkedHashMap继承于HashMap,它使用了一个双向链表来存储Map中的Entry顺序关系,这种顺序有两种,一种是LRU顺序,一种是插入顺序,这可以由其构造函数public LinkedHash...
分类:其他好文   时间:2014-08-05 15:27:59    阅读次数:472
Spark SQL CLI 实现分析
本文主要介绍了Spark SQL里目前的CLI实现,代码之后肯定会有不少变动,所以我关注的是比较核心的逻辑。主要是对比了Hive CLI的实现方式,比较Spark SQL在哪块地方做了修改,哪些地方与Hive CLI是保持一致的。 基本上Spark SQL在CLI这块的实现很靠近Hive Service项目里的CLI模块,主要类继承体系、执行逻辑差不多都一样。Spark SQL修改的关键逻辑在CLIService内的SessionManager内的OperationManager里,将非元数据查询操作的q...
分类:数据库   时间:2014-08-05 00:44:58    阅读次数:939
flume 自定义 hbase sink 类
flume自定义hbase sink类...
分类:其他好文   时间:2014-08-04 17:42:18    阅读次数:350
一个数据应用闭环(转载)
收集:各种开源的分布式日志收集系统:Scribe, Flume等等存储可以同时包含各种不同的存储类型,可根据不同的需求增减相应的存储类型:底层存储:能够存储大量的数据,最好具有可扩展性 HDFS S3等等关系存储:MySQL,Postgresql等等键值存储:HBase,Redis等等计算计算能力也...
分类:其他好文   时间:2014-07-30 09:48:23    阅读次数:213
Flume OOM 处理
Exception in thread "SinkRunner-PollingRunner-DefaultSinkProcessor" java.lang.OutOfMemoryError 最近总是被这个错误爆,终于找到了解决方法。 maxOpenFile 默认 5000 , 调到500后错误不在出现。 详见下面j...
分类:其他好文   时间:2014-07-30 01:09:53    阅读次数:247
【System Log】7月14日—7月29日
本日志由系统自动生成。 从7月14日起便按照心想事成的节奏进入了实验室。打酱油。周末又去学活值班,生活的框架还是很不错的。 1、基于Hadoop的Flume,zooKeeper,这些东西算是明白了个大概。 2、第一周大概学习了javascript、jquery、css、ci框架(php)这些基本的东...
分类:其他好文   时间:2014-07-30 00:41:42    阅读次数:279
flume简易实现入门
1、下载 http://www.apache.org/dist/flume/stable/下载最新的tar.gz包即可2、解压tar -zxvf ....3、配置环境变量FLUME_HOME和PATH记得执行source /etc/profile4、添加一个简单的测试案例a、在conf目录下新建一个...
分类:其他好文   时间:2014-07-28 15:07:43    阅读次数:170
Flume采集处理日志文件
Flume简介 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 系统功能 日志收集 Flume最早是Cloud...
分类:其他好文   时间:2014-07-28 14:41:13    阅读次数:491
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!