码迷,mamicode.com
首页 >  
搜索关键字:flume sinkprocessor 源码分析    ( 6696个结果
Spring中Bean命名源码分析
Spring中Bean命名源码分析 一、案例代码 首先是demo的整体结构 其次是各个部分的代码,代码本身比较简单,不是我们关注的重点 配置类 接口的实现类 测试类 我们主要探究两个bean:一个是我们的SpringConfiguration类,它是配置类,也是容器中的bean 一个是UserSer ...
分类:编程语言   时间:2019-10-26 01:32:16    阅读次数:87
flume增量采集数据
对于flume的增量抽取,首先想到的就是常用的那几种方法,监控日志,触发器,版本号,时间戳等等,虽然可以实现,但都对数据源有了一定限制,假如客户的系统内部表没有那些东西,这就是一件很难搞的事了,毕竟对方数据库不能随便动。 这个时候可以采用 $@$,它可以表示增量列上一次查询的值。,将它加入sql语句 ...
分类:Web程序   时间:2019-10-25 18:28:04    阅读次数:272
十三、MapReduce--output输出源码分析
当reducetask执行完成后,就会将结果的KV写入到指定路径下。下面分析这个output过程。1、首先看ReduceTask.run()这个执行入口//--------------------------ReduceTask.javapublicvoidrun(JobConfjob,TaskUmbilicalProtocolumbilical)throwsIOException,Interru
分类:其他好文   时间:2019-10-25 10:25:21    阅读次数:96
jQuery 源码分析(十五) 数据操作模块 val详解
jQuery的属性操作模块总共有4个部分,本篇说一下最后一个部分:val值的操作,也是属性操作里最简单的吧,只有一个API,如下: val(vlaue) ;获取匹配元素集合中第一个元素的当前值,或者设置匹配元素集合中每个元素的值,有三种用法: val() ;没有参数,获取第一个匹配元素的当前值 va ...
分类:Web程序   时间:2019-10-25 10:02:56    阅读次数:111
十、MapReduce--InputFormat以及RecordReader抽象类
一、基本原理?在map执行之前,需要将数据进行切片,每个切片对应一个map任务。而每个map任务并不是直接处理这些切片数据的,它是处理KV的。所以问题有两个:数据是如何切片的、切片是如何转为KV给map处理的。?这就涉及到两个抽象类,InputFormat以及RecordReader。具体为什么是这两个抽象类,请看之前input的源码分析1、InputFormatpublicabstractcla
分类:其他好文   时间:2019-10-25 09:16:26    阅读次数:95
Django之视图层
Django之视图层 JsonResponse from表单上传数据 FBV与CBV之CBV源码分析 模板传值 过滤器 标签 自定义过滤器、 标签 当内置的过滤器或标签无法满足我们的需求的时候,我们就可以自定义,具体操作步骤如下 模板的继承 模板的导入 ...
分类:其他好文   时间:2019-10-24 23:59:26    阅读次数:184
drf_jwt手动签发与校验-drf小组件:过滤-筛选-排序-分页
签发token 源码的入口:完成token签发的view类里面封装的方法。 源码中在请求token的时候只有post请求方法,主要分析一下源码中的post方法的实现。 settings源码: 总结: 源码的入口 核心内部源码分析: 实现签发token的内部方法 根据研究分析源码,实现手动签发toke ...
分类:编程语言   时间:2019-10-24 21:45:13    阅读次数:81
Guava 源码分析之Cache的实现原理
Guava 源码分析之Cache的实现原理 前言 Google 出的 Guava 是 Java 核心增强的库,应用非常广泛。 我平时用的也挺频繁,这次就借助日常使用的 Cache 组件来看看 Google 大牛们是如何设计的。 缓存 本次主要讨论缓存。缓存在日常开发中举足轻重,如果你的应用对某类数据 ...
分类:系统相关   时间:2019-10-24 21:39:19    阅读次数:96
九、MapReduce--input源码分析
当job提交至yarn之后,就会开始调度运行map任务,这里开始讲解map输入的源码分析。一个map任务的入口就是MapTask.class中的run()方法1、首先看看MapTask.run()方法MapTask.class//---------------------------------MapTask.javapublicvoidrun(JobConfjob,TaskUmbilicalPr
分类:其他好文   时间:2019-10-24 20:00:59    阅读次数:69
八、MapReduce--job提交源码分析
一、源码分析1、提交job的入口通过job.waitForCompletion(true)完成job的提交以及运行,下面从这个方法入手分析源码。//-----------------job.javapublicbooleanwaitForCompletion(booleanverbose)throwsIOException,InterruptedException,ClassNotFoundExc
分类:其他好文   时间:2019-10-24 17:07:02    阅读次数:95
6696条   上一页 1 ... 78 79 80 81 82 ... 670 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!