码迷,mamicode.com
首页 >  
搜索关键字:flume hdfseventsink 实现分析    ( 1426个结果
Android Day05-网络编程之文件上传
Android文件上传实现分析:利用抓包工具查看文件上传发现,文件上传的请求体十分的复杂,根本难以用HttpURLConnection、HttpClient来实现。但是用AsyncHttpClient就能很轻易的实现了,只要在RequestParams对象里面添加一对键值对,值存储文件的路径即可上传了。AsyncHttpClient..
分类:移动开发   时间:2015-07-21 07:53:41    阅读次数:138
hadoop+kafka+strom+flume第一步
1、所有主机需要安装JDK,并配置JDK环境变量 2、所有主机安装SSH,并相互间实现无密访问 3、修改主机hosts :文件/etc/hosts,保证各机器通过机器名可以互访 4、安装python 2.6及以上(storm用) 5、ZeroMQ Java代...
分类:Web程序   时间:2015-07-20 17:06:59    阅读次数:170
Java的LockSupport.park()实现分析
LockSupport类是Java6(JSR166-JUC)引入的一个类,提供了基本的线程同步原语。LockSupport实际上是调用了Unsafe类里的函数,归结到Unsafe里,只有两个函数:park:阻塞当前线程(Blockcurrentthread),字面理解park,就算占住,停车的时候不...
分类:编程语言   时间:2015-07-17 11:16:32    阅读次数:201
大数据技术之Flume研究摘要(一)
本文是作者研究Flume的一些内容摘要,包括Flume最新的版本及flume的相关组件介绍。...
分类:Web程序   时间:2015-07-16 00:54:03    阅读次数:524
ArrayList和LinkedList的几种循环遍历方式及性能对比分析(转)
主要介绍ArrayList和LinkedList这两种list的五种循环遍历方式,各种方式的性能测试对比,根据ArrayList和LinkedList的源码实现分析性能结果,总结结论。通过本文你可以了解(1)List的五种遍历方式及各自性能 (2)foreach及Iterator的实现 (3)加深对...
分类:其他好文   时间:2015-07-14 20:07:14    阅读次数:199
Hadoop的组成
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。 Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多,同时数据种类多种多样,包括结构化、非结构化等)的能力。但这与之前有什么不同? 现今企业数据仓库和关系型数据库擅长处理结...
分类:其他好文   时间:2015-07-12 09:47:21    阅读次数:149
开启flume的远程调试功能
各种组件,比如tomcat、storm、flume,我们都可以通过JMX方式开启远程调试,主要可以用来跟踪源码,了解程序内部的运行机制,其次,也有利于你修改源码。首先,本质上是要修改flume本身启动的配置文件的jvm配置部分。找到flume目录下的bin文件夹,下面会有个flume-ng文件,这便...
分类:Web程序   时间:2015-07-11 00:54:09    阅读次数:819
代码实现分析mpeg-2文件
1、概述 把上一篇文章中讲到的mpeg-2文件结构分析用代码实现,结合mpeg-2文件分析,才容易看懂。 2、代码 /* *本程序主要分析MPEG-2文件 *作者:缪国凯(MK) *821486004@qq.com *2015-7-8 */ #include "stdafx.h" #define PRINTLOG PrintLog enum PESTYPE { AUDIOPES = ...
分类:其他好文   时间:2015-07-10 19:10:08    阅读次数:141
修改flume源码,使其HTTPSource具备访问路径功能
目前有一个需求,就是Flume可以作为一个类似于tomcat的服务器,可以通过post请求进行访问,并且路径需要:ip:port/contextPath格式。经过一些资料获悉,httpSource只是httpSource的一个玩具工具,可以说毛坯版,目前仅仅支持的是按照ip:port访问,并不具备s...
分类:Web程序   时间:2015-07-10 00:03:28    阅读次数:353
Kafka实战-Kafka到Storm
1.概述 在《Kafka实战-Flume到Kafka》一文中给大家分享了Kafka的数据源生产,今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容,如下所示:数据消费Storm计算预览截图 接下来,我们开始分享今天的内容。2.数据消费 .....
分类:其他好文   时间:2015-07-09 12:59:06    阅读次数:172
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!