大会地址 上海Spark Meetup第四次聚会将于2015年7月18日在太库科技创业发展有限公司举办，详细地址上海市浦东新区金科路2889弄3号长泰广场 C座12层，太库。本次聚会由七牛和Intel联合举办。大会主题 1. hadoop/spark生态的落地实践 王团结(七牛)七牛云数据平台工程师。主要负责数据平台的设计研发工作。关注大数据处理，高性能系统服务，关注hadoop/flume/k...
分类：
其他好文 时间：
2015-08-27 11:04:36
阅读次数：
189
配置 设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。 配置单个组件 流中每个组件（源，接收器或通道）都有名称，类型，和一组特定实...
分类：
Web程序 时间：
2015-08-21 19:03:27
阅读次数：
418
Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心...
分类：
Web程序 时间：
2015-08-21 18:42:41
阅读次数：
232
Flume 读取JMS 消息队列消息，并将消息写入HDFS...
分类：
Web程序 时间：
2015-08-18 12:09:10
阅读次数：
161
最近在看flume部分功能的源码，关于FileLock的使用，其实在很多开源框架都有涉及，我所看过的有lucene，zookeeper，hadoop，es等开源框架都有用到，下面简单的介绍下FileLock。
1，FileLock是独占锁，控制不同程序（JVM）对同一文件的并发访问。 2，可以对写文件(w)加锁，而且必须是可写文件，不然回报：java.nio.channels.NonWritableChannelException异常，这样可以保证只有同一个进程才能拿到锁对文...
分类：
其他好文 时间：
2015-08-17 23:46:30
阅读次数：
275
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类...
分类：
Web程序 时间：
2015-08-17 21:35:09
阅读次数：
240
http://www.aboutyun.com/thread-6855-1-1.html个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实 时性比较强的，数据量比较大的，我们可以采用Storm，那么Stor...
分类：
Web程序 时间：
2015-08-14 11:27:12
阅读次数：
220
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。 Hadoop带来了廉价的处理大数据（大数据的数据...
分类：
其他好文 时间：
2015-08-13 14:38:41
阅读次数：
244
Flume该演示是不是说。你可以自己搜索。但现在的互联网主要是Flume 1.4前版本号的信息。Flume 1.5在轰动的大变化。假设你准备尝试，我在这里给大家介绍一下程序最小化结构，和使用MongoSink的数据被存储mongodb。完全独立的执行，没有master。没有collector（说白了...
分类：
数据库 时间：
2015-08-12 13:10:10
阅读次数：
389
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战课程针对人群1、本课程适合于有一定java基础知识。对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士2、最好有Greenplum Hadoop、Hadoop2.0、Y...
分类：
其他好文 时间：
2015-08-10 21:59:28
阅读次数：
139
