Hadoop生态系统一、摘要经过几年的快速发展，Hadoop现在已经发展成为包含多个相关项目的软件生态系统。狭义的Hadoop核心只包括HadoopCommon、HadoopHDFS和HadoopMapReduce三个子项目，但是和Hadoop核心密切相关的还包括Avro、Zookeeper、Hive、Pig和Hbase等等项目，构建在这些..
分类：
其他好文 时间：
2016-08-18 14:39:41
阅读次数：
364
选择器可以工作在复制 多路复用(路由) 模式下 属性说明： selector.type replicating 类型名称，必须是 replicating selector.optional – 标志通道为可选 案例： 参看avro sink案例 属性说明： selector.type 类型，必须是" ...
分类：
其他好文 时间：
2016-08-13 01:10:22
阅读次数：
203
监听AVRO端口来接受来自外部AVRO客户端的事件流。 利用Avro Source可以实现多级流动、扇出流、扇入流等效果。 另外也可以接受通过flume提供的Avro客户端发送的日志信息。 支持的属性: !channels – !type – 类型名称，"AVRO" !bind – 需要监听的主机名 ...
分类：
其他好文 时间：
2016-08-12 23:56:50
阅读次数：
343
为什么选择Netty netty是业界最流行的NIO框架之一，它的健壮型,功能，性能，可定制性和可扩展性都是首屈一指的，Hadoop的RPC框架Avro就使用了netty作为底层的通信框架，此外netty在互联网，大数据，网络游戏，企业应用，电信软件等众多行业都得到了成功的商业应用。正因为以上的一些 ...
分类：
Web程序 时间：
2016-08-03 22:01:35
阅读次数：
247
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
分类：
其他好文 时间：
2016-07-30 19:53:50
阅读次数：
303
Hadoophivehqlroadmap学习路线图 1 Comment Hive学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chu ...
分类：
其他好文 时间：
2016-07-30 19:51:22
阅读次数：
223
昨天做了一个Java连接虚拟机，实现Flume Avro Source 的远程连接，确报了一个这样的错，经过了一晚上，终于找到了解决的方案。 我来给大家分享一下！ 报错如下： Exception in thread "main" org.apache.flume.FlumeException:Net ...
分类：
Web程序 时间：
2016-07-14 09:54:00
阅读次数：
816
为什么选择protobuf，而不选择thift和avro，原因大概几点吧，网上对比的文章很多，我主要关注以下几点 1、protobuf序列化性能最好，序列化后字节数最少。 2、protobuf是单纯的序列化框架，不自带通信层，因为通信层我要用mina或netty，之前用的比较多，比较熟悉。 3、av ...
分类：
其他好文 时间：
2016-07-04 11:37:18
阅读次数：
107
1、java序列化机制 2、hadoop使用的writable机制 3、hadoop avro 4、apache thrift 5、google protocol buffer 一个可以读取字节序列的对象叫输入流， 一个可以写入字节序列的对象叫输出流， 分别用抽象类inputstream和outpu ...
分类：
其他好文 时间：
2016-07-01 20:10:20
阅读次数：
170
参考地址 搜索引擎 Nutch Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 Nutch的创始人是Doug Cutting，他同时也是Lucene、Hadoop和Avro开源项目的创始人。 Nutch诞生于2002年8月，是 ...
分类：
编程语言 时间：
2016-06-04 17:43:55
阅读次数：
297
