写在前面一：
本文总结“Hadoop生态系统”中的其中一员——Apache Flume
写在前面二：
所用软件说明：
一、什么是Apache Flume
官网：Flume is a distributed, reliable, and available
service for efficiently
collecting, aggregating, and m...
分类：
其他好文 时间：
2014-05-26 04:32:10
阅读次数：
359
在已经成功安装Flume的基础上，本文将总结使用Flume进行数据的实时收集处理，具体步骤如下：
第一步，在$FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，具体内容如下：
#agent1表示代理名称
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1...
分类：
其他好文 时间：
2014-05-25 00:49:58
阅读次数：
383
使用Docker一段时间之后，准备在公司内部使用Docker +
Hadoop(HDFS)组件内部一个私有云，统一管理公司和产品/项目组内部的代码、文档。我选择先从文档管理开始，在底层架子搭建好之后，需要给内部人员提供一个好的“门面”，在没有这个门面之前，我们大量使用SSH+Command方式操作，...
分类：
其他好文 时间：
2014-05-24 03:44:10
阅读次数：
1071
Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法。Hive将数据组织为表，这就使得HDFS上的数据有了结构，元数据即表的模式，都存储在名为meta....
分类：
其他好文 时间：
2014-05-23 05:54:55
阅读次数：
1771
通过MapReduce程序分析气象数据集，更好的了解计算过程。环境：Hadoop 1.2.1
& Centos 6.5
x641、气象数据集准备下载链接：ftp://ftp3.ncdc.noaa.gov/pub/data完整数据集非常大，可以下载部分数据集作为日常实验数据。2、气象数据上传到HDFS...
分类：
其他好文 时间：
2014-05-22 15:39:14
阅读次数：
361
问题： 在Hadoop中，新建一个目录，报错了，提示mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory，该如何解决呢？...
分类：
其他好文 时间：
2014-05-22 11:31:11
阅读次数：
304
作者在工作中遇到了类似流式数据实时接入的业务场景，所以对淘宝的实时数据仓库这一块做了一些调研和了解。本文从业务场景和设计上介绍了淘宝的TimeTunnel工具，文中的图片来自淘宝数据仓库团队交流过程中的sildes，也参考了一些相关文档。
业务背景
TimeTunnel（简称TT）是一个基于thrift通讯框架搭建的实时数据传输平台，具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点（基于Hbase）。
目前TimeTunnel在阿里巴巴广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据...
分类：
其他好文 时间：
2014-05-22 10:58:59
阅读次数：
334
简介
此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。
Use Case
下一部分描述的的代码示例对此用户用例是可用的。
一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类：
其他好文 时间：
2014-05-22 10:40:41
阅读次数：
255
版本：CDH5.0.0 （hdfs:2.3，mapreduce：2.3，yarn：2.3）hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求：现有两份数据：phone：123,good number
124,common number
125,bad numberuser：zhangsan,123
lisi,124
w...
分类：
其他好文 时间：
2014-05-22 06:23:52
阅读次数：
391
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
课程讲师：迪伦
课程分类：Java
适合人群：高级
课时数量：96课时
用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop
涉及项目：Greenplum Hadoop大数据分析平台
更新程度：完毕
对这个课程有兴趣的朋友可以加我的QQ2059055336和...
分类：
其他好文 时间：
2014-05-21 13:23:22
阅读次数：
363
