cd ~/srcmkdir classesjavac -classpath
~/hadoop-0.20.2/hadoop-0.20.2-core.jar WordCount.java -d classesjar -cvf
WordCount.jar -C classes/ .hadoop jar W...
分类：
其他好文 时间：
2014-05-23 22:22:04
阅读次数：
341
1.通过通用的snmp监控,无需代理端2.通过snmp代理snmp代理的工作原理:在被监控端设置代理,代理不断的获取本地数据,而管理端定期通过代理获取监控数据.snmp目前有v1,v2,v3三种版本,前两种安全性低,明文传输,但是第二种v2c版本目前是主流.3.通过ssh设定脚本进行监控4.snmp...
分类：
其他好文 时间：
2014-05-23 12:13:05
阅读次数：
417
Hadoop 的优势
Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发运行处理海量数据的应用程序。它主要有以下几个优点:
1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。
2.高扩展性。Hadoop 是在可用的计算机集簇间分配数据完成计算任务的, 这些集簇可以方便地...
分类：
其他好文 时间：
2014-05-22 12:26:27
阅读次数：
217
作者在工作中遇到了类似流式数据实时接入的业务场景，所以对淘宝的实时数据仓库这一块做了一些调研和了解。本文从业务场景和设计上介绍了淘宝的TimeTunnel工具，文中的图片来自淘宝数据仓库团队交流过程中的sildes，也参考了一些相关文档。
业务背景
TimeTunnel（简称TT）是一个基于thrift通讯框架搭建的实时数据传输平台，具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点（基于Hbase）。
目前TimeTunnel在阿里巴巴广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据...
分类：
其他好文 时间：
2014-05-22 10:58:59
阅读次数：
334
简介
此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。
Use Case
下一部分描述的的代码示例对此用户用例是可用的。
一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类：
其他好文 时间：
2014-05-22 10:40:41
阅读次数：
255
这篇文章不提原理，讲讲hadoop及其周边项目的作用。
hadoop这个词已经流行好多年了，一提到大数据就会想到hadoop，那么hadoop的作用是什么呢？
官方定义：hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台，也就是说我们有大量的数据，又有好几个电脑，我们知道应该把处理数据的任务分解到各个电脑上，但是不知道怎样分配任务，怎样回收结果，hadoop大概就帮助我们做了...
分类：
其他好文 时间：
2014-05-22 10:34:39
阅读次数：
288
背景: 测试部门做压力测试, 结果没压多久,就出现OutOfMemory. 原因查找,通过监控工具,发现StandardSession(org.apache.catalina.session.StandardSession)对象不断增长,毫无疑问,肯定是在不断创建Session对象.备注:一般做压力测试,每次请求都不会指定JESSESIONID值,导致Web容器认为每次请求都是新的请求,于是创建...
分类：
其他好文 时间：
2014-05-22 09:24:28
阅读次数：
438
版本：CDH5.0.0 （hdfs:2.3，mapreduce：2.3，yarn：2.3）hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求：现有两份数据：phone：123,good number
124,common number
125,bad numberuser：zhangsan,123
lisi,124
w...
分类：
其他好文 时间：
2014-05-22 06:23:52
阅读次数：
391
background:又一个持续运行的程序，不断产生数据，而在主程序中不仅需要监控所产生的程序，同时还要能控制其运行状态。solution：不断产生数据的为一个线程，为达到需求，增加两个线程，其中辅线程用来不断监视产生数据线程的数据，而主线程则用来控制辅线程的运行与否（即是否监视）。一共涉及三个类，...
分类：
编程语言 时间：
2014-05-20 09:21:53
阅读次数：
289
