版本:CDH5.0.0,HDFS:2.3.0,Mapreduce:2.3.0,Yarn:2.3.0。场景描述:求一组数据中按照不同类别的最大值,比如,如下的数据:data1:A,10
A,11
A,12
A,13
B,21
B,31
B,41
B,51data2:A,20
A,21
A,22
A,23
B,201
B,301
B,401
B,501最后输出为:A,23
B,501假如这样的逻辑的m...
分类:
其他好文 时间:
2014-05-15 08:15:04
阅读次数:
374
我们知道,在JVM编译期和加载器,甚至运行期已经做了大量的调优操作,但是那些都是JVM针对Java程序所做的通用的、简单的优化,程序在运行时由于运行环境的复杂性、业务逻辑的复杂性,很多JVM是无法进行优化处理的,这就需要我们自己在写代码的时候就注意,以便我们的程序在特定的业务场景发挥到最佳性能。要进...
分类:
其他好文 时间:
2014-05-15 01:59:58
阅读次数:
275
hadoop分割与读取输入文件的方式被定义在InputFormat接口的一个实现中,TextInputFormat是默认的实现,当你想要一次获取一行内容作为输入数据时又没有确定的键,从TextInputFormat返回的键为每行的字节偏移量,但目前没看到用过
以前在mapper中曾使用LongWritable(键)和Text(值),在TextInputFormat中,因为键是字节偏移量,可以是L...
分类:
移动开发 时间:
2014-05-15 01:31:37
阅读次数:
454
目录一、zabbix简介二、安装zabbix以前的几个问题三、安装zabbix四、登录zabbix密码忘记的解决方法一、zabbix简介zabbix是一个企业级的系统监控及网络监控的开源解决方案,可以高度自定义监控,并提供灵活多变的通知方式,能帮助系统管理员迅速定位、解决问题。zabbix通过C/S模..
分类:
其他好文 时间:
2014-05-15 01:07:26
阅读次数:
439
我安装了一个zabbix监控,一直很顺利,后来不知道问什么服务起不来了,服务器总是提醒我10051端口没有打开,于是我仔细理了一遍又一遍,服务总是启动不起来:Startingzabbix_server:/etc/init.d/functions:line536:/etc/init.d//sbin/zabbix_server:Nosuchfileordirectory于是..
分类:
其他好文 时间:
2014-05-15 00:38:55
阅读次数:
336
一、简介1、介绍zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案,能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统工程师快速定位/解决存在的各种问题。zabbix由2部分构成,zabbixserver与可选组件zabbixage..
分类:
其他好文 时间:
2014-05-15 00:25:18
阅读次数:
391
一、zabbix概述zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成,zabbixserver与可选组件zabb..
分类:
系统相关 时间:
2014-05-15 00:22:49
阅读次数:
1936
本篇介绍MapReduce的一些高级特性,如计数器、数据集的排序和连接。计数器是一种收集作业统计信息的有效手段,排序是MapReduce的核心技术,MapReduce也能够执行大型数据集间的“”连接(join)操作。...
分类:
其他好文 时间:
2014-05-14 23:53:44
阅读次数:
553
1.1Visual VM简介VisualVM提供在Java虚拟机(Java Virutal
Machine,
JVM)上运行的Java应用程序的详细信息。在VisualVM的图形用户界面中,您可以方便、快捷地查看多个Java应用程序的相关信息。(摘自官方)
简单说来,VisualVM是一种集成了多个...
分类:
其他好文 时间:
2014-05-14 23:36:23
阅读次数:
578
对于sleep()方法,我们首先要知道该方法是属于Thread类中的。而wait()方法,则是属于Object类中的。sleep()方法导致了程序暂停执行指定的时间,让出cpu该其他线程,但是他的监控状态依然保持者,当指定的时间到了又会自动恢复运行状态。在调用sleep()方法的过程中,线程不会释放...
分类:
编程语言 时间:
2014-05-14 22:28:53
阅读次数:
375