积累了小一个月,终于搞定了64位Ubuntu14.4中的Hadoop集群环境安装。虽然只能算是囫囵吞枣,但是基本完成了预期的目标,接下来要细细品味所有的细节了。...
分类:
其他好文 时间:
2014-05-15 02:58:17
阅读次数:
297
top作为日常管理工作中最常用也是最重要的Linux系统监控工具之一,可以动态观察系统进程状况。但其缺点就是只支持键盘操作,显示也单调。作为刚才Windows转到Linux的我来说,现在有了一个更好的选择:htop。htop介绍htop是Linux系统下一个基本文本模式的、交互式的进程查看器,主要用...
分类:
系统相关 时间:
2014-05-15 02:25:49
阅读次数:
425
hive执行query语句时提示错误:org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOException:...
分类:
编程语言 时间:
2014-05-14 21:49:08
阅读次数:
378
ReduceTask的运行
Reduce处理程序中需要执行三个类型的处理,
1.copy,从各map中copy数据过来
2.sort,对数据进行排序操作。
3.reduce,执行业务逻辑的处理。
ReduceTask的运行也是通过run方法开始,
通过mapreduce.job.reduce.shuffle.consumer.plugin.class配置shuffle的plugin,
...
分类:
其他好文 时间:
2014-05-14 20:23:57
阅读次数:
519
近来多次和百度、阿里、腾讯、中移动数据中心的架构师进行交流,同时也在网上的论坛/社区主导大数据分析范例的一些讨论,与互联网/云开发人员进行沟通。由此,我愉快地发现,大数据分析在中国非常普遍:不光是星巴克、纸牌屋等美国文化元素在中国广受追捧;Hadoop也受到广泛接纳,并且在中国的云开发人员的讨论中占据了主导地位。...
分类:
其他好文 时间:
2014-05-14 19:37:49
阅读次数:
255
一、简介zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供柔软的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成,zabbixserver与可选组件zabbixagen..
分类:
其他好文 时间:
2014-05-14 18:35:08
阅读次数:
551
很多复杂的报表项目,是借助报表工具(或插件)来实现的,下面以jasperReport举例。这些报表工具可以对传统的数据源(关系型数据库、collections、javaBeanArray)进行很好的支持。HBase的数据结构虽然与关系型数据库不一样,但HBase本身就是java开发的。有专门的javaAPI实现对HB..
分类:
其他好文 时间:
2014-05-14 18:23:58
阅读次数:
281
CentOS下配置安装Nagios一、Nagios简介Nagios是一款开源的电脑系统和网络监视工具,能有效监控Windows、Linux和Unix的主机状态,交换机路由器等网络设置,打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员,在状态恢复后发出正常的邮件或短信通知..
分类:
移动开发 时间:
2014-05-14 16:00:17
阅读次数:
443
一、Varnish简介Varnish是一款高性能、开源的反向代理服务器和缓存服务器,其开发者Poul-HenningKamp是FreeBSD核心的开发人员之一。Varnish主要运行两个进程:Management进程和Child进程(也叫Cache进程)。Management进程主要实现应用新的配置、编译VCL、监控varnish、初始化var..
分类:
其他好文 时间:
2014-05-14 15:46:59
阅读次数:
448