码迷,mamicode.com
首页 >  
搜索关键字:分布式 hadoop 集群    ( 51515个结果
memocache 分布式搭建
memcached+magent实现memcached集群首先说明下memcached存在如下问题 本身没有内置分布式功能,无法实现使用多台Memcache服务器来存储不同的数据,最大程度的使用相同的资源;无法同步数据,容易造成单点故障。(memagent代理实现集群) 在 Memcached中可....
分类:其他好文   时间:2014-05-15 10:31:30    阅读次数:326
hadoop学习;自定义Input/OutputFormat;类引用mapreduce.mapper;三种模式
hadoop分割与读取输入文件的方式被定义在InputFormat接口的一个实现中,TextInputFormat是默认的实现,当你想要一次获取一行内容作为输入数据时又没有确定的键,从TextInputFormat返回的键为每行的字节偏移量,但目前没看到用过 以前在mapper中曾使用LongWritable(键)和Text(值),在TextInputFormat中,因为键是字节偏移量,可以是L...
分类:移动开发   时间:2014-05-15 01:31:37    阅读次数:454
我县政府网站集群建设经验总结
一、我县政府网站集群建设成果国家十八大会议明确指出做好信息化工作是目前各个行业的重点,作为我县信息中心的负责人,作为政务服务试点县,经过一年的努力,使得政府网站集群建设取得一定成果。最近打开我区政务网站,市民们可以看到,本来特别落后,相对严肃、死板的政府网..
分类:Web程序   时间:2014-05-15 00:27:27    阅读次数:378
zabbix监控之模板使用、网络发现及邮件报警功能
一、简介1、介绍zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案,能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统工程师快速定位/解决存在的各种问题。zabbix由2部分构成,zabbixserver与可选组件zabbixage..
分类:其他好文   时间:2014-05-15 00:25:18    阅读次数:391
linux--监控系统之Zabbix简介
一、zabbix概述zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成,zabbixserver与可选组件zabb..
分类:系统相关   时间:2014-05-15 00:22:49    阅读次数:1936
MapReduce编程实战之“高级特性”
本篇介绍MapReduce的一些高级特性,如计数器、数据集的排序和连接。计数器是一种收集作业统计信息的有效手段,排序是MapReduce的核心技术,MapReduce也能够执行大型数据集间的“”连接(join)操作。...
分类:其他好文   时间:2014-05-14 23:53:44    阅读次数:553
http协议详解
HTTP是一个属于应用层的面向对象的协议,由于其简捷、快速的方式,适用于分布式超媒体信息系统。它于1990年提出,经过几年的使用与发展,得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版,HTTP/1.1的规范化工作正在进行之中,而且HTTP-NG(Next Generation ...
分类:其他好文   时间:2014-05-14 23:15:45    阅读次数:479
hadoop-mapreduce中reducetask运行分析
ReduceTask的运行 Reduce处理程序中需要执行三个类型的处理, 1.copy,从各map中copy数据过来 2.sort,对数据进行排序操作。 3.reduce,执行业务逻辑的处理。 ReduceTask的运行也是通过run方法开始, 通过mapreduce.job.reduce.shuffle.consumer.plugin.class配置shuffle的plugin, ...
分类:其他好文   时间:2014-05-14 20:23:57    阅读次数:519
动手写一个Remoting测试工具
基于.NET开发分布式系统,经常用到Remoting技术。在测试驱动开发流行的今天,如果针对分布式系统中的每个Remoting接口的每个方法都要写详细的测试脚本,无疑非常浪费时间。所以,我写了一个能自动测试remoting接口的小工具InterfaceTester,跟大家分享。...
分类:其他好文   时间:2014-05-14 20:01:25    阅读次数:273
大数据时代的万象变化
近来多次和百度、阿里、腾讯、中移动数据中心的架构师进行交流,同时也在网上的论坛/社区主导大数据分析范例的一些讨论,与互联网/云开发人员进行沟通。由此,我愉快地发现,大数据分析在中国非常普遍:不光是星巴克、纸牌屋等美国文化元素在中国广受追捧;Hadoop也受到广泛接纳,并且在中国的云开发人员的讨论中占据了主导地位。...
分类:其他好文   时间:2014-05-14 19:37:49    阅读次数:255
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!