码迷,mamicode.com
首页 >  
搜索关键字:分布式 hadoop 集群    ( 51515个结果
Zabbix介绍及安装部署
、zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案,zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成,zabbixserver与可选组件zabbixagentzabbi..
分类:其他好文   时间:2014-05-27 03:54:58    阅读次数:349
第十一章 分布式应用程序
第十一章分布式应用程序   使用网络的应用程序,称为分布式应用程序(distributed applications),现在,已经越来越重要。幸运的是,.NETBCL 和其他的库提供了许多结构,使得通过网络通信变得容易,进而,用 F# 创建分布式应用程序也是很简单。     网络概述   已有几类分布式应用程序,通常分为:客户端-服务器(client-server)应用程序,其中客户...
分类:其他好文   时间:2014-05-23 07:29:55    阅读次数:257
如何从Hadoop安全模式中进入正常模式
问题: 在Hadoop中,新建一个目录,报错了,提示mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory,该如何解决呢?...
分类:其他好文   时间:2014-05-22 11:31:11    阅读次数:304
[连载]Java程序设计(03)---任务驱动方式:寻找高富帅和屌丝
讲解了Java中数组的使用以及和数组相关的操作。...
分类:编程语言   时间:2014-05-22 11:05:01    阅读次数:391
Hadoop-2.2.0中文文档—— Common - 超级用户模拟别的用户
简介 此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。 Use Case 下一部分描述的的代码示例对此用户用例是可用的。 一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类:其他好文   时间:2014-05-22 10:40:41    阅读次数:255
hadoop学习;datajoin;chain签名;combine()
hadoop有种简化机制来管理job和control的非线性作业之间的依赖,job对象时mapreduce的表现形式。job对象的实例化可通过传递一个jobconf对象到作业的构造函数中来实现。 x.addDeopendingJob(y)意味着x在y完成之前不会启动。 鉴于job对象存储着配置和依赖信息,jobcontrol对象会负责监管作业的执行,通过addjob(),你可以为jobcont...
分类:其他好文   时间:2014-05-22 07:27:41    阅读次数:287
hadoop多文件格式输入
版本:CDH5.0.0 (hdfs:2.3,mapreduce:2.3,yarn:2.3)hadoop多文件格式输入,一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求:现有两份数据:phone:123,good number 124,common number 125,bad numberuser:zhangsan,123 lisi,124 w...
分类:其他好文   时间:2014-05-22 06:23:52    阅读次数:391
使用Windows Azure 第一步就应该创建地缘组Affinity groups
WindowsAzure目前在全球有八大数据中心(美国西部,美国东部,美国中北部,美国中南部,北欧,西欧,东亚,南亚)。还有中国南北两个数据中心。每个数据中心都由若干个"容器"组成,"容器"的内部是集群(cluster)和机架(rack)。每一个容器都有特定的服务,比如计算和存储,SQLDatab..
分类:Windows程序   时间:2014-05-21 02:45:00    阅读次数:350
sqoop-1.99.3-bin-hadoop200
因为用的hadoop2.20所以下载sqoop-1.99.3-bin-hadoop200使用随便找一个hadoopnode节点做sqoopserver:1.下载安装[hadoop@slave1~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz[hadoop@slave1~]$tarxvfsqoop-1.99.3-bin-hadoop200.tar...
分类:其他好文   时间:2014-05-21 00:01:45    阅读次数:439
dubbo的安装和使用
背景 (#) 随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。 单一应用架构 当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本。此时,用于简化增删改查工作量的 数据访问框架(ORM) 是关键。 垂直应用架构 当访问量逐渐增大,单...
分类:其他好文   时间:2014-05-20 13:57:09    阅读次数:388
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!