按照文档:http://www.micmiu.com/bigdata/hadoop/hadoop2x-eclipse-mapreduce-demo/安装配置好Eclipse后,运行WordCount程序报错: log4j:WARN No appenders could be found for lo...
如果感觉在虚拟机中打开火狐查看Hadoop状态有点拖拖拉拉,宿主机浏览器不失为一个好选择,但这时问题来了,因为方便的缘故,虚拟网络配置几乎全用的DHCP,要在宿主机访问虚拟机,就要在VirtualBox下配置静态IP,很...
分类:
其他好文 时间:
2014-07-29 16:16:39
阅读次数:
236
构建大型云计算平台分布式技术的实践 作者 章文嵩 发布于 2014年7月23日 | 本文基于章文嵩博士在2014年7月18日的全球架构师峰会ArchSummit上的主题演讲《构建大型云计算平台分布式技术的实践》整理而成。 演讲者简...
分类:
其他好文 时间:
2014-07-29 16:07:09
阅读次数:
307
立足云端,HPHelion的云端之路。说起云平台、云计算这个概念。记得最早应该是由GOOGLE公司最先提出来的,其主要目的是:让全世界的用户简单使用一个显示屏,打开显示屏就能通过网络连接到云服务提供商建立在云平台里的服务系统,挑选自己需要的服务,或者把自己的信息存放到云..
分类:
其他好文 时间:
2014-07-29 16:02:59
阅读次数:
225
哈哈,今天接昨天的,继续创建Runbook。27、在文本字段旁边的用户角色名,点击右键,选择订阅>发布数据28、在活动下拉列表中,选择“初始化数据”29、在文本框的末尾添加文字:_SelfServiceUser30、在文本字段旁边的简介类型单击文本字段并选择“...”,然后从配置文件类型..
分类:
其他好文 时间:
2014-07-29 16:01:10
阅读次数:
237
测试Runbook小张现在已经创造了他的第一个Runbook。他现在所要做的唯一事情是启动Runbook,同时提供四个参数让他的工作实现自动化,节省他的时间。但他实际运行之前,他必须检查看看Runbook是否可用。为此,他将使用被集成到Orchestrator中的Runbook测试仪,对于这次测试,小张..
分类:
其他好文 时间:
2014-07-29 15:27:49
阅读次数:
325
LZ4算法又称为RealtimeCompressionAlgorithm,在操作系统(linux/freeBSD)、文件系统(OpenZFS)、大数据(Hadoop)、搜索引擎(Lucene/solr)、数据库(Hbase)……都可以看到它的身影,可以说是一个非常通用的算法。LZ4最突出的地方在于它的压缩/解压速度。基础知识理解Lucene中LZ4算..
分类:
其他好文 时间:
2014-07-29 15:24:30
阅读次数:
483
所需环境:Hadoop相关jar包(下载官网发行版即可);下载junit包(最新为好);下载mockito包;下载mrunit包;下载powermock-mockito包;相关包截图如下:应用场景:在进行Hadoop的一般MR编程时,需要验证我们的业务逻辑,或者说是验证数据流的时候可以使用此环境,这个环境不要求真实的云平台,只是针对算法或者代码逻辑进行验证,方便调试代码。实例:Mapper:pac...
分类:
其他好文 时间:
2014-07-29 15:15:00
阅读次数:
373
分组交换是指将大数据分割为一个个叫做包(Packet)的较小单位进行传输 的方法。这里所说的包,如同我们平常在邮局里见到的邮包。分组交换就是将大 数据分装为一个个这样的邮包交给对方。...
分类:
其他好文 时间:
2014-07-29 15:12:30
阅读次数:
233
随着出版物电子排版方式的普及,大部头出版物的排版,越来越多的应用在人们的工作中。例如,惠普公司的打印机销往世界各地几百个国家,打印机使用手册至少需要出版100多种语言,印出的手册摞起来有1人多高。另外,波音飞机和大众汽车等公司的产品装配手册和使用手册也都是如此,都是上千页甚至是上万页的大数据排版。对于这种大部头出版物的排版,传统的方法非常繁琐且容易出错。而采用XML和XSL的数据与排版格式分离的排版方式,使得排版变得非常简单。这种排版软件就是将出版物的数据放在XML文件中,而将排版格式用XSL文件进行描述,...
分类:
其他好文 时间:
2014-07-29 14:53:08
阅读次数:
191