安装方式有非常多种,以下仅仅是我喜欢的一种方式,安装的路径不一定要跟我一样。眼下最新的版本号是v0.10.28Windows1、下载(放到E:\node\nodejs):http://nodejs.org/dist/latest/x64/node.exehttp://nodejs.org/dist/...
代码测试环境:Hadoop2.4应用场景:当需要定制输出数据格式时可以采用此技巧,包括定制输出数据的展现形式,输出路径,输出文件名称等。Hadoop内置的输出文件格式有:1)FileOutputFormat 常用的父类;2)TextOutputFormat 默认输出字符串输出格式;3)SequenceFileOutputFormat 序列化文件输出;4)MultipleOutputs 可以把输出...
分类:
其他好文 时间:
2014-07-24 17:47:36
阅读次数:
298
一、引言 NoSQL(Not Only SQL),火了很久了,一直没空研究。最近手上一个项目对Cache有一定的要求,借此机会对NoSQL入门一下。支持NoSQL的数据库系统有很多, 比如Redis,MongoDB等。每种系统都有自己的优缺点,根据实际情况我们选用了CouchBase作为切入点学习。...
分类:
其他好文 时间:
2014-07-24 17:13:45
阅读次数:
1381
Hadoop MapReduce思维模式转变的催化剂是大量新技术的诞生,它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区,Hadoop已经是目前大数据平台中应用率最高的技术,特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。除分布式文件系统之外,伴随Hadoop一同出现的还有进行大数...
分类:
其他好文 时间:
2014-07-24 17:00:47
阅读次数:
263
《大 数据技术丛书:Hadoop应用开发技术详解》共12章。第1~2章详细地介绍了Hadoop的生态系统、关键技术以及安装和配置;第3章是 MapReduce的使用入门,让读者了解整个开发过程;第4~5章详细讲解了分布式文件系统HDFS和Hadoop的文件I/O;第6章分析了 MapReduce的工...
分类:
其他好文 时间:
2014-07-24 11:25:42
阅读次数:
337
XenServer是在云计算环境中经过验证的企业级虚拟化平台,可提供创建和管理虚拟基础架构所需的所有功能。它深得很多要求苛刻的企业信赖,被用于运行最关键的应用,而且被最大规模的云计算环境和xSP所采用。XenServer:通过整合服务器,降低电源、冷却和数据中心空间需求来降低成..
分类:
其他好文 时间:
2014-07-24 10:52:05
阅读次数:
417
最近在写一些hadoop的运维工具,考虑到hadoop本身是java编写的,api比较方便,可以直接拿来就用准备用java来写。今天测试了几个fs相关的类。主要有FileStatus,FileSystem,DistributedFileSystem,DatanodeInfo,BlockLocationFileStatus是和文件的属性相关的类,比如文件的名称,..
分类:
编程语言 时间:
2014-07-24 10:49:36
阅读次数:
303
一、安装配置Python
其实在开发python最好在ubuntu环境下,简单也便于扩展各个package。这次来讲一下如何在win7上搭建Python开发环境。由于python的跨平台性。在windows下和ubuntu下基本上没什么差别。下面从几个不步骤来搭建开发环境。
1.下载(https://www.python.org/downloads/)安装python.2.7.8. pytho...
分类:
编程语言 时间:
2014-07-24 10:42:38
阅读次数:
350
apache配置:1.....在#LoadModule vhost_alias_module modules/mod_vhost_alias.so后面加上LoadModule php5_module C:/php5.3/php5apache2_2.dllPHPIniDir "C:/php5.3/"A...
分类:
其他好文 时间:
2014-07-24 10:14:13
阅读次数:
229
谁在用 Hadoop这是个问题。在大数据背景下,Apache Hadoop已经逐渐成为一种标签性,业界对于这一开源分布式技术的了解也在不断加深。但谁才是 Hadoop的最大用户呢?首先想到的当然是它的“发源地”,像Google这样的大型互联网搜索引擎,以及Yahoo专门的广告分析系统。也许你会认为,...
分类:
其他好文 时间:
2014-07-24 10:10:43
阅读次数:
206