声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。下面是五个部分....
分类:
其他好文 时间:
2014-06-07 02:55:09
阅读次数:
178
【转自:】http://blog.csdn.net/hitwengqi/article/details/8008203最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。首先要了解一下Hadoop的运行模式:单机模式(standalone)
单机模式是Hadoop的默认模式。当.....
分类:
其他好文 时间:
2014-05-29 01:45:43
阅读次数:
374
【转自】:http://www.superwu.cn/2014/01/10/963/1.1.1.
hadoop的核心思想Hadoop包括两大核心,分布式存储系统和分布式计算系统。1.1.1.1.
分布式存储为什么数据需要存储在分布式的系统中哪,难道单一的计算机存储不了吗,难道现在的几个TB的硬盘装不...
分类:
其他好文 时间:
2014-05-29 01:24:12
阅读次数:
284
Pig可以看做是Hadoop的客户端软件,使用Pig
Latin语言可以实现排序、过滤、求和、分组等操作。Pig的安装步骤:一、去Pig的官方网站下载。http://pig.apache.org/releases.html#14+April%2C+2014%3A+release+0.12.1+ava...
分类:
其他好文 时间:
2014-05-28 19:08:51
阅读次数:
358
在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法,并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型,包括Mappers,
Reduces, Combiners, Partitioners,和 sorting。如下图所示。...
分类:
其他好文 时间:
2014-05-28 16:54:17
阅读次数:
342
背景穿戴式设备承载了物联网、大数据、健康、智能等各路当下或曾经的热门词汇,其风言风语已经飘荡了两年了。当前市面上比较流行的有国外的
jawbone up 手环、NIKE 的 fuelband 和 fitbit force 手环等,国内也不乏类似产品,比如 bong、咕咚等。3
月被网络各种消息吹得心...
分类:
其他好文 时间:
2014-05-28 01:44:01
阅读次数:
207
Eclipse开发过程连接Hadoop集群环境,需要安装Hadoop插件。Hadoop源码包中有Eclipse插件源代码,需要自己动手编译。环境:Hadoop
1.2.1 & EclipseKepler & Windows 7 & JAVA
71、生成插件源码解压Hadoop安装包,找到src\co...
分类:
系统相关 时间:
2014-05-28 00:39:47
阅读次数:
542
https://openshift.redhat.com/ OpenShift 是 redhat
公司推出的一个 PaaS 云计算应用平台,开发者可在上面构建、测试、部署和运行应用程序,它支持 Java, Ruby, Node.js, Python,
PHP, Perl 等众多语言环境和开发框架,并...
分类:
Web程序 时间:
2014-05-27 17:50:52
阅读次数:
597
云计算的目标是:按需服务,提供的服务可以是基础设施,也可以是平台,也可以是软件,即:
IaaS、PaaS、Saas 公共云服务一般来说包括:IaaS、PaaS、SaaS 三类服务。 即:Infrastructure(基础设施)-as-a-
Service,Platform(平台)-as-a-Serv...
分类:
其他好文 时间:
2014-05-27 16:55:01
阅读次数:
554
hadoop 中
的Text类与java中的String类感觉上用法是相似的,但两者在编码格式和访问方式上还是有些差别的,要说明这个问题,首先得了解几个概念;字符集:
是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等。例如 unicode就是...
分类:
编程语言 时间:
2014-05-26 16:46:37
阅读次数:
398