【转自：】http://blog.csdn.net/hitwengqi/article/details/8008203最近一直在自学Hadoop，今天花点时间搭建一个开发环境，并整理成文。首先要了解一下Hadoop的运行模式：单机模式（standalone）
单机模式是Hadoop的默认模式。当.....
分类：
其他好文 时间：
2014-05-29 01:45:43
阅读次数：
374
【转自】：http://www.superwu.cn/2014/01/10/963/1.1.1.
hadoop的核心思想Hadoop包括两大核心，分布式存储系统和分布式计算系统。1.1.1.1.
分布式存储为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不...
分类：
其他好文 时间：
2014-05-29 01:24:12
阅读次数：
284
1. DNSDNS（Domain Name System
）：域名系统，是因特网的一项核心服务，它作为可以将域名和IP地址相互映射的一个分布式数据库，能够使人更方便的访问互联网，而不用去记住能够被机器直接读取的IP数串。DNS使用TCP与UDP端口号都是53，主要使用UDP，服务器之间备份使用TCP...
分类：
其他好文 时间：
2014-05-28 21:39:29
阅读次数：
374
随着未来业务的扩展，系统的处理能力应该逐步增加满足业务处理的需求。数据库应该具有良好的伸缩性及灵活的配置，无论是主机系统内存或硬盘方面的扩展还集群系统的扩展，都能够被数据库利用，从而提高系统的处理能力。
分类：
数据库 时间：
2014-05-28 20:05:43
阅读次数：
498
Pig可以看做是Hadoop的客户端软件，使用Pig
Latin语言可以实现排序、过滤、求和、分组等操作。Pig的安装步骤：一、去Pig的官方网站下载。http://pig.apache.org/releases.html#14+April%2C+2014%3A+release+0.12.1+ava...
分类：
其他好文 时间：
2014-05-28 19:08:51
阅读次数：
358
在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers,
Reduces, Combiners, Partitioners,和 sorting。如下图所示。...
分类：
其他好文 时间：
2014-05-28 16:54:17
阅读次数：
342
Eclipse开发过程连接Hadoop集群环境，需要安装Hadoop插件。Hadoop源码包中有Eclipse插件源代码，需要自己动手编译。环境：Hadoop
1.2.1 & EclipseKepler & Windows 7 & JAVA
71、生成插件源码解压Hadoop安装包，找到src\co...
分类：
系统相关 时间：
2014-05-28 00:39:47
阅读次数：
542
HDFS的设计目标检测以及快速恢复硬件问题.流式的数据访问.移动计算比移动数据的代价小.简化一致性模型.超大规模数据集异构软硬件平台之间的可移植性.HDFS的结构模型HDFS是一个主从的结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成.NameNode主节点是主服务器....
分类：
其他好文 时间：
2014-05-27 17:39:15
阅读次数：
328
热点随笔： · 全球第一本基于Bootstrap
V3.x的图书《深入理解Bootstrap》终于上市了，再次免费送书15本（汤姆大叔） · Windows平台分布式架构实践 - 负载均衡（Jesse Liu）
· Javascript生成二维码（QR）（Jerry We...
分类：
其他好文 时间：
2014-05-26 19:09:14
阅读次数：
269
hadoop 中
的Text类与java中的String类感觉上用法是相似的，但两者在编码格式和访问方式上还是有些差别的，要说明这个问题，首先得了解几个概念；字符集：
是一个系统支持的所有抽象字符的集合。字符是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。例如 unicode就是...
分类：
编程语言 时间：
2014-05-26 16:46:37
阅读次数：
398
