Hadoop从2.3.0版本开始支持HDFS缓存机制,HDFS允许用户将一部分目录或文件缓存在HDFS当中,NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中
集中式缓存管理有着许多显著的优势:
防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理,applications在做任务安排时可以查询这个缓存的列表,...
分类:
其他好文 时间:
2014-05-01 17:45:58
阅读次数:
379
摘要: Microsoft SharePoint Server 2010 使用 Windows
SharePoint Services 定时 V4 (SPTimerV4)
服务运行大多数系统任务。服务器场服务帐户更改时,定时服务会重新启动;在定时服务回收作业期间,该服务每天都会重新启动。如果 Sha...
分类:
其他好文 时间:
2014-05-01 10:24:30
阅读次数:
309
网上很多关于apache无法启动的原因,新手遇到最多的是80端口被占用。今天为了解决apache和tomcat端口共存问题,修改了httpd.conf的配置,由于增加位置没有做明显标识,重启apache后,发现apache无法启动,netstat
-a后,没有查看到80端口,也就是80端口不仅没被占...
分类:
其他好文 时间:
2014-05-01 09:19:02
阅读次数:
362
摘要: Microsoft SharePoint Server 2010 使用 Windows
SharePoint Services 定时 V4 (SPTimerV4)
服务运行大多数系统任务。服务器场服务帐户更改时,定时服务会重新启动;在定时服务回收作业期间,该服务每天都会重新启动。如果 Sha...
分类:
其他好文 时间:
2014-05-01 07:39:53
阅读次数:
370
一、简介
1、MapReduce 应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。
2、从MapReduce 自身的命名特点可以看出,MapReduce 由两个阶段组成:Map 和Reduce 。用户只需编写map ( ) 和reduce( ) 两个函数,即可完成简单的分布式程序的设计。
1)m a p ( ) 函数以key/value 对作为输入,产...
分类:
其他好文 时间:
2014-04-30 22:23:39
阅读次数:
466
HBase是Hadoop的数据库,基于Hadoop运行,是一种NoSQL数据库。
特点:分布式、多版本、面向列的存储模型,能够大规模的数据实时随机读写,可直接使用本地文件系统。
不适合:与关系型数据库相比,模型简单,API很少;不适合小规模的数据。
数据存放的位置叫做单元(cell),其中的数据可以有多个版本,根据时间戳(timestamp)来区别。
安装:
tar xfz hbase-...
分类:
其他好文 时间:
2014-04-29 13:27:22
阅读次数:
403
1 HDFS服务中,默认端口集合:
1. HDFS 端口
Service
Servers
Default Ports Used
Protocol
Description
Need End User Access?
Configuration Parameters
NameNode WebUI
Master Nodes (NameNo...
分类:
其他好文 时间:
2014-04-29 13:24:21
阅读次数:
492
1、Map-Reduce的逻辑过程
假设我们需要处理一批有关天气的数据,其格式如下:
按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第25位是符号+/-
0067011990999991950051507+0000+
0043011990999991950051512+0022+
00430119...
分类:
其他好文 时间:
2014-04-29 13:22:20
阅读次数:
309
安装oozie的时候,碰到了好多好多问题,都通过网上搜索找到答案解决,在这里总结一下...
分类:
其他好文 时间:
2014-04-29 13:17:22
阅读次数:
353
FAILED: Error in metadata: java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe: columns has 3 elements while hbase.columns.mapping has 4 elements (counting the key if implic...
分类:
其他好文 时间:
2014-04-29 13:17:21
阅读次数:
387