Redis的内存存储结构是个大的字典存储，也就是我们通常说的哈希表。Redis小到可以存储几万记录的CACHE,大到可以存储几千万甚至上亿的记录（看内存而定），这充分说明Redis作为缓冲的强大。Redis的核心数据结构就是字典(dict),dict在数据量不断增大的过程中，会遇到HASH(key)碰撞的问题，如果DICT不够大，碰撞的概率增大，这样单个hash 桶存储的元素会越来愈多，查询效率就...
分类：
其他好文 时间：
2014-05-01 21:56:59
阅读次数：
398
MongoDB常用命令1.启动命令 mongod 启动数据库进程 --dbpath 制定数据库的目录
--port 制定数据库的端口，默认是27017 --bind_ip 绑定IP --directoryperdb 为每个db创建一个独立子目录
--logpath 制定日志存放目录 -...
分类：
数据库 时间：
2014-05-01 21:09:19
阅读次数：
451
一、Hadoop概述
hadoop由两部分组成，分别是分布式文件系统和分布式计算框架MapReduce。其中，分布式文件系统主要用于大规模数据的分布式存储，而MapReduce 则构建在分布式文件系
统之上，对存储在分布式文件系统中的数据进行分布式计算。
2、在Hadoop 中，MapReduce 底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单...
分类：
其他好文 时间：
2014-05-01 18:34:41
阅读次数：
382
Hadoop从2.3.0版本开始支持HDFS缓存机制，HDFS允许用户将一部分目录或文件缓存在HDFS当中，NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中
集中式缓存管理有着许多显著的优势：
防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理，applications在做任务安排时可以查询这个缓存的列表，...
分类：
其他好文 时间：
2014-05-01 17:45:58
阅读次数：
379
javaScript 关于Windows
1 Windows 对象
所有浏览器都支持 window 对象。它表示浏览器窗口。
所有 JavaScript 全局对象、函数以及变量均自动成为 window 对象的成员。
全局变量是 window 对象的属性。
全局函数是 window 对象的方法。
window.document.getElementById("header");
2...
分类：
编程语言 时间：
2014-04-30 22:27:39
阅读次数：
499
一、简介
1、MapReduce 应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。
2、从MapReduce 自身的命名特点可以看出，MapReduce 由两个阶段组成：Map 和Reduce 。用户只需编写map ( ) 和reduce( ) 两个函数，即可完成简单的分布式程序的设计。
1）m a p ( ) 函数以key/value 对作为输入，产...
分类：
其他好文 时间：
2014-04-30 22:23:39
阅读次数：
466
Memcache是临时性键值存储NoSQL数据库，过去被大量使用在互联网网站中，作为应用和数据库之间的缓存层（现已打都被Redis取代），它是由Danga Interactive公司开发，最初为了加速LiveJournal 访问速度而开发，后来成为广泛应用的开源项目，官网： http://memcached.org/
Memcache的特点
全内存运转
哈希方式存储
简单文本协议进...
分类：
数据库 时间：
2014-04-29 13:47:20
阅读次数：
444
HBase是Hadoop的数据库，基于Hadoop运行，是一种NoSQL数据库。
特点：分布式、多版本、面向列的存储模型，能够大规模的数据实时随机读写，可直接使用本地文件系统。
不适合：与关系型数据库相比，模型简单，API很少；不适合小规模的数据。
数据存放的位置叫做单元(cell)，其中的数据可以有多个版本，根据时间戳(timestamp)来区别。
安装：
tar xfz hbase-...
分类：
其他好文 时间：
2014-04-29 13:27:22
阅读次数：
403
1、Map-Reduce的逻辑过程
假设我们需要处理一批有关天气的数据，其格式如下：
按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-
0067011990999991950051507+0000+
0043011990999991950051512+0022+
00430119...
分类：
其他好文 时间：
2014-04-29 13:22:20
阅读次数：
309
FAILED: Error in metadata: java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe: columns has 3 elements while hbase.columns.mapping has 4 elements (counting the key if implic...
分类：
其他好文 时间：
2014-04-29 13:17:21
阅读次数：
387
