Hive是一种构建在Hadoop上的数据仓库,Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业,是MapReduce更高层次的抽象,不用编写具体的MapReduce方法。Hive将数据组织为表,这就使得HDFS上的数据有了结构,元数据即表的模式,都存储在名为meta....
分类:
其他好文 时间:
2014-05-23 05:54:55
阅读次数:
1771
Redis高可用部署及监控目录一、Redis
Sentinel简介二、硬件需求三、拓扑结构1、单M-S结构2、双M-S结构3、优劣对比四、配置部署1、Redis配置2、Redis
Sentinel配置3、启动服务4、故障模拟检测五、备份恢复1、备份策略2、灾难恢复六、运维监控1、安全监控2、性能监控...
分类:
其他好文 时间:
2014-05-23 04:05:34
阅读次数:
523
引言: Redis是基于内存的数据库,同时也提供了若干持久化的方案,允许用户把内存中的数据,写入本地文件系统,以备下次重启或者当机之后继续使用。本文将描述如何基于Redis来设置AOF功能...
分类:
其他好文 时间:
2014-05-23 01:53:05
阅读次数:
258
一,redis内存管理介绍
redis是一个基于内存的key-value的数据库,其内存管理是非常重要的,为了屏蔽不同平台之间的差异,以及统计内存占用量等,redis对内存分配函数进行了一层封装,
程序中统一使用zmalloc,zfree一系列函数,其对应的源码在src/zmalloc.h和src/zmalloc.c
两个文件中。
二,redis内存管理源码分析
redis封装是为了...
分类:
其他好文 时间:
2014-05-22 18:57:08
阅读次数:
499
引言: Redis是基于内存的数据库,同时也提供了若干持久化的方案,允许用户把内存中的数据,写入本地文件系统,以备下次重启或者当机之后继续使用。本文将描述如何基于Redis来设置这些功能...
分类:
其他好文 时间:
2014-05-22 17:08:44
阅读次数:
316
一.为什么选择redis在项目中使用redis做为缓存,还没有使用memcache,考虑因素主要有两点:1.redis丰富的数据结构,其hash,list,set以及功能丰富的String的支持,对于实际项目中的使用有很大的帮忙。(可参考官网redis.io)2.redis单点的性能也非常高效(利用...
分类:
其他好文 时间:
2014-05-22 15:25:38
阅读次数:
324
1. Application Master 无法访问
点击application mater 链接,出现 http 500 错误,java.lang.Connect.exception:
问题是由于设定web ui时,50030 端口对应的ip地址为0.0.0.0,导致application master 链接无法定位。
解决办法:...
分类:
其他好文 时间:
2014-05-21 13:58:49
阅读次数:
323
前沿:在一些个特定环境下,用ansible做集群管理还是很棒的,这两天看了他的模块,官方提供了很多,就算不够,你也可以自定义定制。话说我挺喜欢他的modules模块的,够直接!!!我这里就说些常见的ansible的modules吧。下面的ansibleservice一看大家就懂了,就是服务状态的管..
分类:
其他好文 时间:
2014-05-21 13:07:44
阅读次数:
837
1 LVS简介
Linux VirtualServer是一个高扩展和高可用性服务器,在一个真正服务器的集群中构建而成,包含Linux操作系统中的负载均衡。 服务器的架构对于终端用户而言是完全透明的,在与用户交互过程中,用户感觉它好像是一台高性能的服务器。它的拓扑机构如下所示。
真正的服务器和负载均衡可能是通过要么高速LAN网或者通过分散的WAN网进行...
分类:
系统相关 时间:
2014-05-21 09:52:44
阅读次数:
394
目的
此文档描述了如何为Hadoop配置和管理 Service Level Authorization 。
预备条件
确保已经安装Hadoop,配置和设置都正确了。更多细节,请看:* 首次使用者的单节点设置 * 大的、分布式集群的集群设置。
概览
Service Level Authorization 是一个必要的初始认证机制,其确保客户端连接到一个有必要的、预配置的、权...
分类:
其他好文 时间:
2014-05-21 08:13:32
阅读次数:
227