Hadoop MapReduce Next Generation - Setting up a Single Node Cluster.PurposeThis document describes how to set up and configure a single-node Hadoop in...
分类：
其他好文 时间：
2014-07-30 23:41:45
阅读次数：
284
order by,distribute by,sort by,cluster by ?查询使用说明 // 根据年份和气温对气象数据进行排序，以确保所有具有相同年份的行最终都在一个reducer分区中
// 一个reduce(海量数据,速度很慢)
select year, te...
分类：
其他好文 时间：
2014-07-30 21:00:44
阅读次数：
198
什么是 SLOWLOG
Slow log 是 Redis 用来记录查询执行时间的日志系统。
查询执行时间指的是不包括像客户端响应(talking)、发送回复等 IO 操作，而单单是执行一个查询命令所耗费的时间。
另外，slow log 保存在内存里面，读写速度非常快，因此你可以放心地使用它，不必担心因为开启 slow log
而损害 Redis 的速度。
设...
分类：
其他好文 时间：
2014-07-30 20:46:04
阅读次数：
465
主要分系统监控和业务监控两类系统监控就是每台主机的CPU,内存网络带宽等使用情况以及Mysql,Redis,Nginx等服务的核心指标等这是比较基本的监控必须得有如果这块监控做的好生产环境可以提前发现很多问题防患于未然。业务监控就是业务相关的指标如某API每秒调用次数每分钟该API的..
分类：
其他好文 时间：
2014-07-30 17:52:34
阅读次数：
351
集群成员：==管理节点(MGM)进程名ndb_mgmd==数据节点(DataNodes)进程名ndbd==SQL节点(SqlNodes)进程名mysqld注意：1.所有节点均不安装和启动mysql-server软件包，仅安装集群软件包mysql-cluster-gpl-7.3.6-linux-glibc2.5-x86_64.tar2.MysqlCluster采用的是NDB存储引擎，因此在..
分类：
数据库 时间：
2014-07-30 15:01:34
阅读次数：
426
收集：各种开源的分布式日志收集系统：Scribe， Flume等等存储可以同时包含各种不同的存储类型，可根据不同的需求增减相应的存储类型：底层存储：能够存储大量的数据，最好具有可扩展性 HDFS S3等等关系存储：MySQL，Postgresql等等键值存储：HBase，Redis等等计算计算能力也...
分类：
其他好文 时间：
2014-07-30 09:48:23
阅读次数：
213
一、光盘文件使用1，RHEL5（x86_64）光盘结构Cluster//集群二进制包ClusterStorage//集群文件系统二进制包Server//核心服务器的二进制包产品VT//虚拟化二进制包p_w_picpath //引导和驱动程序磁盘映像isolinux //图像引导文件2，挂载光盘（放入光盘）/dev/cdrom=/dev/hdc 光盘驱..
分类：
系统相关 时间：
2014-07-30 03:26:33
阅读次数：
484
1、redis简介 redis是一个key-value存储系统。和Memcached类似，它支持存 储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hashs（哈希类型）。这些数据类型都...
本文是参考logstash官方文档实践的笔记，搭建环境和所需组件如下：Redhat 5.7 64bit / CentOS 5.xJDK 1.6.0_45logstash 1.3.2 (内带kibana)elasticsearch 0.90.10redis 2.8.4搭建的集中式日志分析平台流程如下：...
分类：
其他好文 时间：
2014-07-29 21:48:12
阅读次数：
527
最底层是通信层corosync/openais 负责cluster中node之间的通信 上一层是Resource Allocation Layer，包含下面的组件： CRM Cluster Resouce Manager 是总管，对于resource做的任何操作都是通过它。每个机器上都有一个CRM。...
分类：
其他好文 时间：
2014-07-29 17:19:52
阅读次数：
155
