1、首先将如下数据提交到ES中建立索引
{"number":32768,"singer":"杨坤","size":"5109132","song":"今夜二十岁","tag":"中国好声音","timelen":319}
{"number":32769,"singer":"汪峰","size":"6001697","song":"我爱你中国","tag":"中国好声音","timelen":3...
分类：
其他好文 时间：
2014-10-14 20:48:29
阅读次数：
127
“兵马未动，粮草先行”，要想深入的了解hadoop，我觉得启动或停止hadoop的脚本是必须要先了解的。说到底，hadoop就是一个分布式存储和计算框架，但是这个分布式环境是如何启动，管理的呢，我就带着大家先从脚本入手吧。说实话，hadoop的启动脚本写的真好，里面考虑的地方非常周全（比如说路径中有空格，软连接等）。 hadoop的脚本分布在$HADOOP_HOME下面的bin目录下和conf...
分类：
其他好文 时间：
2014-10-14 11:48:38
阅读次数：
303
一：MongoDB的简介：MongoDB是一个高性能，开源，无模式的文档型数据库，是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。而且可以很容易的和JSON类的数据结合，他不支持事务，但支持自动分片功能，这对大数据的分布式存储有..
分类：
数据库 时间：
2014-10-13 02:30:59
阅读次数：
462
MogileFS：是一个开源的分布式存储，适用于存储海量的小文件。由LiveJournal旗下的DangaInteractive。这个公司还有memcache,MogileFS,Perlbal（http代理）等产品。其特点如下：1，工用于应用层（用户空间）：无须特殊的核心组件，因为基于http或都nfs，一般客户端都支持。2，无..
分类：
其他好文 时间：
2014-10-05 03:52:18
阅读次数：
379
说到Memcached服务，其实作为运维人员用的还是很多的：1、在做LB的时候，为了保证同一台机器的请求的session信息防止丢失，我们用Memcached对session做分布式存储。2、做mysql缓存的时候，我们常常吧mysql查询的结果缓存到Memcached中，这样能够较少php程序与mysql的交互，也能..
分类：
移动开发 时间：
2014-10-01 21:22:33
阅读次数：
428
Sheepdog，是由NTT的3名日本研究员开发的开源项目，主要用来为虚拟机提供块设备。其架构例如以下：以下，我们将从架构、模块等几个方面来介绍下：一、架构图如上图：採用无中心节点的全对称架构，无单点故障，存储容量和性能可线性扩展；新增节点通过简单配置可自己主动增加（IP:PORT），数据自己主动实...
分类：
其他好文 时间：
2014-09-29 23:29:31
阅读次数：
284
随着网站规模（访问量/复杂度/数据量）的扩容，针对单机的方案将成为性能的瓶颈，分布式应用在所难免。所以，有必要研究一下 Session 的分布式存储。本文主要探讨基于哈希算法和缓存设施的分布式思路。
分类：
Web程序 时间：
2014-09-28 20:18:25
阅读次数：
314
明天回家就没有网络，今晚就将整个编写过程记录下来。顺带整理思路以解决未能解决的问题。标题有点托大，想将Berkeley DB做成分布式存储，感觉很高端的样子，实际上就是通过ssh将Berkeley DB备份到其他网络地址上，查询的时候向多台电脑发送查询请求并返回结果，仅此而已。现在属于编写阶段，如果...
分类：
数据库 时间：
2014-09-25 23:36:48
阅读次数：
344
对于分布式的概念既模糊又有些理解，总是无法很好的把握，似乎与我们工作无关，但又天天在用， 究竟什么是分布式，
它能做什么？从那下手，网上可以查到很多，都使我越来越糊涂，大概是分布式计算、分布式存储、分布式缓冲等。日日梳理这些
模糊的东西，希望能有一天，能从这里走出一条光明的路。...
分类：
其他好文 时间：
2014-09-24 02:40:25
阅读次数：
324
这篇依然是学习《大规模分布式存储系统：原理解析与架构实战》一书之外的一个话题。通过学习本书，知道了分布式键值系统，通常使用SSTable(一个无序的键值对集合容器)作为其磁盘上的布局。这不禁让人产生联想，传统数据库使用的是什么存储布局来存储数据呢？这就是今天要探讨的主题----HeapFile....
分类：
数据库 时间：
2014-09-16 10:47:40
阅读次数：
417
