TheBig Data Zoneis presented bySplunk, the maker of
data analysis solutions such asHunk, an analytics tool for Hadoop, and theSplunk
Web Framework.Liv...
分类：
其他好文 时间：
2014-05-08 19:31:55
阅读次数：
596
Memcache的特点: 分布式内存对象缓存系统，占用其他机子的内存。很多互联网，负载均衡三台(以三台为例)web服务器可以共享一台Memcache的资源。传递的信息以键值对的形式存储。传递的数据要实现序列化。
Oscache的特点: 页面级缓存,占用本机的内存资源。可以选择缓存到硬盘，如存取到硬盘重启服务也可重新获得上次持久化的资源，而如果缓存到内存就不行。一般没必要缓存到硬盘，因为I/O操作...
分类：
其他好文 时间：
2014-05-07 23:34:49
阅读次数：
284
原文地址：http://onlyonewt.blog.sohu.com/160168896.html一直在学习关注大访问量网站的缓存是如何实现，之前看过Memcached的资料，忙于没有时间来真正测试一下，今天测试下分布式缓存Memcached首先要在缓存服务器上安装安装：memcached(1.2...
分类：
Web程序 时间：
2014-05-07 21:25:46
阅读次数：
593
默认情况下，hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库1、安装好mysql ，sudo apt-get
install mysql-server2、创建mysql用户hadoop $mysql-uroot-p 进入root用户 mysql>.....
分类：
数据库 时间：
2014-05-07 20:40:00
阅读次数：
554
git是什么？
简单介绍一下，Git是一个开源的分布式版本控制系统，用以有效、高速的处理从很小到非常大的项目版本管理。Git是目前世界上最先进的分布式版本控制系统，没有传说中的之一。
Git诞生？
Git 是 Linus为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。在过去一段时间里，Linux的开发并没有使用到版本控制，天呐！Linux这么牛逼的系统曾经在开发过程中居...
分类：
其他好文 时间：
2014-05-07 16:20:53
阅读次数：
329
老是报物理内存越界，kill
container，然后把yarn.scheduler.minimum-allocation-mb设成2048就好了跟这个yarn.nodemanager.pmem-check-enabled参数应该也有关系在这篇文章中得到启发：http://bise.aliapp.c...
分类：
其他好文 时间：
2014-05-07 02:15:35
阅读次数：
409
import java.io.IOException;import
java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import
org.apache.hadoop.fs.Path;import org.ap...
分类：
其他好文 时间：
2014-05-07 01:06:02
阅读次数：
271
参考书籍： Hadoop in action, 吴超沉思录1.Hbase简介
1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5.
sqoop提供Hbase到关系型数据库中数据导入功能 ...
分类：
其他好文 时间：
2014-05-07 00:35:59
阅读次数：
424
mapreduce数据本地化（核心特征）、无共享。
1 HDFS的设计
为了存储超大文件 流式访问（一次写入多次读取）商用硬件（不需要超豪华的机器）
2 数据快（block）
磁盘一般是512字节 HDFS默认是64M 但与其他文件系统不同的是小于一个块大小的文件不会占用整个块的空间。块为什么设置这么大？（最小化寻址开销）块抽象带来的好处（一个文件的...
分类：
其他好文 时间：
2014-05-06 23:26:24
阅读次数：
519
