从《Hadoop权威指南》选取了一个小案例,在Hadoop集群环境中运行。1、新建JAVA类,保存书中源代码。[huser@master bin]$ vi
URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa...
分类:
其他好文 时间:
2014-05-14 03:52:36
阅读次数:
457
http://developer.51cto.com/art/201307/404612.htm150M active users300K Qps (read,
only 6000 write/s)22MB/s triffic800 redis server. (use redis list)内部组...
分类:
Web程序 时间:
2014-05-14 03:50:34
阅读次数:
365
Redis Linux 安装由于 Redis 并没有发布 windows
的官方版本,windows 的安装使用不作介绍,只介绍 Linux 下的安装使用。
下载地址:https://github.com/dmajkic/redis/downloads下载最新版本然后tar, make,即可。(ma...
分类:
系统相关 时间:
2014-05-14 03:28:02
阅读次数:
424
本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce
Cookbook》中的示例代码。1、安装AntAnt项目主页:http://ant.apache.org/下载二进制安装包,例如apache-ant-1.9.4-bin.tar.gz,上传到Hadoop集群环...
分类:
其他好文 时间:
2014-05-12 20:44:36
阅读次数:
398
分布式存储当下互联网飞速发展,海量并发所产生的数据量以几何方式增长,随着信息链接方式日益多样化,数据存储的结构也发生了变化,在这样的压力下我们不得不重新审视大量数据的存储所带来的挑战,比如:数据采集、数据存储、数据搜索、数据共享、数据传输、数据分析、数据可..
分类:
其他好文 时间:
2014-05-12 04:08:32
阅读次数:
493
windows下开发用的xampp集成的环境,想装个php-redis扩展,扩展的github地址:https://github.com/nicolasff/phpredis描述里找到windows下安装的过程:https://github.com/nicolasff/phpredis/issues...
分类:
Web程序 时间:
2014-05-11 23:02:42
阅读次数:
462
摘要: Redis是目前业界非常受到欢迎的一个内存数据库,一般用作系统的中间缓存系统,用以提升整体商业系统的吞吐量和响应速度。本文将简要介绍安装的主要过程以及给出一个简要的测试代码。...
分类:
其他好文 时间:
2014-05-11 20:33:05
阅读次数:
400
一、CoroSynccorosync最初只是用来演示OpenAIS集群框架接口规范的一个应用,可以说corosync是OpenAIS的一部分,然而后面的发展超越了官方最初的设想,越来越多的厂商尝试使用corosync作为集群解决方案。如Redhat的RHCS集群套件就是基于corosync实现。corosync只提供了messagela..
分类:
其他好文 时间:
2014-05-11 19:43:46
阅读次数:
532
接续接上篇缓存时代来临为蓝本,继续改造我们的百万级站点架构,这次我们拿之前存储静态内容的nfs开刀,众所周知nfs的多台集群节点下可能由于多重原因(磁盘io,网络带宽,并发场景),不适合做文件共享系统的基础结构.互联网站点中,存在大量图片或其他静态内容,并且这些内容一般在1M之..
分类:
其他好文 时间:
2014-05-11 19:16:07
阅读次数:
674
Hadoop集群(第9期)_MapReduce初级案例1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1
实例描述 对数.....
分类:
其他好文 时间:
2014-05-11 16:02:24
阅读次数:
538