http://www.infoq.com/cn/news/2014/09/admaster-hadoop卢亿雷是现任AdMaster技术副总裁,曾在联想研究院、百度基础架构部、Carbonite China工作,关注高可靠、高可用、高扩展、高性能系统服务,以及Hadoop/HBase/Storm/S...
分类:
编程语言 时间:
2014-09-25 20:31:17
阅读次数:
325
在实现缓存排序功能之前,必须先明白这一功能的合理性。不妨思考一下,既然可以在数据库中排序,为什么还要把排序功能放在缓存中实现呢?这里简单总结了两个原因:首先,排序会增加数据库的负载,难以支撑高并发的应用;其次,在缓存中排序不会遇到表锁定的问题。Redis恰好提供了排序功能,使我们可以方便地实现缓存排序。
Redis中用于实现排序功能的是SORT命令。该命令提供了多种参数,可以对列...
分类:
其他好文 时间:
2014-09-25 18:51:17
阅读次数:
222
参考《CentOS6.4下Storm0.9.2单机版安装》的步骤在ubuntu上安装storm,中间遇到一些问题记录一下。参考文章链接:http://blog.csdn.net/qiyating0808/article/details/36041299我的linux环境:ubuntu-10.04.4-desktop-i386一,安装zeromq、jzmq及zookeeper时比较顺利,略过。ze..
分类:
其他好文 时间:
2014-09-25 13:37:19
阅读次数:
274
supervisor是storm集群重要组成部分,supervisor主要负责管理各个"工作节点"。supervisor与zookeeper进行通信,通过zookeeper的"watch机制"可以感知到是否有新的任务需要认领或哪些任务被重新分配。我们可以通用执行bin/storm superviso...
分类:
其他好文 时间:
2014-09-24 23:03:27
阅读次数:
383
把Mysql结果集缓存到Redis的字符串或哈希结构中以后,我们面临一个新的问题,即如何为这些字符串或哈希命名,也就是如何确定它们的键。因为这些数据结构所对应的行都属于某个结果集,假如可以找到一种唯一标识结果集的方法,那么只需为这些数据结构分配一个唯一的序号,然后把结果集标识符与该序号结合起来,就能唯一标识一个数据结构了。于是,为字符串和哈希命名的问题就转化为确定结果集标识符的问题。
...
分类:
数据库 时间:
2014-09-24 21:10:08
阅读次数:
193
在项目中,经常会遇到单机上进程间的通信,常用的进程间通信方式一般有以下几种
1 socket
2 unixsocket
3 共享内存(share-memory)
4 管道(pipe)
5 消息队列(message-queue)
6 文件(file)
7 消息总线(比如zeromq)
8 其他中间件(比如redis, memchache, 数据库等)
如果项目仅仅是消息的传递,对...
分类:
系统相关 时间:
2014-09-24 20:33:27
阅读次数:
3658
Next,packagethesourceintoajar,whichissentwhenyouruntheStormClientcommandtosubmitthetopology.BecauseyouusedMaven,theonlythingyouneedtodoisgotothesourcefolderandrunthefollowing:mvnpackageOnceyouhavethegeneratedjar,usethestormjarcommandtosubmitthetopology(yous..
分类:
其他好文 时间:
2014-09-24 18:31:28
阅读次数:
191
1.Redis的简单介绍Redis是一种高级key-value数据库。它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富。有字符串,链表,集合和有序集合。支持在服务器端计算集合的并,交和补集(difference)等,还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务..
分类:
系统相关 时间:
2014-09-24 16:26:47
阅读次数:
582
随着业务的进展,现在需要直接操作Redis 数据! 其中就需要获取指定前缀的key,就好像操作mysql一样,需要获取指定记录段! ZF2强大的支持了redis缓存方式,但是当我运用ZF2 redis缓存工厂模式的时候,竟然发现Z...
分类:
其他好文 时间:
2014-09-24 16:12:07
阅读次数:
206