本文是我对分布式计算的算子这层的一些认识和想法。因为最近自己的开发任务也是这方面相关的,公司内部有自研的类流式计算框架需要做一层算子层。我主要分析的是流式系统上实现算子这一点入手,对比现有计算框架和业界正在开展的项目,分析分析这件事的表面和背后深层的含义,以及可想象空间。...
分类:
其他好文 时间:
2014-09-26 19:59:38
阅读次数:
220
使用 Redis 服务器来存储Session非常有优势。首先它是一个NOSQL数据,第二它很容易扩展使用。 下面这种安装方式非常清晰明白的引导你把Redis缓存作为一个Session的存储系统。步骤如下: ### 1. 下载Redis并且使用...
分类:
其他好文 时间:
2014-09-26 19:41:38
阅读次数:
184
1、将下面的地址复制到地址栏访问http://bbs.itcast.cn/forum.php?mod=p_w_upload&aid=NDg4MjJ8NWYxMmNlN2F8MTQxMTY5OTI0OXwxNDg3MDd8MjU0NTA%3D下载下来一个zip文件2、解压该zip,得到一个html文件3、打开html,点击“点击下载本次公开课视频教程”4、下载完成
分类:
其他好文 时间:
2014-09-26 19:38:19
阅读次数:
236
1 什么是redisredis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对很多其它,包含string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操...
分类:
其他好文 时间:
2014-09-26 18:14:58
阅读次数:
136
简单说明下,写此文章算是对自己近一段工作的总结,希望能对你有点帮助,同时也是自己的一点小积累。一.为什么选择redis在项目中使用redis做为缓存,还没有使用memcache,考虑因素主要有两点:1.redis丰富的数据结构,其hash,list,set以及功能丰富的String的支持,对于实际项...
分类:
其他好文 时间:
2014-09-26 14:24:38
阅读次数:
312
storm与kafka单机功能整合很顺利,但是到了storm集群环境和数据处理性能时则出现了一些问题,现将测试过程和问题简单记录如下: ? ? 性能指标:每分钟处理至少100万的信息(csv格式,100bytes左右),信息...
分类:
其他好文 时间:
2014-09-26 12:59:39
阅读次数:
228
Storm Cluster安装 ================ @[安装|storm] [官方文档:设置storm cluster](http://storm.incubator.apache.org/documentation/Setting-up-a-Storm-cluster.html) ####1. 上传storm安装包到服务器 - 在1...
分类:
其他好文 时间:
2014-09-26 11:34:49
阅读次数:
199
首先从redis.c源码的main()函数开始,在调用的initServer函数中除了初始化redis节点本身的一些配置和环境之外,会根据是否设置cluster_enabled参数来对cluster进行初始化,如下:initServer
//也就是redis.conf配置中的参数cluster-enabled如果设置为yes,则进入cluster模式
->..
分类:
其他好文 时间:
2014-09-26 08:34:29
阅读次数:
280
Redis 是一个高性能的key-value数据库, 使用内存作为主存储,数据访问速度非常快,当然它也提供了两种机制支持数据持久化存储.比较遗憾的是,Redis项目不直接支持Windows,Windows版项目是由微软开放技术团队建立和维护一个实验性项目(支持32,64位),所以并不适用生产环境,但...