一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了,举个例子,它的一个典型的大数据实时计算应用场景:从Kafka消息队列读取消息(可以是logs,clicks,sensor data)、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。
1.2 Tride...
分类:
Windows程序 时间:
2014-11-14 15:42:08
阅读次数:
2971
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了,举个例子,它的一个典型的大数据实时计算应用场景:从Kafka消息队列读取消息(可以是logs,clicks,sensor data)、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。...
分类:
其他好文 时间:
2014-11-14 14:15:48
阅读次数:
291
多样性数据源在报表开发中越来越常见,润乾集算报表对多样性数据源的有效支持使得这类报表开发变得非常简单,目前集算报表支持的数据源类型除传统的关系型数据库外,还支持:TXT文本、Excel、JSON、HTTP、Hadoop、mongodb等。mongodb等nosql数据库具有易扩展和高性能等优势,但..
分类:
数据库 时间:
2014-11-13 11:01:00
阅读次数:
234
关于开发新一代大数据分布式关系数据库的倡议
李万鸿
当今时代已进入大数据时代,而nosql数据库对sql和事物的支持不给力,因此,开发新一代大数据分布式关系数据库迫在眉睫,这是一个新的历史机遇,笔者建议全国的it人士组织起来从事这一伟大的工程。
开源精神推动了软件的发展,我们应该发扬开源精神,大家群策群力一起动手搞架构,写代码,把...
分类:
数据库 时间:
2014-11-12 21:21:48
阅读次数:
203
坚持了一个月左右的时间,从最开始的对Redis的代码做分类,从struct结构体分析开始,到最后分析main主程序结束,中间,各大模块的代码逐个击破,学习,总之,收获了非常多,好久没有这么久的耐心把一个框架学透,学习一个框架,会用那只是小小的一部分,能把背后的原理吃透才是真功夫。在这个学习的最后阶段,是时候要来点干货了,我把这1个多月来的一些总结的一些比较好的代码,和设计思想总结出来了,原本想凑成...
分类:
其他好文 时间:
2014-11-08 12:10:10
阅读次数:
245
在Redis服务端的代码量真的是比较大,如果一个一个API的学习怎么实现,无疑是一种效率很低的做法,所以我今天对服务端的实现代码的学习,重在他的执行流程上,而对于他的模块设计在上一篇中我已经分析过了,不明白的同学可以接着看上篇。所以我学习分析redis服务端的实现也是主要从main函数开始。在分析main执行流程之前,Redis的作者在这里声明了几个变量,这个我们有必要知道一下。
/* Our ...
分类:
其他好文 时间:
2014-11-08 10:31:44
阅读次数:
260
作为当前最先进图数据库,Neo4j凭借其对于关系的优美刻画和较好地查询效率,得到了用户的青睐。本文就Neo4j的设计理念以及其与传统数据库的区别进行说明,对Neo4j感兴趣的朋友不妨可以读一读...
分类:
数据库 时间:
2014-11-08 02:05:16
阅读次数:
275
上次刚刚分析过了客户端的结构体分析,思路比较简答,清晰,最后学习的是服务端的实现,服务端在Redis可是重中之重,里面基本上囊括了之前模块中涉及到的所有知识点,从redis的头文件就可以看出了,redis.h代码量就已经破1000+行了,而且都还只是一些变量,宏定义的声明,和一些方法原型的声明。所以,今天的总结跟昨天一样,先不做具体的实现学习,先从全局的角度思考,服务端的整体设计思路,这从头文件的...
分类:
其他好文 时间:
2014-11-07 17:05:02
阅读次数:
149
今天学习完了命令行客户端的后续内容,整体感觉就是围绕着2个东西转,config和mode。为什么我会这么说呢,请继续往下看,客户端中的配置结构体和之前我们所学习的配置结构体,不是指的同一个概念,cli中的结构体除了基本的ip,Port端口号,还有就是各种mode的配置了。
/* Redis配置结构体 */
static struct config {
char *hostip;
...
分类:
其他好文 时间:
2014-11-07 11:25:06
阅读次数:
139
分析了将近1个月的Redis源代码了,也到了最核心的,最贴近系统开始的地方了,我把他取名为main目录,里面就包括了2个重要的文件,redis-cli和redis文件,1个代表的是客户端的执行文件,1个代表的是服务端的文件,这2个也是整个系统最最核心的模块,所以我把他归结到main主程序模块了,主程序模块也是我学习Redis最后的一个模块,在这里一定能看到我之前看到的所有各个功能模块的痕迹。由于主...
分类:
其他好文 时间:
2014-11-06 10:55:16
阅读次数:
425