Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询...
分类:
其他好文 时间:
2014-07-03 10:19:26
阅读次数:
208
heartbeat+drbd+mysql是一种早期的mysql高可用技术。资料来源:http://www.drbd.orgDRBD原理:DRBD是对磁盘块操作的复制,可看做网络raid1。不复制磁盘内容,只复制操作。原理可见下图架构描述服务器列表 192.168.1.82192.168.1.1...
分类:
数据库 时间:
2014-07-03 00:37:22
阅读次数:
584
最近搞redis存储对象出了点问题,大概说一下背景,项目原有的东东以前存的是redis,存储的直接是对象模型,没有问题,这里存储对象存储任何信息事都没有问题的。但是现在调整为存储序列化的json字符串,此时获取对象信息发生了问题,不是报错就是有乱码似的东东,一开始以为是编码问题,其实不准确,现在来....
分类:
其他好文 时间:
2014-07-02 21:22:13
阅读次数:
674
安装下载,解压和安装:其他下载地址GitHub,Google Code。$ wget http://download.redis.io/releases/redis-2.8.11.tar.gz$ tar xzf redis-2.8.11.tar.gz$ cd redis-2.8.11$ make编译...
分类:
其他好文 时间:
2014-07-02 19:40:00
阅读次数:
275
我用的系统是:redhat[root@infa~]#wgethttp://download.redis.io/releases/redis-2.8.12.tar.gztarxzfredis-2.8.12.tar.gz[root@infa~]#tarxzfredis-2.8.12.tar.gz[roo...
分类:
系统相关 时间:
2014-07-02 14:32:48
阅读次数:
271
NoSQL数据库:数据的一致性
读取一致性
强一致性
在任何时间访问集群中任一结点,得到的数据结果一致;
用户一致性
对同一用户,访问集群期间得到的数据一致;
解决用户一致性:使用粘性会话,将会话绑定到特定结点来处理;
这样会降低负载均衡器的性能;
最终一致性
集群中各结点间由于数据同步不及时造成暂时的数据不一致,但数据同步完成后,最终具有一致性;
...
分类:
数据库 时间:
2014-07-02 10:46:45
阅读次数:
289
本文仅针对RabbitMQ与Redis做队列应用时的情况进行对比具体采用什么方式实现,还需要取决于系统的实际需求简要介绍RabbitMQRabbitMQ是实现AMQP(高级消息队列协议)的消息中间件的一种,最初起源于金融系统,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。...
分类:
其他好文 时间:
2014-07-02 10:35:35
阅读次数:
243
ngx_lua将lua嵌入到nginx,让nginx执行lua脚本,高并发,非阻塞的处理各种请求。
url请求nginx服务器,然后lua查询redis,返回json数据。...
分类:
其他好文 时间:
2014-07-02 09:28:21
阅读次数:
457
前言
NoSQL:not only SQL(可不是No SQL啊),它的意义是:在适用关系型数据库的时候使用关系数据库,但是在不适合用关系型数据库的地方使用其他数据库。NoSQL的出现主要是为了弥补关系型数据库的不足,可以算是关系型数据库的一个补充吧。但是必须明白一点,NoSQL不是为了取代关系型数据库,也无法取代关系型数据库,它和关系型数据库是各有优点的。
和关系型数据库的比较
要讲解No...
分类:
数据库 时间:
2014-07-02 08:33:09
阅读次数:
248
负载均衡是集群部署中的一种,通过多个节点来承担邮件服务的工作,每个获取Web页面的新请求都被动态路由到一个负载较低的节点上。即把负载压力根据某种算法合理分配到集群中的每一台计算机上,以减轻主服务器的压力,降低对主服务器的硬件和软件要求,适用于大容量用户使用。集群技术解析集群(Cluster)技术是指...
分类:
其他好文 时间:
2014-07-01 18:00:42
阅读次数:
267