在飞速发展的云计算大数据时代,Spark是继Hadoop之后,成为替代Hadoop的下一代云计算大数据核心技术,目前Spark已经构建了自己的整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且是Apache顶级Project,可以预计的是2014年下半年.....
分类:
其他好文 时间:
2014-07-03 10:43:37
阅读次数:
181
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询...
分类:
其他好文 时间:
2014-07-03 10:19:26
阅读次数:
208
谢谢 转载的。。(1)下载mongodbwindow版本:http://www.mongodb.org/dr/downloads.mongodb.org/win32/mongodb-win32-i386-1.8.3.zip/download(2)、设置MongoDB目录(解压zip文件) 将其...
分类:
数据库 时间:
2014-07-03 00:04:03
阅读次数:
292
mongod的主要参数有:基本配置-------------------------------------------------------------------------------- --quiet # 安静输出--portarg# 指定服务端口号,默认端口27017--bind_ipa...
分类:
数据库 时间:
2014-07-02 17:11:40
阅读次数:
225
大家好,我是成都[LD],博客四年前就申请了,一直没打理,最近正好有时间,遂萌生了写技术博客的念头。我不得不感慨现在新技术更新很快,一不小心,就感觉自身就Out了。记得一年前,当时我也是在51CTO上了解到NoSQL和Hadoop这样的信息,当时就简单觉得很新奇,没想到一年之后发..
分类:
编程语言 时间:
2014-07-02 11:10:33
阅读次数:
1811
NoSQL数据库:数据的一致性
读取一致性
强一致性
在任何时间访问集群中任一结点,得到的数据结果一致;
用户一致性
对同一用户,访问集群期间得到的数据一致;
解决用户一致性:使用粘性会话,将会话绑定到特定结点来处理;
这样会降低负载均衡器的性能;
最终一致性
集群中各结点间由于数据同步不及时造成暂时的数据不一致,但数据同步完成后,最终具有一致性;
...
分类:
数据库 时间:
2014-07-02 10:46:45
阅读次数:
289
前言
NoSQL:not only SQL(可不是No SQL啊),它的意义是:在适用关系型数据库的时候使用关系数据库,但是在不适合用关系型数据库的地方使用其他数据库。NoSQL的出现主要是为了弥补关系型数据库的不足,可以算是关系型数据库的一个补充吧。但是必须明白一点,NoSQL不是为了取代关系型数据库,也无法取代关系型数据库,它和关系型数据库是各有优点的。
和关系型数据库的比较
要讲解No...
分类:
数据库 时间:
2014-07-02 08:33:09
阅读次数:
248
本章以山寨版Twitter为例介绍HBase Schema设计模式。广义的HBase Schema设计不只包括创建表时指定项,还应该综合考虑Column families/Column qualifier/Cell value/Versions/Rowkey等相关内容。
灵活的Schema&简单的存储视图
Schema设计和数据存储及访问模式关系密切,先回顾下HBase数据模型,有几个要点:...
分类:
其他好文 时间:
2014-07-01 14:35:30
阅读次数:
343
NoSQL数据库:数据的一致性读取一致性强一致性 在任何时间访问集群中任一结点,得到的数据结果一致; 用户一致性 对同一用户,访问集群期间得到的数据一致; 解决用户一致性:使用粘性会话,将会话绑定到特定结点来处理; 这样会降低负载均衡器的性能; 最终一...
分类:
数据库 时间:
2014-07-01 10:26:14
阅读次数:
318
配置mongodb分片群集(sharding cluster)Sharding cluster介绍这是一种可以水平扩展的模式,在数据量很大时特给力,实际大规模应用一般会采用这种架构去构建monodb系统。要构建一个 MongoDB Sharding Cluster,需要三种角色:Shard Serv...
分类:
数据库 时间:
2014-06-30 22:41:02
阅读次数:
285