下面是一个对Redis官方文档《A fifteen minute introduction to Redis data types》一文的翻译,如其题目所言,此文目的在于让一个初学者能通过15分钟的简单学习对Redis的数据结构有一个了解。Redis是一种面向“键/值”对类型数据的分布式NoSQL数...
分类:
其他好文 时间:
2014-09-17 13:35:52
阅读次数:
271
要解决的问题是,给出了具有2个特征的一堆训练数据集,从该数据的分布可以看出它们并不是非常线性可分的,因此很有必要用更高阶的特征来模拟。例如本程序中个就用到了特征值的6次方来求解。DataTo begin, load the files 'ex5Logx.dat' and ex5Logy.dat' i...
分类:
其他好文 时间:
2014-09-13 11:50:55
阅读次数:
226
HBaseHbase是一个分布式的、面向列的开源数据库,该技术来源于Changetal所写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(FileSystem)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bittable的能力。HBase是Apa..
分类:
其他好文 时间:
2014-09-04 02:58:08
阅读次数:
325
HBase是一个分布式的、面向列的开源数据库,该技术来源于Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBas...
分类:
其他好文 时间:
2014-08-23 17:37:31
阅读次数:
323
最近好不容易抽空研究了下Cobar,感觉这个产品确实很不错(在文档方面比Amoeba强多了),特此推荐给大家。Cobar是阿里巴巴研发的关系型数据的分布式处理系统,该产品成功替代了原先基于Oracle的数据存储方案,目前...
分类:
数据库 时间:
2014-08-21 17:25:24
阅读次数:
332
006年的OSDI有两篇google的论文,分别是BigTable和Chubby。Chubby是一个分布式锁服务,基于Paxos算法;BigTable是一个用于管理结构化数据的分布式存储系统,构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了BigTab...
分类:
其他好文 时间:
2014-07-26 09:54:57
阅读次数:
376
??
本文介绍下分布式系统设计中的一些关键问题及解决思路:
数据的分布方式
副本的保存方式
副本的控制
节点状态监控
1)数据的分布方式
hash分布
用于key-value模型的存储系统中,数据库中的分表也可以使用这种方式。
利用hash函数将对象散列到不同的机器。
优点:
散列型号,分布均匀,实现简单。
缺点
可扩展性(scalability)不强,增加新的机...
分类:
其他好文 时间:
2014-07-19 02:31:15
阅读次数:
246
既然HDFS 是存取数据的分布式文件系统,那么对HDFS的操作,就是对文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于Linux 的shell 对文件的操作,只是在HDFS中,hadoop fs是主命令,其他像ls,mv,cp都是...
分类:
其他好文 时间:
2014-07-16 23:04:42
阅读次数:
372
问题:研究表明,在某些应用下,1∶35的比例就会使某些分类方法无效,甚至1∶10的比例也会使某些分类方法无效。
(1)少数类所包含的信息就会很有限,从而难以确定少数类数据的分布,即在其内部难以发现规律,进而造成少数类的识别率低
(2)数据碎片。很多分类算法采用分治法,样本空间的逐渐划分会导致数据碎片问题,这样只能在各个独立的子空间中寻找数据的规律,对于少数类来说每个子空间中包含了很少的数据信息...
分类:
其他好文 时间:
2014-06-29 23:01:55
阅读次数:
251
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的.....
分类:
其他好文 时间:
2014-06-29 19:20:17
阅读次数:
252