Couchbase第一印象（架构特性）面向文档 保存的字节流总有一个 DOCUMENT ID（Object_ID）高并发性，高灵活性，高拓展性，容错性好面向文档的集群存储系统每个文档用一个唯一的Doc ID均衡负载Buckets vs vBuckets1. Bucketscouchbase的存储逻辑...
分类：
其他好文 时间：
2014-12-29 13:46:12
阅读次数：
254
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据，则MapReduce为海量的数据提供了计算。Hadoop 容易开发和运行处理大...
分类：
其他好文 时间：
2014-12-19 10:07:54
阅读次数：
307
Hadoop下HDFS文件系统在这里我们对Hadoop的基本概念，历史功能就不做过多的阐述，重点在对于他的文件系统做一些了解和阐述。HDFS（Hadoopdistributedfilesystem）是一个分布式文件系统。具有高容错性（fault-tolerant），使得他能够部署在低廉的硬件上。他可以提供高吞吐率来访..
分类：
其他好文 时间：
2014-12-09 02:03:50
阅读次数：
269
源地址：http://storm.apache.org/documentation/Documentation.html
storm基础知识
l Javadoc
l
概念
l
配置
l
保证消息处理机制
l
容错性能
l
命令行客户端
l
理解storm topology并行机制
l FAQ
trident
对stor...
分类：
其他好文 时间：
2014-11-27 12:50:35
阅读次数：
154
[转]RAID常用级别的比较特点硬盘及容量性能及安全典型应用raid 0用于平行存储，即条带。其原理是把连续的数据分成几份，然后分散存储到阵列中的各个硬盘上。任何一个磁盘故障，都将导致数据丢失。硬盘数：一个或更多容量：总的磁盘容量性能：读写性能高，随机写性能高安全：无冗余，无热备盘，无容错性，安全性...
分类：
其他好文 时间：
2014-11-23 17:29:53
阅读次数：
246
1.1 产品概述
VDataHub基于Apache Sqoop，最初定位是用于将关系数据库中的数据导入Hadoop/Hive/HBase。Sqoop基于Hadoop的MapReduce来完成数据导入导出工作，提供了很好的容错性。刚开始项目组也仅仅直接采用社区版本来完成数据导入导出。但在使用过程中，我们发现有很多地方是Sqoop现有版本没法支持的，如果不解决，是不能用于现有数据平台建设中的。
基...
分类：
其他好文 时间：
2014-11-21 18:50:54
阅读次数：
317
续上篇文章，网页抓取到手之后就是解析网页了。在Python中解析网页的库不少，我最开始使用的是BeautifulSoup，貌似这个也是Python中最知名的HTML解析库。它主要的特点就是容错性很好，能很好地处理实际生活中各种乱七八糟的网页，而且它的API也相当灵活而且丰富。但是我在自己的正文提取项...
分类：
编程语言 时间：
2014-11-15 17:00:12
阅读次数：
277
前言： Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；并且它提供高吞吐量（high throughput）来訪问应用程序的数据，适合那些有着超大数据集....
分类：
其他好文 时间：
2014-11-11 14:00:31
阅读次数：
305
RAID 0 是指磁盘分段（Disk Striping）技术其实现方法为将数据分段，同时写到多个磁盘上。其优点是磁盘可以实现并行的输入和输出，提高磁盘读写速度，但是这种技术无容错性能；RAID 1是指磁盘镜像（Disk Mirroring）技术其实现方法是简单地将一个磁盘上的数据简单地拷贝到第二个磁...
分类：
其他好文 时间：
2014-10-28 13:40:07
阅读次数：
223
Storm应用场景Twitter列举了Storm的三大类应用：1.信息流处理{Streamprocessing}Storm可用来实时处理新数据和更新数据库，兼具容错性和可扩展性。2.连续计算{Continuouscomputation}Storm可进行连续查询并把结果即时反馈给客户端。比如把Twit...
分类：
其他好文 时间：
2014-10-19 18:36:50
阅读次数：
292
