HDFS原理
HDFS（Hadoop Distributed File System）是一个分布式文件系统，是谷歌的GFS山寨版本。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。
高吞吐量访问：HDFS的每个Block分布在不同的Rack上，在用户访问时，HDFS会计算使用最近和访问量最小的服务器给用户提...
分类：
其他好文 时间：
2015-08-12 13:21:12
阅读次数：
110
hadoop文件系统较普通的文件系统差异性主要在于其容错性，普通文件系统不能直接查看hadoop的hdfs对应的文件信息。文件存储起来之后，我们是需要可以访问才能够体现它的价值，hadoop提供了FileSystem API来进行hadoop的文件读写。
本节我是对照hadoop的API中的FileSystem类写的demo，包含了一些主要的方法，更多的需要从相关api中进行查询编写。
...
工作中使用到了mongo，就自己研究了一下，总结了一下，会遇到的一些问题，有不对的地方还请各位牛人指导。
简单说一下
副本集具有多个副本保证了容错性，就算一个副本挂掉了还有很多副本存在
主节点挂掉了，整个集群内会自动切换
副本集中的副本节点在主节点挂掉后通过心跳机制检测到后，就会在集群内发起主节点的选举机制，自动选举一位新的主服务器
我们来看看mongoDB副本集的架构图：(注：此...
分类：
数据库 时间：
2015-07-31 18:27:50
阅读次数：
308
1.多进程或多线程模型多进程服务器：Apache，Nginx，lighttpd等服务器均为多进程模型，分为Master进程和Woker进程多进程的优点：更强的容错性 - 一个进程挂掉不会导致整个系统崩溃，更好的多核可伸缩性 - 进程的使用将许多内核资源（如地址空间，页表，打开的文件）隔离，在多核系统...
分类：
其他好文 时间：
2015-07-24 17:57:20
阅读次数：
111
1：关于多层架构(N-Tier)多层架构是一种被行业证明过的软件架构模型，对开发一些解决可扩展性、安全性、容 错性方面的企业级(客户端/服务端)应用程序支持是相当给力。但在.NET世界里，我们有许多工具和产品，却没有指导手册是关于如何设计和实现一个良好的 多层架构模型，比如一些样例版，Demo等等,...
分类：
其他好文 时间：
2015-07-22 22:34:17
阅读次数：
171
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。要理解HDFS的内部工作原理，首先要理解什么是分布式文件系统。1.分布式文件系统
多台计算机联网协同工作(有时也称为一个集群)就像单台系统一样解决某种问题，这样的系统我们称之为分布式系统。
分布...
分类：
其他好文 时间：
2015-07-16 09:48:47
阅读次数：
143
引入一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。
面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。
因此，Spark选择记录更新的方式。但是，如果更新粒度太细太多，那么记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，然后将创建...
分类：
其他好文 时间：
2015-07-14 20:31:04
阅读次数：
113
系统架构设计理论与原则这里主要介绍几种常见的架构设计理论和原则，常见于大中型互联系统架构设计。（一）、CAP理论1、什么是CAP所谓CAP，即一致性（Consistency）、可用性（Availability）和分区容错性（Partition Tolerance）。（1）、Consistency（一...
分类：
其他好文 时间：
2015-07-08 18:39:14
阅读次数：
160
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点： 1）适合存储非常大的文件 2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式 3）适合部署在廉价的机器上
分类：
其他好文 时间：
2015-07-07 16:00:48
阅读次数：
97
