欢迎转载，转载请注明出处，徽沪一郎，谢谢。在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理...
分类：
其他好文 时间：
2014-07-07 14:36:48
阅读次数：
275
欢迎转载，转载请注明出处，徽沪一郎。概要本文就standalone部署方式下的容错性问题做比较细致的分析，主要回答standalone部署方式下的包含哪些主要节点，当某一类节点出现问题时，系统是如何处理的。Standalone部署的节点组成介绍Spark的资料中对于RDD这个概念涉及的比较多，但对于...
分类：
其他好文 时间：
2014-07-07 14:19:57
阅读次数：
274
这2天在开发中碰到一个奇怪的问题，在内网服务器 int类型字段 intId 在insert的时候 value（‘’） 是没有问题的但是在外网的MYSQL中 会报错 后来在网上看到一篇文章很不错.修改my.iniXML/HTML代码ctrl+f查找sql-mode将它值改为"ANSI"sql-mode...
分类：
数据库 时间：
2014-07-01 20:56:50
阅读次数：
509
引言
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件...
分类：
其他好文 时间：
2014-06-28 07:48:49
阅读次数：
253
本文是读完 Jeffrey Dean, Greg S. Corrado 等人的文章 Large Scale Distributed Deep Networks (2012) 后的一则读书笔记，重点介绍在 Google 的软件框架 DistBelief 下设计的一种用来训练大规模深度神经网络的随机梯度下降法 — Downpour SGD，该方法通过分布式地部署多个模型副本和一个“参数服务器”，同时实现了模型并行和数据并行，且对机器失效问题具有很好的容错性。结合 Adagrad 自适应学习率使用，对非凸优化问题...
分类：
其他好文 时间：
2014-06-18 00:55:39
阅读次数：
433
本文就standalone部署方式下的容错性问题做比较细致的分析，主要回答standalone部署方式下的包含哪些主要节点，当某一类节点出现问题时，系统是如何处理的。组成cluster的不同节点，启动时有没有固定的顺序，为什么是这样的顺序，针对这些问题，本文会做一个详尽的分析。
分类：
其他好文 时间：
2014-06-18 00:10:53
阅读次数：
253
根据先序遍历和中序遍历的特点，我们想到了采用递归的方法来实现。思路：1）
代码的容错性检查，比如：先序遍历和中序遍历长度应相等 2）
先保存先序遍历的第一个点，这个点为结点，接下来循环中序遍历，直到midOrd[index]=该结点，那么接下来就可以采用递归，分别对结点左边和右边的序列采用相同的方法...
分类：
其他好文 时间：
2014-06-11 21:48:07
阅读次数：
358
1、分布式领域CAP理论：Consistency(一致性),
数据一致更新，所有数据变动都是同步的Availability(可用性), 好的响应性能Partition tolerance(分区容错性)
可靠性定理：任何分布式系统只可同时满足二点，没法三者兼顾。忠告：架构师不要将精力浪费在如何设计能满...
分类：
其他好文 时间：
2014-06-10 10:14:30
阅读次数：
232
JavaScript的Date对象有容错性，可将随意给定的日期的年月日自动生成正确的日期时间//JavaScript中Date对象容错性function
dateCheck(){ var date = new Date(); date.setDate(date.getDate()+13)...
分类：
编程语言 时间：
2014-05-26 13:31:03
阅读次数：
198
Hadoop的分布式文件系统（HDFS）是Hadoop的很重要的一部分，本文先简单介绍HDFS的几个特点，然后再分析背后的原理，即怎样实现这种特点的。
HDFS特点
1、高容错性。这是HDFS最核心的特性了，把大量数据部署在便宜的硬件上，即使其中某些磁盘出现故障，HDFS也能很快恢复丢失的数据。
2、简单一致性。这个的意思是HDFS适合一次写入，多次读取的程序，文件写入后，就不需要修改了。像...
分类：
其他好文 时间：
2014-05-25 01:02:09
阅读次数：
285
