操作系统（一）—宏观导论
系统，对这词并不陌生，每天一来机房一开电脑就会接触到系统。我们有现在用的
Windows 系统、之前了解过虚拟机系统、Linux系统等等这都属于操作系统范畴。《操
作系统概论》这本教程很薄，主要还是介绍一些基本的概念和基本的原理等偏文科的一
些识记的东西。
操作系统（Operating System，简称OS）是管理和控制计...
分类：
其他好文 时间：
2015-01-27 20:19:41
阅读次数：
153
Dockerize封装云，绿色免安装，下载后直接运行，按用户需求build私有云，build once, run anywhere，分布式计算原理，横向规模无限可扩展，极大降低销售，运维，升级，交付成本，Build, SHIP, run your CLOUD, not only app...
分类：
其他好文 时间：
2015-01-24 15:54:45
阅读次数：
133
原文连接：https://www.paypal-engineering.com/tag/data-science/摘要：伴随着数据的爆炸性增长和成千上万的机器集群，我们需要使算法可以适应在如此分布的环境下运行。在通用的分布式计算环境中运行机器学习算法具有一系列的挑战。本文探讨了如何在一个Hadoop...
分类：
其他好文 时间：
2015-01-22 17:03:18
阅读次数：
219
目录(?)[-]一设计理念空间换时间 多级缓存静态化 索引并行与分布式计算 任务切分分而治之MR 多进程多线程并行执行MPP多维度的可用 负载均衡容灾备份 读写分离 依赖关系 监控伸缩 拆分 无状态优化资源利用 系统容量有限 原子操作与并发控制 基于逻辑的不同采取不一样的策略 容错隔离 资源释放二静...
分类：
其他好文 时间：
2015-01-15 10:53:45
阅读次数：
254
1、并行计算
并行计算或称平行计算是相对于串行计算来说的它是一种一次可执行多个指令的算法目的是提高计算速度及通过扩大问题求解规模解决大型而复杂的计算问题所谓并行计算可分为时间上的并行和空间上的并行 时间上的并行就是指流水线技术而空间上的并行则是指用多个处理器并发的执行计算。这个是多核处理器环境下的并行计算的定义，从宏观上来看，这个属于计算机应用服务器的垂直扩展，在这里我们就不展开讨论了。
分布...
分类：
其他好文 时间：
2015-01-14 15:41:54
阅读次数：
169
1、异步计算
分布式计算听起来有点高大上，如果说异步计算，估计了解的人多了。我们在日常的工作和生活中，一般都能遇到或者用到异步计算。
比如年底要做很多的报表，领导把需要的报表安排下来，我和我的团队去做统计。为了不耽误领导的时间，不需要领导站在我们屁股后面亲自督战。对领导来说，这个就是一个简单的异步计算模型了。
我们的团队在统计的时候，数据量很多，系统要运行很久，我...
分类：
其他好文 时间：
2015-01-14 14:21:41
阅读次数：
130
HDFS作为Hadoop的核心技术之一，HDFS(Hadoop Distributed File System, Hadoop分布式文件系统)是分布式计算中数据存储管理的基础。具有高容错高可靠性、高可扩展性、高可获得性、高吞吐率等特性。为超大数据集的应用提供了便利。一、设计的前提和目的HDFS是Go...
分类：
其他好文 时间：
2015-01-12 22:29:31
阅读次数：
264
云计算的“横空出世”让很多人将其视为一项全新的技术，但事实上它的雏形已出现多年，只是最近几年才开始取得相对较快的发展。确切地说，云计算是大规模分布式计算技术及其配套商业模式演进的产物，它的发展主要有...
分类：
其他好文 时间：
2015-01-09 21:05:48
阅读次数：
293
已经毕业工作快满两年了，从一家垄断国字号企业跳到某电商平台，应该是我的职业生涯第一跳了，也很荣幸地投身入互联网浪潮之中。没过多久就融入了这家朝气蓬勃的大家庭。回汉后，起初打算做机器学习、数据挖掘的相关工作，以能延续研究生的课题。不过作为新东家BI组第一位员工，不得不着手搭建基础数据平台。
工作成果与心得
基础数据平台和报表系统，爬虫
五个月，小半年，我们三兄弟的工作成果也是比较显著，在被...
分类：
其他好文 时间：
2015-01-05 23:29:51
阅读次数：
326
1、什么是Spark？ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MadReduce所具有的优点；但不同于MapReduce的是Job中间输出的结果可以....
分类：
其他好文 时间：
2015-01-05 18:11:16
阅读次数：
323
