.wrapper {/*wrapper在Css中定义为包装器 display: grid;/*使.包装器成为网格容器。grid网格技术是分布式计算研究领域的最新成果网格实际上是一个集成的计算与资源环境(也叫“计算资源池”)网格能充分吸纳各种软硬件计算资源,并将它们转化为可方便利用的计算能力。所谓网格 ...
分类:
其他好文 时间:
2018-10-07 22:01:59
阅读次数:
200
一:简介 分布式系统的特征 并发 缺乏全局时钟 故障独立性 二:实例 Web搜索 大型多人在线游戏 金融交易 三:分布式系统的趋势 泛在联网和现代互联网 移动和无处不在计算 分布式多媒体系统 把分布式计算当做一个公共设施 四:关注资源共享 五:挑战性 异构性 网络、硬件、操作系统、编程语言 中间件: ...
分类:
其他好文 时间:
2018-10-07 00:39:42
阅读次数:
177
概念 随机森林(RandomForest):随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别数输出的类别的众数而定 优点:适合离散型和连续型的属性数据;对海量数据,尽量避免了过度拟合的问题;对高维数据,不会出现特征选择困难的问题;实现简单,训练速度快,适合 进行分布式计算 1 impo ...
分类:
编程语言 时间:
2018-10-05 23:59:35
阅读次数:
492
前言 我在《数据库事务和事务的隔离级别》和《再谈数据库事务隔离级别》两篇文章中详细介绍了数据库事务的隔离级别。本文将会从分布式的事务开始谈起,以及CAP理论和BASE理论。 分布式事务 随着分布式计算的发展,事务在分布式计算领域中也得到了广泛的应用。在单机数据库中,我们很容易能够实现一套满足ACID ...
分类:
其他好文 时间:
2018-10-02 20:42:46
阅读次数:
294
hadoop是一个分布式计算+分布式文件系统,前者其实就是MapReduce,后者是HDFS。后者可以独立运行,前者可以选择性使用,也可以不使用。 hive是一个构建在Hadoop基础设施之上的数据仓库。 hbase是一种Key/Value系统,它运行在HDFS之上,是一个分布式的、面向列的开源数据 ...
分类:
其他好文 时间:
2018-09-30 11:26:08
阅读次数:
223
解决方案:一直以来,基于Akka实现的RPC通信框架是Spark引以为豪的主要特性,也是与Hadoop等分布式计算框架对比过程中一大亮点。 但是时代和技术都在演化,从Spark1.3.1版本开始,为了解决大块数据(如Shuffle)的传输问题,Spark引入了Netty通信框架,到了1.6.0版本, ...
分类:
Web程序 时间:
2018-09-27 20:11:29
阅读次数:
259
1、HDFS 是做什么的 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐 ...
分类:
其他好文 时间:
2018-09-27 15:28:33
阅读次数:
198
[TOC] 1. 前言 在实际开发中,碰上CPU密集且执行时间非常耗时的任务,通常我们会选择将该任务进行分割,以多线程方式同时执行若干个子任务,等这些子任务都执行完后再将所得的结果进行合并。这正是著名的map reduce思想,不过map reduce通常被用在分布式计算的语境下,这里举这个例子只是 ...
分类:
其他好文 时间:
2018-09-25 14:41:43
阅读次数:
186
前言 DOCKER技术在推出后掀起了一阵容器化技术的热潮,容器化使得服务的部署变得极其简易,这为微服务和分布式计算提供了很大的便利。 为了把容器化技术的优点发挥到极致,docker公司先后推出了三大技术:docker-machine,docker-compose,docker-swarm,可以说是几 ...
分类:
其他好文 时间:
2018-09-20 17:23:46
阅读次数:
169
走上大数据的自学之路....,Hadoop是走上大数据开发学习之路的第一个门槛。 Hadoop,是Apache的一个开源项目,开发人员可以在不了解分布式底层细节,开发分布式程序,充分利用集群进行高速运算和存储海量数据。 核心:分布式存储系统HDFS(Hadoop Distributed File S ...
分类:
其他好文 时间:
2018-09-17 10:24:47
阅读次数:
119