python分布式计算 Python多进程与多线程 fork()操作、getpid() 函数式编程 map&reduce、pipeline、recursing递归、currying、higher or function高阶函数 Hadoop一个分布式计算开源框架、MapReducer、Spark、R ...
分类：
编程语言 时间：
2018-08-26 22:01:37
阅读次数：
131
云计算与虚拟化的关系：应用与支撑 虚拟化是云计算的重要支撑技术。是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。通过虚拟化，可以将应用程序和数据在不同层次以不同的方式展现给客户，为的使用者和开发者提供便利。的虚拟化过程为组织带来了灵活性，从而改善 ...
分类：
其他好文 时间：
2018-08-26 19:42:35
阅读次数：
132
1.RDD又叫弹性分布式数据集 2.抽象 3.带泛型,支持多种数据类型 4.集合是可以进行分区 例如(1,2,3,4,5,6,7,8,9)这个数组是可以进行分区的(1,2,3) (4,5,6) (7,8,9)可以并行计算(这就是分布式计算) RDD5大特性 1.一个RDD有一系列的分区 2.对RDD ...
分类：
其他好文 时间：
2018-08-25 22:17:02
阅读次数：
186
ignite分布式计算 在ignite中，有传统的MapReduce模型的分布式计算，也有基于分布式存储的并置计算，当数据分散到不同的节点上时，根据提供的并置键，计算会传播到数据所在的节点进行计算，再结合数据并置，相关联的数据存储在相同节点，这样可以避免在计算过程中涉及到大量的数据移动，有效保证计算 ...
分类：
Web程序 时间：
2018-08-24 02:01:47
阅读次数：
216
你肯定听过Hadoop，对就是那头奔跑的小象。 Hadoop作为大数据时代代表性的解决方案被大家所熟知，它主要包含两部分内容： HDFS分布式文件存储 MapReduce分a布式计算框架 前面我们分析存储方案的发展的时候有提到分布式文件存储的出现是为了解决存储的三大问题：可扩展性，高吞吐量，高可靠性 ...
分类：
其他好文 时间：
2018-08-23 02:14:30
阅读次数：
159
做大数据分析研究的常用软件工具与其应用场景 实际进行大数据研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。 如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。 工欲善其 ...
分类：
其他好文 时间：
2018-08-22 12:00:42
阅读次数：
194
1、请简要介绍一下Hadoop、Spark、MPI三种计算框架的特点以及分别适用什么样的场景？ Hadoop：基于分布式文件系统HDFS的分布式批处理计算框架，适用于数据量大、SPMD（单程序多数据）的应用 Spark：基于内存计算的并行计算框架，适用于需要迭代多轮计算的应用 MPI：基于消息传递的 ...
分类：
其他好文 时间：
2018-08-21 21:10:07
阅读次数：
194
Redis NoSQL简介 NoSQL，全名为Not Only SQL，指的是非关系型的数据库 随着访问量的上升，网站的数据库性能出现了问题，于是nosql被设计出来 优点/缺点 优点: 高可扩展性 分布式计算 低成本 架构的灵活性，半结构化数据 没有复杂的关系 缺点: 没有标准化 有限的查询功能（... ...
分类：
其他好文 时间：
2018-08-19 12:58:31
阅读次数：
186
MapReduce简介 MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。 MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。 MapReduce执行流程 MapReduce原理 Ma ...
分类：
其他好文 时间：
2018-08-11 10:57:01
阅读次数：
221
之前我们介绍了HBase，并且实战了如何通过HBase+SpringBoot实战分布式文件存储，我们为什么要使用HBase来实现文件存储呢，究其原因还是因为HDFS本身具有一定的局限性。而且大多数的公司在使用Hadoop的时候一般只用到了它的MR部分(分布式计算框架)，对于HDFS这个文件存储服务的 ...
分类：
其他好文 时间：
2018-08-07 18:54:10
阅读次数：
177
