分布式计算 标准差，信度 当一组数据无法完全加载到内存计算时，那我们就需要进行分布式计算，每台机器计算部分数据然后合成最后结果。例如典型的词频统计案例，但是当最后的结果不能根据每台机器的结果得出，那么就要拆分算法了。 ==拆分算法的标准：算法公式的粒度一定要能根据分布式的各个task处理得出== 拆 ...
分类：
其他好文 时间：
2018-04-27 20:00:14
阅读次数：
138
一、MapReduce编程模型 一种分布式计算框架，解决海量数据的计算问题。 MapReduce将整个并行计算过程抽象到两个函数： Map（映射）：对一些独立元素组成的列表的每一个元素进行制定的操作，可以高度并行。 Reduce（化简）：对一个列表的元素进行合并。 一个简单的MapReduce程序只 ...
分类：
其他好文 时间：
2018-04-27 12:17:43
阅读次数：
152
摘抄自：https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-apache-spark-memory-management/index.html 一、概述 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮 ...
分类：
其他好文 时间：
2018-04-26 23:16:47
阅读次数：
220
hadoop: hdfs:分布式存储 MR： 分布式计算 hdfs: ========================= 1、namenode(元数据)、datanode(真实数据)、2nn(检查点) 2、hadoop-daemon.sh start namenode //启动本机进程 hadoop... ...
分类：
其他好文 时间：
2018-04-25 17:01:32
阅读次数：
220
NoSQL是什么？? ?非关系型数据库,有时也称作Not Only SQL的缩写，是对不同于传统的关系型数据库的数据库管理系统的统称?NoSQL的优势?1、高扩展性? ? ?副本集，自动故障转移，数据冗余?2、高并发性，大数据下读写能力较强?3、分布式计算?4、处理海量数据?5、没有复杂的
分类：
数据库 时间：
2018-04-22 12:47:29
阅读次数：
196
普Spark，Spark是什么，如何使用Spark（1）转自：http://www.aboutyun.com/thread-6849-1-1.html 阅读本文章可以带着下面问题：1.Spark基于什么算法的分布式计算（很简单）2.Spark与MapReduce不同在什么地方3.Spark为什么比H ...
分类：
其他好文 时间：
2018-04-17 18:07:16
阅读次数：
123
下载地址：网盘下载 内容提要 《分布式计算系统导论：原理与组成/普通高等教育“十一五”国家级规划教材》较全面地介绍分布式计算系统的原理与组成，包括命名、进程、通信、同步与互斥和多副本一致性技术，以及网络存储系统、分布式文件系统、分布式事务、面向对象的分布计算、面向服务的分布计算、公用服务分布计算和志 ...
分类：
其他好文 时间：
2018-04-15 15:02:55
阅读次数：
471
1、hadoop：由java语言开发的开源的分布式计算平台。可提供PB（100万G）存储。hadoop是可靠的，高效的，可伸缩的。hadoop假设计算元素和存储会失败，维护多个副本，确保针对失败的节点重分布处理。文件以块的方式存储.2、hadoop最核心的是hdfs和mapreduce，hdfs为海量存储提供存储。mapreduce为海量数据提供计算。mapreduce分为jobtrackers和
分类：
其他好文 时间：
2018-04-08 14:30:56
阅读次数：
111
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。 大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企
分类：
其他好文 时间：
2018-04-03 17:32:32
阅读次数：
105
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。 大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管
分类：
其他好文 时间：
2018-04-03 17:23:44
阅读次数：
143
