前三节课主要讲了hdfs，hdfs就是一个分鱼展的大硬盘 分：分块 鱼：冗余 展：动态扩展 接下来讲云计算，也可以理解为分布式计算，其设计原则： 移动计算，而不是移动数据 前面说过，hadoop由hdfs，yarn，map/reduce组成， 而yarn（Yet Another Resource N ...
分类：
其他好文 时间：
2018-08-07 16:47:57
阅读次数：
174
和 hadoop 一样，Spark 提供了一个 Map/Reduce API(分布式计算)和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存储数据。 本文选自《SparkGraphX实战》。 大数据对一些数据科学团队来说是 主要的挑战，因为在要求 ...
分类：
其他好文 时间：
2018-08-06 15:22:43
阅读次数：
137
先来个最简单的例子： 把1-10000每个数求平方 服务器server： 用两个队列存储任务、结果 定义两个函数 要实现分布式得继承multiprocessing.managers.BaseManager 在主函数里multiprocessing.freeze_support()开启分布式支持 注册 ...
分类：
编程语言 时间：
2018-08-04 13:42:27
阅读次数：
161
MySQLCluster是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDBCluster存储引擎，允许在1个Cluster中运行多个MySQL服务器。该技术允许在无共享的系统中部署“内存中”数据库的Cluster。管理节点（mgm）：这类节点的作用是管理MySQLCluster内的其他节点，如提供配置数据，并停止节点，运行备份等。由于这类节点负责管理其他节点的配置，应该在启动其他
分类：
其他好文 时间：
2018-08-02 17:43:40
阅读次数：
218
什么是Apache Hadoop？ Apache?Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。 Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。库本身不是依靠 ...
分类：
其他好文 时间：
2018-08-02 14:50:30
阅读次数：
225
hadoop：是java写的一个框架，可以理解成java写的一个应用，他主要是用来分布式存储和分布式计算。 1 为什么需要分布式存储，因为单台设备不够存储，实现办法的hadoop分布式是文件系统hdfs 2 分布式计算：因为数据量很大、一台机器硬件资料有限，实现办法是yarn和MapReduce、y ...
分类：
其他好文 时间：
2018-07-27 21:04:34
阅读次数：
126
理解Hadoop2.7.4集群搭建组件： HDFS 海量数据的分布式存储 Map-Reduce 海量数据的分布式计算框架 Yarn 海量数据的资源管理 两个集群 逻辑上分离，物理上常在一起 1、Hdfs 集群 三个角色：Namenode，Datanod，Secondnode 2、Yarn集群 两个 ...
分类：
其他好文 时间：
2018-07-24 17:35:29
阅读次数：
174
进程间通信（IPC，Inter-Process Communication），指至少两个进程或线程间传送数据或信号的一些技术或方法。进程是计算机系统分配资源的最小单位(严格说来是线程)。每个进程都有自己的一部分独立的系统资源，彼此是隔离的。为了能使不同的进程互相访问资源并进行协调工作，才有了进程间通 ...
分类：
系统相关 时间：
2018-07-22 23:29:45
阅读次数：
233
整理来源于 https://www.cnblogs.com/xishuai/p/6039838.html 集群是个物理形态，分布式是个工作方式。 分布式：一个业务分拆多个子业务，部署在不同的服务器上 集群：同一个业务，部署在多个服务器上 1：分布式是指将不同的业务分布在不同的地方。而集群指的是将几台 ...
分类：
其他好文 时间：
2018-07-20 19:05:20
阅读次数：
139
什么是Hadoop？ Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。用户可以利用Hadoop轻松的组织计算机资源，从而搭建自己的分布式计算平台，并且可以充分利用集群的计算和存储能力，完成海量数据的处理。 Hadoop具有高可靠性、高扩展性、高效性、高容错性的特点： 1， 高可靠性 ...
分类：
其他好文 时间：
2018-07-16 21:06:50
阅读次数：
197
