[toc] 1. 目录 HTCondor环境配置完成后，安装文件目录如下：![HTCondor安装目录][imglink1] 其中bin目录里面存放了一系列condor_开头的可执行程序，正是通过这些指令程序来实现分布式计算的。其中有个GUI程序condor_birdwatcher.exe，打开后运 ...
分类：
其他好文 时间：
2020-01-23 22:44:14
阅读次数：
116
Spark是一种分布式计算框架，对标Hadoop的MapReduce；MapReduce适用于离线批处理（处理延迟在分钟级）而Spark既可以做离线批处理，也可以做实时处理（SparkStreaming） ①Spark集批处理、实时流处理、交互式查询、机器学习与图计算一体 ②Spark实现了一种分布 ...
分类：
其他好文 时间：
2020-01-21 19:49:30
阅读次数：
71
[TOC] 1. 正文 HTCondor是威斯康星大学麦迪逊分校构建的分布式计算软件和相关技术，用来处理高通量计算（High Throughput Computing ）的相关问题。高通量计算中的Throughput应该是吞吐量的意思，也就是调度计算机资源的能力。与高性能计算（HPC）不同，高通量计 ...
分类：
其他好文 时间：
2020-01-17 11:49:30
阅读次数：
64
MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是“任务的分解与结果的汇总”。一、 MapReduce的工作原理在分布式计算中，MapReduce框架负责处理 ...
分类：
其他好文 时间：
2020-01-15 14:03:53
阅读次数：
79
hadoop入门分析（一） 基本架构 ? 这里呢我们将简单的对大数据进行一个初步的认识，毕竟大家都知道，无论是学习一项新技术还是一项新的什么其他的技能，光靠死记硬背是很难背下来的。重要的是对于你要掌握的东西的一个理解，有了理解，那就容易多了不是。所以人狠话不多，废话不多说，接下来就和大家一起探讨下大 ...
分类：
其他好文 时间：
2020-01-13 16:10:29
阅读次数：
65
我们知道数据分析的第一步是准备数据，所以在前面的课程里，我们介绍了元数据。今天这篇文章，主要介绍大数据量组合数据集在永洪中的应用实例：Mapsidejoin。什么是Mapsidejoin？按照字面意思，Mapsidejoin就是M—节点—组合。在了解Mapsidejoin之前，首先我们要了解一下MapReduce模型以及产品的四个节点CNMR的作用，通过MapReduce模型中，Mapsidejo
分类：
其他好文 时间：
2020-01-08 00:23:10
阅读次数：
157
分两点： 一. MySQL NDB Cluster的概述 MySQL NDB Cluster是一个适用于分布式计算环境的高可用性、高冗余版本的MySQL。 NDB集群由一组计算机组成，称为主机，每个计算机运行一个或多个进程。这些进程称为节点，可能包括MySQL服务器（用于访问NDB数据）、数据节点（ ...
分类：
数据库 时间：
2019-12-28 16:27:25
阅读次数：
91
今天突然很想聊聊分布式系统，首先这个系统是需要划分出层次的； 分布式系统包括有很多，包括分布式计算系统，比如ｈａｄｏｏｐ， 还有分布式机器调度系统；ｋ８ｓ是一套容器编排系统 分布式存储系统； 他们干的事情有什么区别呢？ 是一套容器编排系统 他们有什么区别呢？ 没有什么区别，都是有一个中心节点，这些中 ...
分类：
其他好文 时间：
2019-12-24 23:25:35
阅读次数：
89
Spark MLlib Spark分布式计算原理 Spark（分布式的计算平台），分布式：指计算节点之间不共享内存，需要通过网络通信的方式交换数据。Spark最典型的应用方式是建立在大量廉价计算节点（廉价主机、虚拟的docker container）上；但这种方式区别于CPU+GPU的架构和共享内存 ...
分类：
其他好文 时间：
2019-12-24 18:26:47
阅读次数：
182
程序员可以分为很多种，像Unix程序员、Windows程序员，或是C++程序员、Delphi程序员，等等。今天我想谈的是Web程序员，一名真正的Web程序员应该懂得那些方面的知识，应该注意学习哪些东西。 也许有些朋友会说，我知道Asp、Jsp，会做网站、会做bbs，这应该叫Web程序员了吧。确实，我 ...
分类：
其他好文 时间：
2019-12-18 22:14:23
阅读次数：
199
