一、基础知识 1、分布式基础理论 1.1)、什么是分布式系统? 《分布式系统原理与范型》定义: “分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像单个相关系统” 分布式系统(distributed system)是建立在网络之上的软件系统。 随着互联网的发展,网站应用的规模不断扩大,常规 ...
分类:
其他好文 时间:
2018-09-03 12:11:52
阅读次数:
166
一. 分布式测试 分布式应用(distributed application)指的是应用程序分布在不同计算机上,通过网络来共同完成一项任务的工作方式。性能测试当中,负载机的性能会对性能测试的执行产生影响。作为Java应用程序,Jmeter运行时也需要一定的资源,当性能测试的模拟的并发过大时,负载机的 ...
分类:
其他好文 时间:
2018-08-31 21:30:24
阅读次数:
166
Git is a free and open source distributed version control system designed to handle everything from small to very large projects with speed and effici ...
分类:
其他好文 时间:
2018-08-29 13:57:32
阅读次数:
173
HDFS架构 the core of HADOOP/distributed systems is storeage(HDFS) and resource manager(YARN) for computing engines built on it. Master/Slave: The charac ...
分类:
其他好文 时间:
2018-08-28 14:15:54
阅读次数:
187
Distributed Runtime Environment(分布式运行环境) Tasks and Operator Chains 在分布式执行情况下,Flink将operator subtasks 链接到一起,形成任务(task)。每个任务(subtask)由一个线程执行。将operator s ...
分类:
其他好文 时间:
2018-08-28 00:58:47
阅读次数:
436
/* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this ...
## 02、体验Spark shell下RDD编程 ### 1、Spark RDD介绍 RDD是Resilient Distributed Dataset,中文翻译是弹性分布式数据集。该类是Spark是核心类成员之一,是贯穿Spark编程的始终。初期阶段,我们可以把RDD看成是Java中的集合就可以... ...
分类:
其他好文 时间:
2018-08-27 21:39:47
阅读次数:
129
### HDFS分布式文件系统
1. 分布式存储
2. 分布式计算 ### 2、hadoop
hadoop含有四个模块,分别是 common、 hdfs和yarn。
1. common 公共模块。 2. HDFS hadoop distributed file system,hadoop分布式文件系... ...
分类:
其他好文 时间:
2018-08-27 21:29:28
阅读次数:
257
1.1 分布式文件系统 1.1.1 什么是分布式文件系统 相对于本机端的文件系统而言,分布式文件系统(英语:Distributed file system, DFS),或是网络文件系统(英语:Network File System),是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多 ...
分类:
其他好文 时间:
2018-08-25 20:03:24
阅读次数:
269
原文地址:https://dblab.xmu.edu.cn/blog/290-2/ Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop核心组件之一,如果已经安装了Hadoop,其中就已经包含了HDFS组件,不需要另外安装。 在学习HDF ...
分类:
其他好文 时间:
2018-08-24 22:57:21
阅读次数:
742