第一节：hdfs简介 用于海量数据存储的，就是一个文件系统，分布式文件系统。 hadoop distributed filesystem 第二节：设计思想 一、分而治之 将超级大的文件切分成每一个小文件（数据块）进行存储在不同的节点上。同时切分的数据块太大了，容易造成集群中节点的存储的负载不均衡。太 ...
分类：
其他好文 时间：
2019-06-30 20:44:39
阅读次数：
147
技术栈 SpringBoot fastDFS Vue.js 文件系统 FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4等 文件系统属于操作系统的一部分 分布式文件系统：分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接 ...
分类：
其他好文 时间：
2019-06-30 19:23:12
阅读次数：
144
这篇文章讲解分布式缓存，即 Distributed caching in ASP.NET Core Distributed caching in ASP.NET Core 分布式缓存是可以在多个应用服务上共享的缓存，比较经典的用法是作为多个应用服务器的一个可到达的外部服务。分布式缓存可以提高 ASP ...
分类：
Web程序 时间：
2019-06-27 23:05:06
阅读次数：
192
导入 从一个Job运行过程中来看DAGScheduler是运行在Driver端的，其工作流程如下图： 图中涉及到的词汇概念： 1. RDD——Resillient Distributed Dataset 弹性分布式数据集。 2. Operation——作用于RDD的各种操作分为transformat ...
分类：
其他好文 时间：
2019-06-27 01:07:50
阅读次数：
160
spark面试问题 1、spark中的RDD是什么，有哪些特性 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset：就是一个集合，用于存放数据的 Distri ...
分类：
其他好文 时间：
2019-06-27 00:54:00
阅读次数：
99
当前 APM（Application Performance Management (Monitoring)/ 应用性能管理）或者叫 Distributed Tracing System 工具有： Google Dapper：http://bigbully.github.io/Dapper-tran ...
分类：
其他好文 时间：
2019-06-23 17:22:16
阅读次数：
135
Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple ...
分类：
Web程序 时间：
2019-06-23 17:21:02
阅读次数：
191
一。RDD概念 1.1。RDD概述 1.1.1。什么是RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有R ...
分类：
其他好文 时间：
2019-06-22 10:20:18
阅读次数：
85
如何产生 XPO 的WCF服务中间层？ 参考有关文章： 1、How to implement a distributed object layer service working via WCF https://www.devexpress.com/Support/Center/Example/De ...
分类：
其他好文 时间：
2019-06-20 21:14:55
阅读次数：
136
概述 分布式拒绝服务(DDoS:Distributed Denial of Service)攻击指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS攻击，从而成倍地提高拒绝服务攻击的威力。通常，攻击者使用一个偷窃帐号将DDoS主控程序安装在一个计算机上，在一个设定 ...
分类：
Web程序 时间：
2019-06-20 12:36:11
阅读次数：
180
