一、HDFS的简介及优缺点 HDFS(Hadoop Distributed File System)是hadoop生态系统的一个重要组成部分,是hadoop中的的存储组件,在整个Hadoop中的地位非同一般,是最基础的一部分,因为它涉及到数据存储,MapReduce等计算模型都要依赖于存储在HDFS ...
分类:
其他好文 时间:
2020-02-23 11:48:58
阅读次数:
77
DRBD 安装配置、工作原理及故障恢复 一、DRBD 简介 DRBD的全称为:Distributed ReplicatedBlock Device(DRBD)分布式块设备复制,DRBD是由内核模块和相关脚本而构成,用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。你可以把它看作是一种网络R ...
分类:
其他好文 时间:
2020-02-22 11:44:27
阅读次数:
74
HDFS(Hadoop Distributed File System)就是hadoop分布式文件系统,fs是操作HDFS文件的一个常用命令。 1.hadoop fs help 查看fs使用帮助 2.hadoop fs mkdir 在HDFS文件系统下的根路径下创建一个文件 这个根目录是独立于虚拟机 ...
分类:
其他好文 时间:
2020-02-22 00:08:28
阅读次数:
120
什么是RDD RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象(其实是计算抽象)。代码中是一个抽象类,它代表一个不可变、可分区、里面的元素可并行计算的集合。 不可变:数据一旦写入,不可更改;联想到java 中的String类型, ...
分类:
其他好文 时间:
2020-02-20 21:55:51
阅读次数:
104
spring cloud alibaba 微服务一站式解决方案基于spring cloud 功能 翻译 选择 Distributed/versioned configuration 分布式/版本化的配置管理 Spring Cloud Config、Consul、Nacos、Zookeeper Ser ...
分类:
编程语言 时间:
2020-02-18 09:42:39
阅读次数:
221
使用的模块是eyeD3 一、eyeD3的安装 1、安装msgpack,不安装会报错distributed 1.21.8 requires msgpack, which is not installed pip install msgpack 2、安装magic,不安装的话,在import eyed3 ...
分类:
编程语言 时间:
2020-02-15 18:51:49
阅读次数:
90
(一)HDFS简介及其基本概念 HDFS(Hadoop Distributed File System)是hadoop生态系统的一个重要组成部分,是hadoop中的的存储组件,在整个Hadoop中的地位非同一般,是最基础的一部分,因为它涉及到数据存储,MapReduce等计算模型都要依赖于存储在HD ...
分类:
其他好文 时间:
2020-02-15 18:47:15
阅读次数:
65
1.Understand Distributed SCM; 2.Check in your source code correctly and elegantly ...
分类:
其他好文 时间:
2020-02-14 00:46:28
阅读次数:
58
OpenZipkin · A distributed tracing systemhttps://zipkin.io/ Open Zipkin · GitHubhttps://github.com/openzipkin zipkin,pinpoint和skywalking对比 - 简书https:/ ...
分类:
其他好文 时间:
2020-02-14 00:40:44
阅读次数:
64
1、Hadoop概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high ...
分类:
其他好文 时间:
2020-02-10 09:50:14
阅读次数:
58