5.分布式文件服务器FastDFS(阿里巴巴) 5.1什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS很容易搭建一套高性能的文件服务器集 ...
分类:
其他好文 时间:
2019-11-29 22:30:16
阅读次数:
122
1、Fastdfs介绍Fastdfs是用c语言编写的一个开源的轻量级分布式文件系统,它对文件进程管理,功能包括:文件存储,文件同步,文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题,特别适合以文件为载体的在线服务,如相册网站,视频网站等等Fastdfs为互联网量身定制,充分考虑了冗余备份,负载均衡,线性扩容等,并注重高可用,高性能等指标,使用fastdfs很容易搭建一套高性能的文
分类:
其他好文 时间:
2019-11-27 09:22:13
阅读次数:
74
2019-11-24 20:24:56 1.产生密钥对: 可以看到.ssh目录下多了两个文件 2.将每台机器的公钥复制给其他机器。 3.此时再次开启Hadoop就不需要输入4次密码了 将文件放到HDFS分布式文件系统中 ...
分类:
其他好文 时间:
2019-11-24 23:55:29
阅读次数:
170
https://blog.csdn.net/qq_33009107/article/details/90641940 #Tracker 端口号 22122 启动tracker /etc/init.d/fdfs_trackerd start 查看 netstat -unltp|grep fdfs 关闭... ...
分类:
其他好文 时间:
2019-11-23 18:12:38
阅读次数:
54
1.windows配置环境变量hadoop,winutils.exe和hadoop.dll下载链接:https://share.weiyun.com/5eebZFr 2.demo: (1)pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project ...
分类:
其他好文 时间:
2019-11-23 16:12:36
阅读次数:
76
现在的架构很多,各种各样的,如高并发架构、异地多活架构、容器化架构、微服务架构、高可用架构、弹性化架构等,还有和这些架构相关的管理型的技术方法,如 DevOps、应用监控、自动化运维、SOA 服务治理、去 IOE 等等,还有很多。 那什么是分布式系统?分布式系统是支持分布式处理的软件系统,是由通信网 ...
分类:
其他好文 时间:
2019-11-19 17:08:22
阅读次数:
95
1、什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用 FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 FastDFS 架构 ...
分类:
其他好文 时间:
2019-11-19 00:57:36
阅读次数:
85
最近进行学习过程中,遇到一些可以用得上的benchmark,在这里进行简要记录:之后估计会用到 TensorFlow benchmarks https://github.com/tensorflow/benchmarks 文件系统测试工具整理 https://www.cnblogs.com/xuya ...
分类:
其他好文 时间:
2019-11-18 13:15:37
阅读次数:
83
HDFS 1.hdfs整体工作机制: 1>hdfs:分布式文件系统。 hdfs:分布式文件系统 hdfs有着文件系统共同的特征: 2>有目录结构,顶层目录是: / 3>系统中存放的就是文件 4>系统可以提供对文件的:创建、删除、修改、查看、移动等功能 2.hdfs跟普通的单机文件系统有区别: 1>单 ...
分类:
其他好文 时间:
2019-11-17 23:55:37
阅读次数:
136
原文链接:https://blog.csdn.net/Lwj879525930/article/details/82559596 1.spark中的RDD是什么,有哪些特性? 答:RDD(Resilient Distributed Dataset)叫做分布式数据集,是spark中最基本的数据抽象,它 ...
分类:
其他好文 时间:
2019-11-15 22:41:39
阅读次数:
120