1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input”目录 2.文件操作 使用vim编辑器，在本地Linux文件系统的“/home/hadoop/” ...
分类：
其他好文 时间：
2019-05-27 11:59:58
阅读次数：
119
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点 ...
分类：
其他好文 时间：
2019-05-26 17:36:54
阅读次数：
140
产生背景 自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后， 好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大 ...
分类：
其他好文 时间：
2019-05-24 12:42:09
阅读次数：
102
hadoop相关子系统： Apache Hadoop是Apache的一个分布式计算开源框架，提供了一个分布式文件系统子项目（HDFS）和支持MapReduce分布式计算的软件架构 那什么是MapReduce呢？ 举例来说，统计一系列的文档中的词汇。文档数量规模很大，有1000万个文档，英文单词的总数 ...
分类：
其他好文 时间：
2019-05-22 11:02:14
阅读次数：
90
Centos7系统启动流程 1、uefi或BIOS初始化，开始post(power on self test)开机自检 这个过程是开机后，BIOS或UEFI进行硬件检查的阶段。检测：CPU, 内存，硬盘等硬件信息。 2、加载MBR到内存，这里以BIOS为例，BIOS将会直接找硬盘的第一个扇区，找到前 ...
分类：
其他好文 时间：
2019-05-15 16:27:57
阅读次数：
149
一、概述Ceph是可靠的、可扩展的、统一的、开源分布式的存储系统。可以同时提供对象存RADOSGW（Reliable、Autonomic、Distributed、ObjectStorageGateway）、块存储RBD（RadosBlockDevice）、文件系统存储CephFS（CephFilesystem）3种功能。 Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自
分类：
其他好文 时间：
2019-05-14 00:43:07
阅读次数：
124
1、HDFS的设计 HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在：要求低时间延迟数据访问的应用，存储大量的小文件 ...
分类：
其他好文 时间：
2019-05-11 09:25:26
阅读次数：
101
在百度cdn新建cdn域名，主源站地址填写阿里oss的Bucket域名meizu-news.oss-cn-hangzhou.aliyuncs.com2.在百度回源配置里，配置回源hosts3.在阿里云oss存储页面配置，镜像回二级mfs源站，镜像回源具体说明可参考阿里云官方文档：https://help.aliyun.com/document_detail/31865.html?spm=5176.
分类：
其他好文 时间：
2019-05-10 09:27:31
阅读次数：
166
HadoopHDFSMapReduce Hadoop是Apache基金会所开发的分布式系统基础架构。最核心的设计就是：HDFS和MapReduce。 HDFS为海量的数据提供了存储 MapReduce则为海量的数据提供了计算 HDFS 分布式文件系统（Hadoop Distributed File ...
分类：
其他好文 时间：
2019-05-08 00:31:43
阅读次数：
132
https://www.cnblogs.com/kevingrace/p/8471827.html 一、分布式文件系统介绍分布式文件系统：Distributed file system, DFS，又叫做网络文件系统：Network File System。一种允许文件通过网络在多台主机上分享的文件系 ...
分类：
系统相关 时间：
2019-05-03 11:18:31
阅读次数：
193
