HDFS简介 HDFS的运用非常广泛，基本上很多大数据平台大部分都会选用HDFS（或者类似HDFS）这样的分布式文件系统、来作为海量数据存储的一个解决方案。 优缺点 优势 1. 高容错性，HDFS提供了非常好的“副本冗余机制”，简单来说就是一份数据在HDFS当中存放，包含它自身在内至少会有（默认） ...
分类：
其他好文 时间：
2020-02-25 19:49:39
阅读次数：
69
一、MFS概述： MooseFS（moose 驼鹿）是一款网络分布式文件系统。它把数据分散在多台服务器上，但对于用户来讲，看到的只是一个源。MFS也像其他类unix文件系统一样，包含了层级结构（目录树），存储着文件属性（权限，最后访问和修改时间），可以创建特殊的文件（块设备，字符设备，管道，套接字） ...
分类：
其他好文 时间：
2020-02-23 14:35:46
阅读次数：
75
序言 hdfs文件系统主要设计为了存储大文件的文件系统；如果有个TB级别的文件，我们该怎么存储呢？分布式文件系统未出现的时候，一个文件只能存储在个服务器上，可想而知，单个服务器根本就存储不了这么大的文件；退而求其次，就算一个服务器可以存储这么大的文件，你如果想打开这个文件，效率会高吗？ hdfs的出 ...
分类：
其他好文 时间：
2020-02-23 11:16:39
阅读次数：
47
HDFS(Hadoop Distributed File System）就是hadoop分布式文件系统，fs是操作HDFS文件的一个常用命令。 1.hadoop fs help 查看fs使用帮助 2.hadoop fs mkdir 在HDFS文件系统下的根路径下创建一个文件 这个根目录是独立于虚拟机 ...
分类：
其他好文 时间：
2020-02-22 00:08:28
阅读次数：
120
linux内核特点： 支持模块化：模块文件的名字以.ko（kernel object）结尾 支持内核运行时，动态加载和卸载模块文件。 linux内核组成部分： 核心文件：/boot/vmlinuz VERSION release 模块文件：/lib/modules/VERSION release 如 ...
分类：
其他好文 时间：
2020-02-21 22:08:48
阅读次数：
88
Hadoop的HDFS操作命令 HDFS是存取数据的分布式文件系统，那么对HDFS的操作就是对文件系统的操作，比如文件的创建、修改、删除；文件夹的创建、修改、删除。Hadoop作者认为大家对linux文件系统的命令很熟悉，于是借鉴了linux文件系统的命令来作为HDFS的操作命令。 （1）查看帮助 ...
分类：
其他好文 时间：
2020-02-21 20:18:33
阅读次数：
125
N7UR85VVAG-eyJsaWNlbnNlSWQiOiJON1VSODVWVkFHIiwibGljZW5zZWVOYW1lIjoi6I635Y+W5Zyw5Z2A77yaIGxvb2tkaXYuY29tIiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI ...
分类：
其他好文 时间：
2020-02-17 12:18:24
阅读次数：
83
1.摘要 如果要将企业应用系统按照技术或数据按时间进行划分的话，那么可以以2008年Google推出的分布式文件系统DFS为一个划分标准，2008年之前，由于通信信息技术的弊端，还属于PC互联网时代，整个互联网产生的数据和现在相比只是量级分之一，所以基本上是传统的企业应用系统，将数据存储在RDBMS ...
分类：
其他好文 时间：
2020-02-17 01:13:15
阅读次数：
90
1.服务器规划 跟踪服务器1：192.168.33.3 跟踪服务器2：192.168.33.4 存储服务器1：192.168.33.5 存储服务器2：192.168.33.6 存储服务器3：192.168.33.7 存储服务器4：192.168.33.8 2.下载相关软件包 git clone ht ...
分类：
其他好文 时间：
2020-02-12 18:16:40
阅读次数：
63
1、Hadoop概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high ...
分类：
其他好文 时间：
2020-02-10 09:50:14
阅读次数：
58
