mongo是啥东西？ MongoDB 是由C++语言编写的，基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。 gridfs是啥东西？ MongoDB内置GridFS，支持大容量的存储。 GridFS是一个出色的分布式文件系统，可以支持海量的数据存储。这使得 ...
分类：
其他好文 时间：
2018-09-20 16:03:25
阅读次数：
212
mfs的原理请看总结链接：MFS原理mfsgettrashtime用来查看已删除文件能够在回收站存放的时间，超过这个时间后彻底删除。用例为一天后清空回收站。格式：mfsgettrashtime文件名/目录名tmp]#mfsgettrashtime/data/data:86400如果部署MooseFS文件系统时没有指定文件回收站位置，默认是不自动创建的，但是被删除的文件时间没超过一天的仍然存在。解决
分类：
其他好文 时间：
2018-09-20 14:17:02
阅读次数：
1137
一、Hadoop框架简介Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。HDFS(HadoopDistributionFileSystem)，称为Hadoop分布式文件系统，主要特点：HDFS最小以64MB的数据块存储文件，相比其他文件系统中的4KB~32KB分块大得多。HDFS在时延的基础上对吞吐量进行
分类：
其他好文 时间：
2018-09-17 14:08:20
阅读次数：
181
前言： 一、背景介绍 二、大数据介绍 正文： 一、大数据相关的工作介绍 二、大数据工程师的技能要求 三、大数据学习规划 四、持续学习资源推荐（书籍，博客，网站） 五、项目案例分析（批处理+实时处理） 大数据学习群：119599574 前言 一、背景介绍 本人目前是一名大数据工程师，项目数据50T，日 ...
分类：
其他好文 时间：
2018-09-16 15:44:29
阅读次数：
158
初始Hadoop hadoop概述 查看官网，了解hadoop是一个开源的可靠的可扩展的分布式框架，它有很多的组件，比如Common,HDFS YARN,MapReduce. 1. Common：支持其他Hadoop模块的常用实用程序 2. HDFS：是一个分布式文件系统，提供对应用程序数据的高吞吐 ...
分类：
其他好文 时间：
2018-09-16 15:43:36
阅读次数：
221
Hadoop Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。 HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大 ...
分类：
其他好文 时间：
2018-09-15 20:50:17
阅读次数：
170
HDFS是Hadoop大数据平台中的分布式文件系统，为上层应用或其他大数据组件提供数据存储，如Hive，Mapreduce，Spark，HBase等。
分类：
其他好文 时间：
2018-09-14 11:55:55
阅读次数：
201
分布式文件系统HDFS 分布式文件系统 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，一类叫主节点（Master Node）或被称为名称节点（NameNode） 另一类叫从节点(Slave Node） ...
分类：
其他好文 时间：
2018-09-14 00:03:59
阅读次数：
154
HDFS: HDFS是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的。 Hive与Hbase的数据一般都存储在HDFS上。Hadoop HDFS为他们提供了高可靠性的底层存储支持。 Hive： Hive不支持更改数据的操作，Hive基于数据仓库， ...
分类：
其他好文 时间：
2018-09-13 20:06:18
阅读次数：
218
HDFS：分布式文件系统，运行文件通过网络在多台主机分享的文件系统，分块写入(128M)，适用于一次写入多次查询，不支持并发写(只能一块一块写)，小文件不合适。 nameNode(主节点，单个): 保存HDFS的元数据信息(命名空间信息、文件系统的目录树、文件和block关系即文件对应block列表 ...
分类：
其他好文 时间：
2018-09-12 11:12:26
阅读次数：
151
