现在的大数据是很红火的,薪资比通常的软件行业要高,所以很多年轻人想进入这个行业。但并不是每个大数据相关的工作都是高薪的,主要还是根据自己的专长进行选择发展。大数据涉及的知识很广泛,如果要当全能选手,是非常艰难,一个人的精力也是有限的。进行细分选择,然后专攻才是正道。要了解学习大数据,如果是程序员,其 ...
分类:
其他好文 时间:
2018-09-30 11:25:14
阅读次数:
159
-----------------------MFS----------------------(1)分布式原理分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。简单来说,就是把一些分散的(分布在局域网内各个计算机上)共享文件夹,集合到一个文件夹内(虚拟共享文件夹)。对于用户来说,要访问这些共享文件夹
分类:
其他好文 时间:
2018-09-30 00:00:20
阅读次数:
257
简介:MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。常规特征:1、分层次的结构(目录树)2、存储POSIX文件属性(权限、最后访问和修改时间)3、支持特殊文件(块和字符设备、管道以及套接字)4、符号连接和硬连接5、对文件系统的访问可以通过IP地址和(或者)密码进行限制独有特征:1、高可靠(数据的多个拷贝被存储在不同的计算机
分类:
其他好文 时间:
2018-09-28 12:39:17
阅读次数:
379
hadoop2.0介绍 hadoop2.0 功能: HDFS:hadoop的分布式文件系统 运行架构:主从架构 主:namenode 一个 >管理 为解决单点故障添加助理 助理:secondarynamenode >帮助namenode备份数据 但是接替不了namenode的工作 从:datanod ...
分类:
其他好文 时间:
2018-09-28 12:37:29
阅读次数:
171
NFS(网络文件系统)它的主要功能是通过网络让不同的主机之间可以彼此共享文件或目录。在企业集群架构的工作场景中,NFS网络文件系统一般被用来存储共享视频,图片附件等静态资源文件(一般把网络用户上传的文件都放到NFS共享里),中小型企业都是用NFS大型企业会用MFS,GFS,FASTFS,TFS等分布式文件系统NFS挂载原理:同样的NFS挂载也是使用mount命令,格式如下:mount远端IP地址:
分类:
其他好文 时间:
2018-09-27 15:27:38
阅读次数:
189
一、MongoDB数据库的特点及安装MongoDB数据库的特点面向文档,模式自由json数据模式(bson)(可以初略理解为字典)多级引索高可用复制集水平扩展跨平台、多种语言接口弱事务类型大数据、高并发、弱事务的web2.0互联网应用。优点:弱一致性,文档格式存储方式,内置gridFS(分布式文件系统)缺点:不支持事务,空间占用大MongoDB数据库的安装安装:一路点击next,finish配置环
分类:
数据库 时间:
2018-09-24 11:25:10
阅读次数:
256
1、什么是hadoop hadoop中有3个核心组件: 分布式文件系统:HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架:MAPREDUCE —— 实现在很多机器上分布式并行运算 分布式资源调度平台:YARN —— 帮用户调度大量的mapreduce程序,并合理分配运算资源 ...
分类:
其他好文 时间:
2018-09-22 19:52:16
阅读次数:
169
hadoop入门(一) 一、概述 1.什么是hadoop hadoop不仅是一个用于存储分布式文件系统,还是设计用来在有通用计算设备组成的大型集群上执行的分布式应用的基础框架。 hadoop框架最核心的设计是mapreduce和HDFS 1.2为什么要选择hadoop 1)扩容:能可靠的处理和存储P ...
分类:
其他好文 时间:
2018-09-21 17:38:43
阅读次数:
216
mongo是啥东西? MongoDB 是由C++语言编写的,基于分布式文件存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。 gridfs是啥东西? MongoDB内置GridFS,支持大容量的存储。 GridFS是一个出色的分布式文件系统,可以支持海量的数据存储。这使得 ...
分类:
其他好文 时间:
2018-09-20 16:03:25
阅读次数:
212