什么是大数据？举例：1、商品推荐：问题：（1）大量的订单如何存储？（2）大量的订单如何计算？2、天气预报：问题：（1）大量的天气数据如何存储？（2）大量的天气数据如何计算？如果你想要学好大数据最好加入一个好的学习环境，可以来这个Q群251956502这样大家学习的话就比较方便，还能够共同交流和分享资料什么是大数据，本质？（1）数据的存储：分布式文件系统（分布式存储）（2）数据的计算：分布式计算Ja
分类：
其他好文 时间：
2019-07-15 15:58:47
阅读次数：
116
Hadoop的背景起源二：MapReduce 一、什么是大数据，本质？ （1）数据的存储：分布式文件系统（分布式存储） > HDFS: Hadoop Distributed File System （2）数据的计算：分布式计算 二、如何解决大数据的计算？分布式计算 （1）什么是PageRank(Ma ...
分类：
其他好文 时间：
2019-07-12 11:24:48
阅读次数：
91
一、HDFS是一个分布式文件系统 体系架构： hdfs主要包含了3部分，namenode、datanode和secondaryNameNode namenode主要作用和运行方式： 1）管理hdfs的元数据信息，文件名字，大小，切成几块，有几个副本，切成块和副本分别存储在datanode的位置，块i ...
分类：
其他好文 时间：
2019-07-10 12:20:30
阅读次数：
130
MTW881U3Z5-eyJsaWNlbnNlSWQiOiJNVFc4ODFVM1o1IiwibGljZW5zZWVOYW1lIjoiTnNzIEltIiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGl ...
分类：
其他好文 时间：
2019-07-07 14:37:16
阅读次数：
115
一般情况下windows网络共享与samba用户局域网网络共享.互联网中小型网站集群架构后端常用NFS进行数据共享.大型网站会用到更复杂的Moosefs(mfs)(小文件)GlusterFS(大文件)FastDFS(小文件).自行学习三个主服务rpc.nfsrpcbindrpc服务端1.yuminstall-ynfs-utils自动创建nfs-nobody2.开启rpcbind开启nfs加入开机启
分类：
其他好文 时间：
2019-07-04 09:47:40
阅读次数：
132
FastDFS分布式文件系统 1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传 ...
分类：
其他好文 时间：
2019-07-02 19:02:10
阅读次数：
96
FastDFS分布式文件系统 github地址：https://github.com/happyfish100 FastDFS 介绍 FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合 ...
分类：
其他好文 时间：
2019-07-01 10:36:23
阅读次数：
144
第一节：hdfs简介 用于海量数据存储的，就是一个文件系统，分布式文件系统。 hadoop distributed filesystem 第二节：设计思想 一、分而治之 将超级大的文件切分成每一个小文件（数据块）进行存储在不同的节点上。同时切分的数据块太大了，容易造成集群中节点的存储的负载不均衡。太 ...
分类：
其他好文 时间：
2019-06-30 20:44:39
阅读次数：
147
技术栈 SpringBoot fastDFS Vue.js 文件系统 FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4等 文件系统属于操作系统的一部分 分布式文件系统：分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接 ...
分类：
其他好文 时间：
2019-06-30 19:23:12
阅读次数：
144
Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. ...
分类：
其他好文 时间：
2019-06-30 16:00:41
阅读次数：
116
