Hadoop的背景起源二：MapReduce 一、什么是大数据，本质？ （1）数据的存储：分布式文件系统（分布式存储） > HDFS: Hadoop Distributed File System （2）数据的计算：分布式计算 二、如何解决大数据的计算？分布式计算 （1）什么是PageRank(Ma ...
分类：
其他好文 时间：
2019-07-12 11:24:48
阅读次数：
91
一、HDFS是一个分布式文件系统 体系架构： hdfs主要包含了3部分，namenode、datanode和secondaryNameNode namenode主要作用和运行方式： 1）管理hdfs的元数据信息，文件名字，大小，切成几块，有几个副本，切成块和副本分别存储在datanode的位置，块i ...
分类：
其他好文 时间：
2019-07-10 12:20:30
阅读次数：
130
FastDFS分布式文件系统 1. 什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传 ...
分类：
其他好文 时间：
2019-07-02 19:02:10
阅读次数：
96
FastDFS分布式文件系统 github地址：https://github.com/happyfish100 FastDFS 介绍 FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合 ...
分类：
其他好文 时间：
2019-07-01 10:36:23
阅读次数：
144
第一节：hdfs简介 用于海量数据存储的，就是一个文件系统，分布式文件系统。 hadoop distributed filesystem 第二节：设计思想 一、分而治之 将超级大的文件切分成每一个小文件（数据块）进行存储在不同的节点上。同时切分的数据块太大了，容易造成集群中节点的存储的负载不均衡。太 ...
分类：
其他好文 时间：
2019-06-30 20:44:39
阅读次数：
147
技术栈 SpringBoot fastDFS Vue.js 文件系统 FAT16/FAT32、NTFS、HFS、UFS、APFS、XFS、Ext4等 文件系统属于操作系统的一部分 分布式文件系统：分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接 ...
分类：
其他好文 时间：
2019-06-30 19:23:12
阅读次数：
144
Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. ...
分类：
其他好文 时间：
2019-06-30 16:00:41
阅读次数：
116
hadoop HA搭建参考：https://www.cnblogs.com/NGames/p/11083640.html （本节：用不到YARN 所以可以不用考虑部署YARN部分） Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格 ...
分类：
其他好文 时间：
2019-06-30 09:17:07
阅读次数：
122
为什么要使用分布式文件系统呢？ 单机时代 初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。如果按不同类型再细分，可以在项目目录下再建立不同的子目录来区分。例如：resources\static\file、resources\stati ...
分类：
其他好文 时间：
2019-06-24 00:49:23
阅读次数：
104
TiDB在特来电的探索 一、 为什么研究TiDB 特来电大数据平台通过开源与自研相结合的方式,目前已经上线多套集群满足不同的业务需求.目前在大数据存储和计算方面主要使用了Hbase、Elasticsearch、Druid、Spark、Flink.大数据技术可谓是百花齐放,百花齐放 百家争鸣,不同的技 ...
分类：
数据库 时间：
2019-06-23 23:03:59
阅读次数：
272
