hadoop HA搭建参考：https://www.cnblogs.com/NGames/p/11083640.html （本节：用不到YARN 所以可以不用考虑部署YARN部分） Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格 ...
分类：
其他好文 时间：
2019-06-30 09:17:07
阅读次数：
122
为什么要使用分布式文件系统呢？ 单机时代 初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。如果按不同类型再细分，可以在项目目录下再建立不同的子目录来区分。例如：resources\static\file、resources\stati ...
分类：
其他好文 时间：
2019-06-24 00:49:23
阅读次数：
104
TiDB在特来电的探索 一、 为什么研究TiDB 特来电大数据平台通过开源与自研相结合的方式,目前已经上线多套集群满足不同的业务需求.目前在大数据存储和计算方面主要使用了Hbase、Elasticsearch、Druid、Spark、Flink.大数据技术可谓是百花齐放,百花齐放 百家争鸣,不同的技 ...
分类：
数据库 时间：
2019-06-23 23:03:59
阅读次数：
272
分布式文件系统，它是一款开源的轻量级分布式系统 单机时代 初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。如果按不同类型再细分，可以在项目目录下再建立不同的子目录来区分。例如： resources\static\file、 resou ...
分类：
其他好文 时间：
2019-06-21 09:42:06
阅读次数：
99
分布式存储广泛应用于电视台、大型影视中心等广电企业，支持媒资共享、高速渲染合成、媒资归档、媒资数据容灾备份等应用。InfortrendEonStorCS分布式NAS存储采用自主研发底层RAID精简技术与中间层文件系统优化技术，通过上层分布式文件系统的优化整合，造就优于同类产品的高效性能和系统稳定性。不仅提供了高性能、大容量、良好的扩展性，同时还提供了极高的数据安全以及控制良好的TCO成本。从根本上
分类：
其他好文 时间：
2019-06-18 12:23:17
阅读次数：
110
1、概述 本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 2、基本概念 在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进 ...
分类：
其他好文 时间：
2019-06-17 14:11:28
阅读次数：
96
MFS是：具有容错功能的、高可用、可扩展的海量级分布式文件系统，把数据分布存储在多台服务器，对外提供统一访问入口；包含层级结构、文件属性，也可以创建特殊文件。分布式文件系统（DFS）：文件系统管理的物理存储资源不一定直接链接在本地节点，而是通过网络相连接的节点。MFS的优点：集中访问、简化操作、数据容灾、提高文件存取性能。MFS组成（角色）：元数据服务器（Master，存在单点故障）、元数据日志服
分类：
其他好文 时间：
2019-06-11 13:18:25
阅读次数：
144
一。 HDFS概念 1.1 概念 HDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 1.2 组成 1）HDFS集群包括，NameNode和DataNode以及Secondary Namen ...
分类：
其他好文 时间：
2019-06-11 09:15:49
阅读次数：
120
人大:第13讲市面上主流的分布式文件系统(FS):(Hadoop的)HDFS，(Google的)GFS数据服务与键值对数据库:数据服务:data serving 数据服务:数据的简单读写 数据库事务:也算一种数据服务，但属于mission-critical，较为复杂的数据服务数据服务起源:优化布局日 ...
分类：
数据库 时间：
2019-06-09 00:43:45
阅读次数：
136
学习大数据必先学习Hadoop，因为它是目前世界上最流行的分布式数据处理框架、Hadoop是一个用于分布式大数据处理的编程框架 一、Hadoop介绍 1、开源大数据框架2、分布式计算的解决方案3、Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算） Hadoop的构造模块 Na ...
分类：
其他好文 时间：
2019-06-06 22:57:16
阅读次数：
119
