Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括ZooKeeper，Pig，Chukwa，Hive，Hbase，Mahout，flume等. ...
分类：
其他好文 时间：
2019-06-30 16:00:41
阅读次数：
116
hadoop HA搭建参考：https://www.cnblogs.com/NGames/p/11083640.html （本节：用不到YARN 所以可以不用考虑部署YARN部分） Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格 ...
分类：
其他好文 时间：
2019-06-30 09:17:07
阅读次数：
122
高可靠设计，Etcd 集群，Kubernetes 三主节点，保证集群的高可用性。 基于 GlusterFS /nfs集群，在生产环境和非生产环境下提供存储卷服务。 Flannel+VXLAN，提供可靠的网络服务。 提供分布式监控和统一日志中心，全方位的应用监管能力。 支持 Redis/ZooKeep ...
分类：
其他好文 时间：
2019-06-29 10:58:38
阅读次数：
114
为什么要使用分布式文件系统呢？ 单机时代 初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。如果按不同类型再细分，可以在项目目录下再建立不同的子目录来区分。例如：resources\static\file、resources\stati ...
分类：
其他好文 时间：
2019-06-24 00:49:23
阅读次数：
104
TiDB在特来电的探索 一、 为什么研究TiDB 特来电大数据平台通过开源与自研相结合的方式,目前已经上线多套集群满足不同的业务需求.目前在大数据存储和计算方面主要使用了Hbase、Elasticsearch、Druid、Spark、Flink.大数据技术可谓是百花齐放,百花齐放 百家争鸣,不同的技 ...
分类：
数据库 时间：
2019-06-23 23:03:59
阅读次数：
272
分布式文件系统，它是一款开源的轻量级分布式系统 单机时代 初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。如果按不同类型再细分，可以在项目目录下再建立不同的子目录来区分。例如： resources\static\file、 resou ...
分类：
其他好文 时间：
2019-06-21 09:42:06
阅读次数：
99
分布式存储广泛应用于电视台、大型影视中心等广电企业，支持媒资共享、高速渲染合成、媒资归档、媒资数据容灾备份等应用。InfortrendEonStorCS分布式NAS存储采用自主研发底层RAID精简技术与中间层文件系统优化技术，通过上层分布式文件系统的优化整合，造就优于同类产品的高效性能和系统稳定性。不仅提供了高性能、大容量、良好的扩展性，同时还提供了极高的数据安全以及控制良好的TCO成本。从根本上
分类：
其他好文 时间：
2019-06-18 12:23:17
阅读次数：
110
1、概述 本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。 2、基本概念 在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进 ...
分类：
其他好文 时间：
2019-06-17 14:11:28
阅读次数：
96
一、快速部署GlusterFS 1.前期环境的准备 因为做实验我用的是VMware ，最少准备3台虚拟机，2台用来做服务端，1台用来做客户端，服务端的配置（1C2G，硬盘最少2块），客户端（1C2G）本人用自己的机子，大家可以按照自己的实际情况来配置。 首先我把两台服务端的虚拟机的主机名改成了nod ...
分类：
其他好文 时间：
2019-06-13 22:18:22
阅读次数：
199
MFS是：具有容错功能的、高可用、可扩展的海量级分布式文件系统，把数据分布存储在多台服务器，对外提供统一访问入口；包含层级结构、文件属性，也可以创建特殊文件。分布式文件系统（DFS）：文件系统管理的物理存储资源不一定直接链接在本地节点，而是通过网络相连接的节点。MFS的优点：集中访问、简化操作、数据容灾、提高文件存取性能。MFS组成（角色）：元数据服务器（Master，存在单点故障）、元数据日志服
分类：
其他好文 时间：
2019-06-11 13:18:25
阅读次数：
144
