用通俗易懂的大白话讲解Map/Reduce原理 用通俗易懂的大白话讲解Map/Reduce原理 2014年03月31日 16:20:44 阅读数：150434 2014年03月31日 16:20:44 阅读数：150434 阅读数：150434 Hadoop简介Hadoop就是一个实现了Google ...
分类：
其他好文 时间：
2018-07-20 18:58:08
阅读次数：
156
初期： 单台服务器部署 web与数据库独立部署 动静分离-初期 数据库主从与查询缓存 七层负负载均衡和共享存储 中期： 数据库架构扩展 soa面向服务器架构 dns轮训与数据库全文索引 静态缓存服务器 分布式文件系统cdn 现在 弹性伸缩 微服务 nosql 内存化 异地容灾，应急方案 ...
分类：
Web程序 时间：
2018-07-17 00:12:37
阅读次数：
189
4. Hadoop相关配置及Executor环境变量的设置 4.1 Hadoop相关配置信息 默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下： 获取的配置信息包括： 将Amazon S3文件系统的AccessKeyId和SecretAccessK ...
分类：
其他好文 时间：
2018-07-15 23:13:01
阅读次数：
233
分布式文件系统HDFS 一:概述 1.HDFS设计目标 2.HDFS核心组件 3.HDFS副本机制 4.HDFS环境搭建 5.HDFS shell命令 java api 6.HDFS读写流程 7.HDFS优缺点 二: 思考:如何创建一个分布式文件系统 重点:文件以多副本的方式进行存储 缺点:文件不管 ...
分类：
其他好文 时间：
2018-07-15 19:45:09
阅读次数：
182
下载地址： "网盘下载" 《高可用性的HDFS:Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统（HDFS）的主流HA解决方案，内容包括：HDFS元数据解析、Hadoop元数据备份方案、Hadoop Backup Node方案、AvatarNode解决方案以及最新的HA解决方案C ...
分类：
其他好文 时间：
2018-07-14 18:25:14
阅读次数：
146
Hadoop是一个利用大规模计算机集群，可处理大量数据的分布式并行框架。 "Hadoop 官网" Hadoop的核心设计包括HDFS和MapReduce。 HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统。 主要特点：1.高容错性；2.高吞吐量访 ...
分类：
其他好文 时间：
2018-07-13 23:20:10
阅读次数：
194
Hadoop是一个利用大规模计算机集群，可处理大量数据的分布式并行框架。 "Hadoop 官网" Hadoop的核心设计包括HDFS和MapReduce。 HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统。 主要特点：1.高容错性；2.高吞吐量访 ...
分类：
其他好文 时间：
2018-07-13 23:18:54
阅读次数：
193
Ceph基本情况的介绍 Ceph是一个分布式存储软件。 它支持用3种方式存储数据，分别是：对象存储、块设备存储、分布式文件系统存储。 Ceph最初的目标是做一个分布式文件系统，直到现在这个目标也不能算完美实现，目前官网上对它的文件系统还是谨慎推荐的态度（不建议对线上核心业务部署），业界使用 Ceph ...
分类：
其他好文 时间：
2018-07-11 17:56:19
阅读次数：
152
Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。 Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。 Hadoop的核心是分布式文件系统（Hadoop Distributed ...
分类：
其他好文 时间：
2018-07-11 15:10:35
阅读次数：
311
博客内容来自我啃的Hadoop权威指南，记录一下帮助自己理一下思路 一、文件读取 步骤1，客户端通过调用 FileSystem 对象的 open() 方法来打开想读取的文件，对于 HDFS 来说，这个对象是分布式文件系统（DistributedFileSystem）的一个实例 步骤2，Distrib ...
分类：
其他好文 时间：
2018-07-08 21:16:38
阅读次数：
246
