4. Hadoop相关配置及Executor环境变量的设置 4.1 Hadoop相关配置信息 默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下： 获取的配置信息包括： 将Amazon S3文件系统的AccessKeyId和SecretAccessK ...
分类：
其他好文 时间：
2018-07-15 23:13:01
阅读次数：
233
分布式文件系统HDFS 一:概述 1.HDFS设计目标 2.HDFS核心组件 3.HDFS副本机制 4.HDFS环境搭建 5.HDFS shell命令 java api 6.HDFS读写流程 7.HDFS优缺点 二: 思考:如何创建一个分布式文件系统 重点:文件以多副本的方式进行存储 缺点:文件不管 ...
分类：
其他好文 时间：
2018-07-15 19:45:09
阅读次数：
182
下载地址： "网盘下载" 《高可用性的HDFS:Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统（HDFS）的主流HA解决方案，内容包括：HDFS元数据解析、Hadoop元数据备份方案、Hadoop Backup Node方案、AvatarNode解决方案以及最新的HA解决方案C ...
分类：
其他好文 时间：
2018-07-14 18:25:14
阅读次数：
146
Hadoop是一个利用大规模计算机集群，可处理大量数据的分布式并行框架。 "Hadoop 官网" Hadoop的核心设计包括HDFS和MapReduce。 HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统。 主要特点：1.高容错性；2.高吞吐量访 ...
分类：
其他好文 时间：
2018-07-13 23:20:10
阅读次数：
194
Hadoop是一个利用大规模计算机集群，可处理大量数据的分布式并行框架。 "Hadoop 官网" Hadoop的核心设计包括HDFS和MapReduce。 HDFS HDFS(Hadoop Distributed File System)是一种分布式文件系统。 主要特点：1.高容错性；2.高吞吐量访 ...
分类：
其他好文 时间：
2018-07-13 23:18:54
阅读次数：
193
Ceph基本情况的介绍 Ceph是一个分布式存储软件。 它支持用3种方式存储数据，分别是：对象存储、块设备存储、分布式文件系统存储。 Ceph最初的目标是做一个分布式文件系统，直到现在这个目标也不能算完美实现，目前官网上对它的文件系统还是谨慎推荐的态度（不建议对线上核心业务部署），业界使用 Ceph ...
分类：
其他好文 时间：
2018-07-11 17:56:19
阅读次数：
152
Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。 Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。 Hadoop的核心是分布式文件系统（Hadoop Distributed ...
分类：
其他好文 时间：
2018-07-11 15:10:35
阅读次数：
311
kubernetes中部署Heketi和GlusterFS(二)在上一节中，Heketi的部署方式还不能用于生产环境，因为HeketiPod的数据并没有持久化，容易导致heketi的数据丢失，Heketi的数据保存在/var/lib/heketi/heketi.db文件中，因此需要把此目录挂载到GlusterFS分布式存储中。按照上一节的步骤，执行heketi-clitopologyload--j
分类：
Web程序 时间：
2018-07-09 19:24:30
阅读次数：
418
GlusterFS是一个开源的横向扩展文件系统。这些示例提供有关如何允许容器使用GlusterFS卷的信息。
分类：
Web程序 时间：
2018-07-09 16:36:01
阅读次数：
368
博客内容来自我啃的Hadoop权威指南，记录一下帮助自己理一下思路 一、文件读取 步骤1，客户端通过调用 FileSystem 对象的 open() 方法来打开想读取的文件，对于 HDFS 来说，这个对象是分布式文件系统（DistributedFileSystem）的一个实例 步骤2，Distrib ...
分类：
其他好文 时间：
2018-07-08 21:16:38
阅读次数：
246
