Hadoop：离线计算Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS ...
分类：
其他好文 时间：
2018-07-26 19:51:08
阅读次数：
171
MFS原理MFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。MFS的组成管理服务器Master：负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝元数据日志服务器MetaLogger：负责备份master服务器的变化日志文件，文件类型为changelog_ml.*.mfs，以便于在master出问题的时候。从
分类：
其他好文 时间：
2018-07-26 18:44:00
阅读次数：
166
Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。下面详细介绍一下，学习Hadoop开发技术的路线图。Hadoop本身是用java开发的，所以对java的支持性非常
分类：
其他好文 时间：
2018-07-24 23:49:04
阅读次数：
235
一、题目描述 （1）请编写Spark应用程序，该程序可以在分布式文件系统HDFS中生成一个数据文件peopleage.txt，数据文件包含若干行（比如1000行，或者100万行等等）记录，每行记录只包含两列数据，第1列是序号，第2列是年龄。效果如下： （2）请编写Spark应用程序，对分布式文件系统 ...
分类：
其他好文 时间：
2018-07-22 20:46:48
阅读次数：
246
Hadoop生态圈 存储数据HDFS(Hadoop Distributed File System),运行在通用硬件上的分布式文件系统。具有高度容错性、高吞吐量的的特点。 处理数据MapReduce，它是一种编程模型，Map（映射）和Reduce（归约），它极大地方便了分布式并行编程，与hdfs的高 ...
分类：
其他好文 时间：
2018-07-22 17:09:14
阅读次数：
179
用通俗易懂的大白话讲解Map/Reduce原理 用通俗易懂的大白话讲解Map/Reduce原理 2014年03月31日 16:20:44 阅读数：150434 2014年03月31日 16:20:44 阅读数：150434 阅读数：150434 Hadoop简介Hadoop就是一个实现了Google ...
分类：
其他好文 时间：
2018-07-20 18:58:08
阅读次数：
156
初期： 单台服务器部署 web与数据库独立部署 动静分离-初期 数据库主从与查询缓存 七层负负载均衡和共享存储 中期： 数据库架构扩展 soa面向服务器架构 dns轮训与数据库全文索引 静态缓存服务器 分布式文件系统cdn 现在 弹性伸缩 微服务 nosql 内存化 异地容灾，应急方案 ...
分类：
Web程序 时间：
2018-07-17 00:12:37
阅读次数：
189
4. Hadoop相关配置及Executor环境变量的设置 4.1 Hadoop相关配置信息 默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下： 获取的配置信息包括： 将Amazon S3文件系统的AccessKeyId和SecretAccessK ...
分类：
其他好文 时间：
2018-07-15 23:13:01
阅读次数：
233
分布式文件系统HDFS 一:概述 1.HDFS设计目标 2.HDFS核心组件 3.HDFS副本机制 4.HDFS环境搭建 5.HDFS shell命令 java api 6.HDFS读写流程 7.HDFS优缺点 二: 思考:如何创建一个分布式文件系统 重点:文件以多副本的方式进行存储 缺点:文件不管 ...
分类：
其他好文 时间：
2018-07-15 19:45:09
阅读次数：
182
