大数据正在爆炸式增长，每天都有来自世界各地的公司涌现出新的项目。好消息是，所有技术都是开源的，可供您今天开始采用。Hadoop稳固，企业实力和其他一切的基础。您需要YARN和HDFS以及Hadoop的基础架构作为主要数据存储并运行关键的大数据服务器和应用程序Spark易于使用，支持所有重要的大数据语言（Scala，Python，Java，R），一个庞大的生态系统，快速增长，易于微缩/批处理/SQL
分类：
其他好文 时间：
2019-06-14 19:55:58
阅读次数：
109
HDFS高可用性Hadoop HDFS 的两大问题：NameNode单点：虽然有StandbyNameNode，但是冷备方案，达不到高可用--阶段性的合并edits和fsimage，以缩短集群启动的时间--当NameNode失效的时候，Secondary NN并无法立刻提供服务，Secondary ...
分类：
Web程序 时间：
2019-06-14 18:22:47
阅读次数：
298
简述 HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错 ...
分类：
其他好文 时间：
2019-06-14 12:51:16
阅读次数：
114
修改hosts 创建用户 sudo授权 切换用户 下载解压 创建工作目录 添加环境变量 hadoop/ 修改配置文件 格式化hdfs 启动hdfs/ Yarn 查看启动状态 浏览器查看 [http://mo.don.com:9870]: [http://mo.don.com:8088]: ...
分类：
其他好文 时间：
2019-06-14 12:41:55
阅读次数：
88
请参考上一个链接地址：hdfs为什么不擅长存储大量小文件https://blog.51cto.com/12445535/2354951概述：namenodereplication（复制）复制默认块复制因子（dfs.replication）为3。复制影响磁盘空间但不影响内存消耗。复制会更改每个块所需的存储量，但不会更改块的数量。如果DataNode上的一个块文件（由NameNode上的一个块表示）被
分类：
其他好文 时间：
2019-06-12 16:31:40
阅读次数：
256
目录 大数据 大数据的行业与技术趋势 大数据学习路线 FusionInsight大数据开发学习总结（1） FusionInsight大数据开发 HDFS应用开发（2） 软件设计 软考知识分析 面向对象设计-自查 计算机组成原理和体系结构—自查 自检!!!操作系统基本原理 软考自查!!!数据库系统 软 ...
分类：
其他好文 时间：
2019-06-12 13:53:18
阅读次数：
152
端口用途9000fs.defaultFS，如：hdfs://172.25.40.171:90009001dfs.namenode.rpc-address，DataNode会连接这个端口50070dfs.namenode.http-address50470dfs.namenode.https-addr ...
分类：
其他好文 时间：
2019-06-11 22:18:53
阅读次数：
198
SNN是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间，SNN进程默认运行在 namenode 机器上，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，因此最佳方式是将SNN进程配置在另外一台机器上运行。 在hadoop中，namen ...
分类：
其他好文 时间：
2019-06-11 22:17:14
阅读次数：
234
HDFS安装-完全分布式 1、 先决条件 a) 三台机器（以上） b) 每台机器时间一致，相差30秒以内。 c) 必须有主机名和ip映射。 d) 必须有JDK1.7,并且JDK的环境变量必须配置好。 i. rpm -ivh jdk-7u79-linux-x64.rpm 安装jdk ii. 配置环境变 ...
分类：
其他好文 时间：
2019-06-11 20:56:09
阅读次数：
174
一。 HDFS概念 1.1 概念 HDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 1.2 组成 1）HDFS集群包括，NameNode和DataNode以及Secondary Namen ...
分类：
其他好文 时间：
2019-06-11 09:15:49
阅读次数：
120
