设置SSH免密钥 关于ssh免密码的设置，要求每两台主机之间设置免密码，自己的主机与自己的主机之间也要求设置免密码。 这项操作可以在admin用户下执行，执行完毕公钥在/home/admin/.ssh/id_rsa.pub node1与node2为namenode节点要相互免秘钥 HDFS的HA n ...
分类：
其他好文 时间：
2019-06-10 00:15:15
阅读次数：
120
在Hadoop中，有一些命名不好的模块，Secondary NameNode是其中之一。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不是。很多Hadoop的初学者都很疑惑，Secondary NameNode究竟是做什么的，而且它为什么会出现在HDFS中。 从它的名字来看， ...
分类：
其他好文 时间：
2019-06-09 23:43:00
阅读次数：
125
什么是Hive Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序 1）Hive 处理的数据存储在 HDFS ...
分类：
其他好文 时间：
2019-06-09 09:28:32
阅读次数：
88
人大:第13讲市面上主流的分布式文件系统(FS):(Hadoop的)HDFS，(Google的)GFS数据服务与键值对数据库:数据服务:data serving 数据服务:数据的简单读写 数据库事务:也算一种数据服务，但属于mission-critical，较为复杂的数据服务数据服务起源:优化布局日 ...
分类：
数据库 时间：
2019-06-09 00:43:45
阅读次数：
136
2.1 Hadoop概论 创始人：Doug Cutting 1.简介： 开源免费; 操作简单，极大降低使用的复杂性; Hadoop是Java开发的; 在Hadoop上开发应用支持多种编程语言、不限于Java； Hadoop两大核心：HDFS+MapReduce HDFS：海量数据存储 MapRedu ...
分类：
其他好文 时间：
2019-06-08 17:33:27
阅读次数：
104
hadoophdfs 1. HDFS写流程 2. HDFS写流程 1. HDFS写流程 HDFS写流程 副本存放策略: 上传的数据块后,触发一个新的线程,进行存放。 第一个副本:与client最近的机器(基于性能考虑) 第二个副本:跨机器存放该副本(考虑数据安全性) 第三个副本:与第一个，第二个副本 ...
分类：
其他好文 时间：
2019-06-08 01:01:44
阅读次数：
90
首次使用Hadoop时，格式化文件系统命令：hdfs namenode -format 启动HDFS：start-dfs.sh 启动YARN：start-all.sh start-all.sh等价于start-dfs.sh + start-yarn.sh ...
分类：
其他好文 时间：
2019-06-07 17:54:24
阅读次数：
90
学习大数据必先学习Hadoop，因为它是目前世界上最流行的分布式数据处理框架、Hadoop是一个用于分布式大数据处理的编程框架 一、Hadoop介绍 1、开源大数据框架2、分布式计算的解决方案3、Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算） Hadoop的构造模块 Na ...
分类：
其他好文 时间：
2019-06-06 22:57:16
阅读次数：
119
1.导入数据（将mysql（rdbms）的表的数据导入到hdfs） 1.1.全部导入（注意空格） 1.2.查询导入 注意：sql语句的末尾必须加上$CONDITIONS 1.3.导入指定的列 提示:：columns中如果涉及到多列时，用逗号分割，分割时不要添加空格 1.4.使用sqoop关键字筛选查 ...
分类：
其他好文 时间：
2019-06-06 21:16:41
阅读次数：
139
在介绍HDFS读写流程时，先介绍下Block副本放置策略。 Block副本放置策略 第一个副本：放置在上传文件的DataNode；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。 第二个副本：放置在与第一个副本不同的机架的节点上。 第三个副本：与第二个副本相同机架的节点。 更多副本： ...
分类：
其他好文 时间：
2019-06-06 09:32:22
阅读次数：
115
