码迷,mamicode.com
首页 >  
搜索关键字:hdfs    ( 4578个结果
Hdfs的HA高可用
1、Hdfs的HA高可用:保证Hdfs高可用,其实就是保证namenode的高可用,保证namenode的高可用的机制有两个,editlog共享机制+ZKFC。ZKFC就是ZookeeperFailOverController,即zookeeper故障转移控制器。 2、nameNode的高可用机制: ...
分类:其他好文   时间:2019-12-06 09:15:11    阅读次数:11
为什么不建议在 HBase 中使用过多的列族
我们知道,一张 HBase 表包含一个或多个列族。HBase 的官方文档中关于 HBase 表的列族的个数有两处描述:A typical schema has between 1 and 3 column families per table. HBase tables should not be ...
分类:其他好文   时间:2019-12-05 13:27:11    阅读次数:13
HDFS原理概念扫盲
1、概述 hdfs文件系统主要设计为了存储大文件的文件系统;如果有个TB级别的文件,我们该怎么存储呢?分布式文件系统未出现的时候,一个文件只能存储在个服务器上,可想而知,单个服务器根本就存储不了这么大的文件;退而求其次,就算一个服务器可以存储这么大的文件,你如果想打开这个文件,效率会高吗 hdfs的 ...
分类:其他好文   时间:2019-12-05 01:35:40    阅读次数:26
格式化hdfs以及namnode没启动
先stop-all.sh 删除hdfs-site.xml中的这两个目录 然后删除core-site.xml 中的这个目录 然后格式化hdfs hdfs namenode -format 即可启动成功 注意:顺序不要错,很多人namnode起不来都是顺序错了 ...
分类:其他好文   时间:2019-12-04 19:59:58    阅读次数:12
Hive知识点
1、Hive是一种建立在Hadoop文件系统上的数据仓库架构,并对存储在HDFS中的数据进行分析和管理;(也就是说对存储在HDFS中的数据进行分析和管理,我们不想使用手工,我们建立一个工具把,那么这个工具就可以是hive) 2、 hive建表语法中的分隔符设定ROW FORMAT DELIMITED ...
分类:其他好文   时间:2019-12-04 10:35:57    阅读次数:15
HDFS常用命令
(1)列出HDFS下的文件 hadoop dfs -ls <目录> (2)上传文件 将Linux系统本地文件上传到HDFS中 hadoop dfs -put <本地文件> <HDFS文件> (3)下载文件 将HDFS 中的文件下载到Linux系统本地目录 hadoop dfs -get <HDFS文 ...
分类:其他好文   时间:2019-12-03 21:45:49    阅读次数:17
Hadoop3.2.0+Centos7三节点完全分布式安装配置
一、环境准备 ①准备三台虚拟机,配置静态IP ②先修改主机名(每个节点统一命名规范) vim /etc/hostname master #重启生效 配置DNS每个节点 vim /etc/hosts 192.168.60.121 master192.168.60.122 salve1 192.168. ...
分类:其他好文   时间:2019-12-03 18:08:46    阅读次数:19
基于Hadoop3.1.2集群的Hive3.1.2安装(有不少坑)
1. 前置条件: 已经安装好了带有HDFS, MapReduce, Yarn 功能的 Hadoop集群 链接: "ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建" 2. 上传tar包并解压到指定目录: 3. 修改hive配置文件: 新建文件夹 ...
分类:其他好文   时间:2019-12-02 13:51:54    阅读次数:44
使用sqoop将mysql数据导入到hive中
首先准备工具环境:hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表: 接下来就可以操作了。。。 一、将MySQL数据导入到hdfs 首先我测试将zhaopin表中的前100条数据导出来,只要id、jobname、salarylevel三个字段。 再Hdfs上创 ...
分类:数据库   时间:2019-12-01 17:03:39    阅读次数:21
【转帖】Kafka入门介绍
Kafka入门介绍 https://www.cnblogs.com/swordfall/p/8251700.html最近在看hdoop的hdfs 以及看了下kafka的底层存储,发现分布式的技术基本上都是相同的。 都是通过增加一个coordinator的节点作为存储元数据, 将实体数据放到datan ...
分类:其他好文   时间:2019-12-01 09:52:12    阅读次数:23
4578条   1 2 3 4 ... 458 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!