码迷,mamicode.com
首页 >  
搜索关键字:hdfs 元数据管理    ( 5040个结果
sqoop数据迁移
1.1、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统; 导出数据:从Hadoop的文件系统中导出数据到关系数据库mysql等 1.2、sqoop1与 ...
分类:其他好文   时间:2020-05-31 19:30:40    阅读次数:69
优化技巧汇总_通用优化+Linux 优化+HDFS 优化+MapReduce 优化+HBase 优化+内存优化+JVM 优化+Zookeeper 优化
一、通用优化 1.1、NameNode 的元数据备份使用 SSD 1.2、定时备份 NameNode 上的元数据 建议每小时或者每天备份,如果数据极其重要,可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。 1.3、为 NameNode 指定多个元数据目录 使用 dfs.name.d ...
分类:系统相关   时间:2020-05-30 21:52:59    阅读次数:105
hadoop 数据处理 总结
最近工作中用了了Hadoop,比如用Hadoop来处理广告的一些pv量数据、点击数据等,最后统计后给运营展示每个广告的数据报表 首先自己了解了一些关于Hadoop的概念知识 hadoop平台提供了分布式存储(hdfs),分布式计算(mapredduce),任务调度(YARN)、对象存储(Ozone) ...
分类:其他好文   时间:2020-05-30 20:22:33    阅读次数:94
Sqoop从入门到实战
第1章 Sqoop 简介 Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递,可以将一个关系型数据库(例如:MySQL,Oracle,Postgres等)中的数据导入到 Hadoop 的 HDFS 中 ...
分类:其他好文   时间:2020-05-30 20:21:57    阅读次数:82
hive从入门到实战二
第4章 DDL数据定义 4.1 创建数据库 1)创建一个数据库,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2)避免要创建的数据库已经存在错误,增加 if not exist ...
分类:其他好文   时间:2020-05-30 19:43:40    阅读次数:64
Hadoop简介
Hadoop 简介: 两大核心:HDFS+MapReduce Hadoop1.0,Hadoop2.0 Linux:基础 shell,sudo Hadoop集群的部署与使用 先访问nameNode 存储DataNode JobTracker TaskTracker 分布式文件系统 伪分布式:就是吧名称 ...
分类:其他好文   时间:2020-05-29 17:44:12    阅读次数:71
Hive -- 原理篇
前言 一个简单的理解:把SQL的一些操作应用在hadoop的HDFS上面。 数据库与数据仓库 数据库:传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。 数据仓库:数据仓库系统的主要应用主要是OLAP(On-Line Analytical Processing),支持复杂的分 ...
分类:其他好文   时间:2020-05-28 23:08:21    阅读次数:62
初识HDFS(10分钟了解HDFS、NameNode和DataNode)
概览 首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件,为了降低文件丢失造成的错误,它会为每个小文件复制多个副本(默 ...
分类:其他好文   时间:2020-05-28 18:13:32    阅读次数:84
hadoop hdfs csv导入hive表
create table toys.test (id int, x0 double, x1 double, x2 double, x3 double) row format delimited fields terminated by ',' stored as textfile; 先在hive 数 ...
分类:其他好文   时间:2020-05-28 16:09:46    阅读次数:82
flink的架构
(1)flink的任务提交流程(无Dispatcher提交) 1、client向yarn提交application后,同时向HDFS上传flink的Jar包和配置。ResourceManager为application分配Container资源并通知对应的NodeManager启动Applicati ...
分类:其他好文   时间:2020-05-27 18:53:08    阅读次数:80
5040条   上一页 1 ... 22 23 24 25 26 ... 504 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!