码迷,mamicode.com
首页 >  
搜索关键字:HDFS    ( 4980个结果
关于hive核心
一、DDL数据定义 1、创建数据库 1)创建一个数据库,数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2)避免要创建的数据库已经存在错误,增加 if not exists ...
分类:其他好文   时间:2021-07-26 16:38:58    阅读次数:0
使用Java API之副本系数深度剖析
问题描述: (1)使用Java API创建HDFS文件并写入内容的副本系数为3 (2)使用命令上传至HDFS中的文件副本数为1:举例[hadoop@hadoop000 software]$ hadoop fs -put jdk-8u91-linux-x64.tar.gz / 问题回答: (1)使用J ...
分类:编程语言   时间:2021-07-05 16:38:12    阅读次数:0
Hadoop - 彻底解决警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
运行 HDFS 命令,总是出现恼人的 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”... ...
分类:其他好文   时间:2021-07-02 16:04:09    阅读次数:0
HDFS01 概述
HDFS 概述 HDFS的产生背景和定义 HDFS产生背景 解决海量数据的存储问题 需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 HDFS定义 HDFS(Hadoop Distributed File System),它是一个文件系统,用于 ...
分类:其他好文   时间:2021-06-30 17:40:30    阅读次数:0
Hadoop复习-常用的HDFS操作
1、列出子目录或子文件 hdfs dfs -ls +路径 2、创建目录(-p表示父目录都会创建) hdfs dfs -mkdir -p /001/mydemo/x/y/z hdfs dfs -mkdir /001/mydemo3 /001/mydemo4 /001/mydemo5 3、列出文件夹中的 ...
分类:其他好文   时间:2021-06-28 21:04:34    阅读次数:0
Hadoop期末复习(第二章)
第二章.HDFS 1.大数据的两个核心技术 2.HDFS设计目标 3.HDFS自身的局限性 4.HDFS采用块设计以及采用块设计的好处 5.HDFS组成架构 6.元数据信息被持久化到磁盘分为哪两个文件 7.第二名称节点的作用 8.名称节点,数据节点的功能 待补充 9.副本机制、数据容错机制、心跳机制 ...
分类:其他好文   时间:2021-06-28 20:29:20    阅读次数:0
Flume实战案例 -- 采集某个目录到HDFS
需求分析 采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到HDFS中去 结构示意图: 根据需求,首先定义以下3大要素 数据源组件,即source ——监控文件目录 : spooldir spooldir特性: 1、监视一个目录,只要目录中出现新文件,就会采集 ...
分类:Web程序   时间:2021-06-20 17:55:46    阅读次数:0
linux中sqoop部署以及实现mysql数据导入hive
Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据 ...
分类:数据库   时间:2021-06-19 19:26:27    阅读次数:0
利用sqoop将hive数据导入导出数据到mysql
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题:sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOME到环境变量中。sqo ...
分类:数据库   时间:2021-06-19 19:24:57    阅读次数:0
HDFS的读写流程
HDFS的读取过程 HDFS的读取流程大致有以下几个步骤: (1)客户端通过调用FileSystem对象的open()来打开希望读取的文件。对于HDFS平台来说,这个对象是DistributedFileSystem类的是一个实例,所以实际调用的是DistributedFileSystem对象的ope ...
分类:其他好文   时间:2021-06-19 18:42:26    阅读次数:0
4980条   1 2 3 4 ... 498 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!