上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》,本文将简单介绍如何通过sqoop把hive数据导入到mysql。一. 前期准备 实践本文内容,默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题,可以参考《 linu ...
分类:
数据库 时间:
2021-06-19 19:26:08
阅读次数:
0
发展: hive-cli(hive) 是hive连接hivesever的命令行工具,从hive出生就一直存在,但随着hive功能的增强、bug的修复、版本升级,hive-cli结构的局限性跟不上hive的发展,如果强行更改就不能满足向下兼容,就出现了全新的beeline命令行结构,即就是hive-c ...
分类:
其他好文 时间:
2021-06-19 19:08:02
阅读次数:
0
Hive列转行: select school,concat_ws('|',collect_set(name)) as name from tmp_01 group by school; 注意:collect_set 有重复的会去重, collect_list 有重复的不去重 hive行转列: sel ...
分类:
其他好文 时间:
2021-06-19 19:05:46
阅读次数:
0
左表和右表两张表 left join : 左表全部和右表的交集 join : 左表和右表的交集 right join : 右表全部和交集部分 ...
分类:
数据库 时间:
2021-06-19 19:03:48
阅读次数:
0
一、如何执行 ./adapter.sh 20211121 'importdata.sh|!DATE' adapter.sh:适配器脚本 20201121:适配器脚本参数1,执行日期 'importdata.sh|!DATE':适配器脚本参数2,具体需要执行的脚本和参数,以|分隔,多个参数也以|分隔 ...
分类:
系统相关 时间:
2021-06-19 18:59:41
阅读次数:
0
1、切换到下载目录,下载postgresql(此处我的文件下载到了download文件夹) cd /download wget {下载路径}(时间太久下载地址已经找不到了,可去官网查看,此处以此版本为例:postgresql-12.2.tar.bz2) 2、解压 tar -xjvf /downloa ...
分类:
数据库 时间:
2021-06-19 18:52:34
阅读次数:
0
# Linux 基础指令 vi打开文件 ls列出目录内容 cd -返回之前目录(不一定是上一级目录)cd 。。才是返回上一级 mkdir创建文件夹 mkdir -p递归创建文件夹 cp复制空文件 cp-r连内部文件一起复制 -p(保留文件属性如时间。。。) mv剪切没有这样的限制 vi /etc/s ...
分类:
系统相关 时间:
2021-06-19 18:44:14
阅读次数:
0
在实现分库分表的情况下,数据库自增主键已经无法保证在集群中是全局唯一的主键了,因此mycat提供了全局的sequence,并且提供了本地配置、数据库配置等多种实现方式。 1. 本地文件方式 采用该方式,mycat将sequence配置到classpath目录的sequence_conf.proper ...
分类:
其他好文 时间:
2021-06-19 18:40:35
阅读次数:
0
我的宿机是Mint20,所有使用linux的命令启用VT-x/AMD-V linux启用方式 在宿机上执行命令列出所有虚机 ~$ VBoxManage list vms "centos7-1" {ec49b90a-fd46-402d-bce6-d73f0b889c9b} "centos7-2" {f ...
分类:
其他好文 时间:
2021-06-18 19:55:56
阅读次数:
0
方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景: 适用于数据量较少的情况(元组百/千级) 原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2, ...
分类:
数据库 时间:
2021-06-18 19:51:23
阅读次数:
0