上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》，本文将简单介绍如何通过sqoop把hive数据导入到mysql。一. 前期准备 实践本文内容，默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题，可以参考《 linu ...
分类：
数据库 时间：
2021-06-19 19:26:08
阅读次数：
0
原理模型 准备工作 查看是否安装成功 查看 keepalived配置文件 查看keepalived.conf配置文件 //查看服务器网卡 检测脚本配置 ...
分类：
其他好文 时间：
2021-06-19 19:23:54
阅读次数：
0
准备：1. 规划3个集群节点:hosts主机都已经配置好映射，映射主机名分别为master,slave1,slave2,且已经进行ssh免密配置，确保端口互通，防火墙关闭 2. 先安装好scala(参考：https://www.cnblogs.com/sea520/p/13518158.html) ...
分类：
其他好文 时间：
2021-06-19 19:11:31
阅读次数：
0
一、如何执行 ./adapter.sh 20211121 'importdata.sh|!DATE' adapter.sh：适配器脚本 20201121：适配器脚本参数1，执行日期 'importdata.sh|!DATE'：适配器脚本参数2，具体需要执行的脚本和参数，以|分隔，多个参数也以|分隔 ...
分类：
系统相关 时间：
2021-06-19 18:59:41
阅读次数：
0
1、切换到下载目录，下载postgresql（此处我的文件下载到了download文件夹） cd /download wget {下载路径}(时间太久下载地址已经找不到了，可去官网查看，此处以此版本为例：postgresql-12.2.tar.bz2) 2、解压 tar -xjvf /downloa ...
分类：
数据库 时间：
2021-06-19 18:52:34
阅读次数：
0
# Linux 基础指令 vi打开文件 ls列出目录内容 cd -返回之前目录（不一定是上一级目录）cd 。。才是返回上一级 mkdir创建文件夹 mkdir -p递归创建文件夹 cp复制空文件 cp-r连内部文件一起复制 -p（保留文件属性如时间。。。） mv剪切没有这样的限制 vi /etc/s ...
分类：
系统相关 时间：
2021-06-19 18:44:14
阅读次数：
0
HDFS的读取过程 HDFS的读取流程大致有以下几个步骤： （1）客户端通过调用FileSystem对象的open()来打开希望读取的文件。对于HDFS平台来说，这个对象是DistributedFileSystem类的是一个实例，所以实际调用的是DistributedFileSystem对象的ope ...
分类：
其他好文 时间：
2021-06-19 18:42:26
阅读次数：
0
在实现分库分表的情况下，数据库自增主键已经无法保证在集群中是全局唯一的主键了，因此mycat提供了全局的sequence，并且提供了本地配置、数据库配置等多种实现方式。 1. 本地文件方式 采用该方式，mycat将sequence配置到classpath目录的sequence_conf.proper ...
分类：
其他好文 时间：
2021-06-19 18:40:35
阅读次数：
0
一、运行架构 Jenkins的kubernetes plugin在执行构建时会在kubernetes集群中自动创建一个Pod，并在Pod内部创建一个名为jnlp的容器，该容器会连接Jenkins并运行Agent程序，形成一个Jenkins的Master和Slave架构，然后Slave会执行构建脚本进 ...
分类：
其他好文 时间：
2021-06-18 20:01:37
阅读次数：
0
性能测试流程 注意要点 测试机器硬件配置尽量和线上一致 系统版本与线上一致 测试环境部署线上最小单元模块（一般线上都是集群部署，线下可以用最小的单元集群） 应用、中间件、数据库要与线上一致 其他特殊配置 数据构造 ? 业务接口 ? -- 适合数据表关系复杂 ? -- 优点： 数据完整性比较好 ? 存 ...
分类：
其他好文 时间：
2021-06-18 19:57:35
阅读次数：
0
