logstash 执行过程 input -->filter -->output filter 可以对数据进行处理 输出插件 codec plugin 使用脚本将数据导入到ES 使用 logstash 执行 logstash -f mysqltoes.conf 使用别名查询索引 创建一个索引别名，过滤 ...
分类：
其他好文 时间：
2019-12-29 12:45:45
阅读次数：
177
sqoop简介 sqoop是一款开源的工具，主要用于在hadoop和与传统的数据库之间进行的数据的传递，可以将一个关系型数据库中的数据导入到hadoop的hdfs中，也可以将hdfs的数据导入到关系型数据库中。sqoop的命名由来就是 ，它的原理就是将导入或者导出命令翻译成MapReduce来实现， ...
分类：
数据库 时间：
2019-12-28 16:30:57
阅读次数：
131
1.拉去dump镜像 [root@localhost ~]# docker pull taskrabbit/elasticsearch-dump 2.相关实例 1.创建文件存放路径 [root@localhost ~]# mkdir -p /data/2.将索引数据备份到文件 [root@local ...
分类：
其他好文 时间：
2019-12-26 19:16:45
阅读次数：
228
新建一个django项目 启动django项目 创建app 创建数据库表、更改字段code first python manage.py makemigrations命令 python manage.py makemigrations相当于在该app下建立 migrations目录，并记录下你所有的 ...
分类：
其他好文 时间：
2019-12-22 21:43:40
阅读次数：
112
Redis-API 简介 Redis 是一个基于内存的高效的键值行非关系型数据库，存取效率极高。 python提供了两个类：分别为Redis和StrictRedis来实现Redis的命令操作。Redis是StrictRedis的子类 官方推荐使用StrictRedis 如果要做数据导入、导出操作的话 ...
Logstash：把MySQL数据导入到Elasticsearch中 前提条件 需要安装好Elasticsearch及Kibana。 MySQL安装 根据不同的操作系统我们分别对MySQL进行安装。我们可以访问网页来对MySQL进行安装。等我们安装完我们的MySQL后，在我们的terminal中，打 ...
分类：
数据库 时间：
2019-12-21 13:43:53
阅读次数：
94
//命令按钮点击触发事件 private void button2_Click(object sender, EventArgs e) { if (dataGridView1.Rows.Count==0) return;//判断是否有数据，没有就返加 Microsoft.Office.Interop ...
二、视图 1、Hive 的视图和关系型数据库的视图区别 和关系型数据库一样，Hive 也提供了视图的功能，不过请注意，Hive 的视图和关系型数据库的数据还是有很大的区别： （1）只有逻辑视图，没有物化视图； （2）视图只能查询，不能 Load/Insert/Update/Delete 数据； （3 ...
分类：
其他好文 时间：
2019-12-17 17:54:16
阅读次数：
111
Sqoop （sqoop.apache.org）工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于 ...
分类：
其他好文 时间：
2019-12-15 16:13:22
阅读次数：
82
https://www.cnblogs.com/dingxu/p/9151810.html 从excel表中生成批量SQL,将数据录入到数据库中 excel表格中有许多数据，需要将数据导入数据库中，又不能一个一个手工录入，可以生成SQL，来批量操作。 1.首先在第二行的H列，插入函数：=CONCAT ...
分类：
数据库 时间：
2019-12-13 15:27:26
阅读次数：
111
