一 关于Kettle Kettle是一款国外开源的ETL工具，纯java编写，数据抽取高效稳定的数据迁移工具。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流程的控制。 二 本项目中的ETL需求 本项目主要 ...
分类：
其他好文 时间：
2017-12-21 15:56:06
阅读次数：
149
摘要 在实际项目中，大多都需要对业务逻辑以及操作数据库的逻辑进行分成操作，这个时候该如何进行数据的迁移呢？ 步骤 上篇文章：EF Core数据迁移操作 比如，我们将数据上下文放在了Data层。 看一下BlogContext内容如下： 在appsetting中配置连接字符串 在StartUp启动类中， ...
分类：
其他好文 时间：
2017-12-19 15:09:45
阅读次数：
247
sqoop 数据迁移 1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统。 导出数据：从Hadoop的文件系统中导出数据到关系数据库。 2 工作机制 ...
分类：
其他好文 时间：
2017-12-19 01:28:31
阅读次数：
211
作用: 解决一开始数据库建立不合理造成的字段冗余，从而提取部分字段，数据迁移、拼接字符串的功能。 格式： concat(字段1,'间隔符',字段2....) concat_ws('间隔符',字段1，字段2) 数据准备： 操作示例： 只做字符串的拼接： 数据迁移（同时进行字符串拼接）： ...
分类：
其他好文 时间：
2017-12-18 19:07:32
阅读次数：
139
由于业务数据量日益增长，计算量非常庞大，传统的数仓已经无法满足计算需求了，所以现在基本上都是将数据放到hadoop平台去实现逻辑计算，那么就涉及到如何将oracle数仓的数据迁移到hadoop平台的问题。 这里就不得不提到一个很实用的工具——sqoop，它是一款开源的工具，主要用于实现关系型数据库与 ...
分类：
数据库 时间：
2017-12-17 18:09:30
阅读次数：
194
Redis键迁移 在使用Redis的过程中，很多时候我们会遇到需要进行键迁移的问题，需要将指定Redis中的指定数据迁移到其他Redis当中，键迁移有三种方法，我们来进行一一介绍。 一、 move命令由于在Redis内部进行数据迁移，Redis内部可以有多个数据库，彼此在 ...
分类：
其他好文 时间：
2017-12-16 14:49:45
阅读次数：
117
1：sqoop的概述： （1）：sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。（2）：导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；（3）：导出数据：从Hadoop的文件系统中导出数据到关系数据库 （4 ...
分类：
数据库 时间：
2017-12-15 15:09:08
阅读次数：
199
科技技术发展不断进步的时代，对于社会的规定也是需要与时俱进的。国家政策和法律法规都是需要共同完善进步。而对于数据安全保护，最近欧盟发布了《一般数据保护条例》，来约束和捍卫数据信息安全。为这些看不到却真实存在的机密提供了法律依据。据了解，该条例在六年前就开始讨论，经过四年的讨论时间，条例预计在2018 ...
分类：
其他好文 时间：
2017-12-15 15:05:36
阅读次数：
161
前面章节说到mysql主从复制问题，本章节说说oracle的主从复制技术adg，这个也是业内大家用的最多的解决方案。 Data Gurad通过冗余数据来提供数据保护，Data Gurad 通过日志同步机制保证冗余数据和主数据之前的同步，这种同步可以是实时，延时，同步，异步多种形式。Data Gura... ...
分类：
数据库 时间：
2017-12-14 14:54:24
阅读次数：
515
"不要把所有鸡蛋放在一个篮子里'.这是投资界一句很好理解的至理名言。这个道理不仅在投资投资界经常被提及，对于所有和风险相关的事物都具有很广泛的适用性，比如企业的数据备份保护，在企业信息数据保护工作中，数据灾备是一个重要的前提，也是其重要组成部分之一。所谓数据灾备，简单而言就是将同样的信息 在其他地方... ...
分类：
其他好文 时间：
2017-12-12 15:19:00
阅读次数：
169
