update ecm_order_goods, ecm_goods, ecm_orderset ecm_order_goods.eu_point=ecm_goods.eu_point, ecm_order_goods.au_point=ecm_goods.au_point where ecm_ord ...
分类:
数据库 时间:
2019-09-28 17:54:34
阅读次数:
105
1 数据库拆分过程及挑战 互联网当下的数据库拆分过程基本遵循的顺序是:垂直拆分、读写分离、分库分表(水平拆分)。每个拆分过程都能解决业务上的一些问题,但同时也面临了一些挑战。 1.1 垂直拆分 对于一个 ...
分类:
数据库 时间:
2019-09-24 14:09:48
阅读次数:
74
gh ost 原理 一 简介 上一篇文章介绍 gh ost 参数和具体的使用方法,以及核心特性 可动态调整 暂停,动态修改参数等等。本文分几部分从源码方面解释gh ost的执行过程,数据迁移,切换细节设计。 二 原理 2.1 执行过程 本例基于在主库上执行ddl 记录的核心过程。核心代码在 gith ...
分类:
其他好文 时间:
2019-09-20 17:04:26
阅读次数:
72
问题描述 Django项目启动,当我们执行命令 python manage.py makemigrations 出现如下错误: 解决办法 顺着报错信息,找到报错的位置,把 ...
分类:
数据库 时间:
2019-09-13 17:13:34
阅读次数:
98
阅读本文大概需要 8 分钟。 阅读本文大概需要 8 分钟。 来源:京东技术订阅号(ID:jingdongjishu) 作者:张sir 京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况。 我们把订单数据存储在MySQ ...
分类:
数据库 时间:
2019-09-10 10:23:00
阅读次数:
133
上项目的时候,遇见一次需求,需要把在线的其中一个collection里面的数据迁移到另外一个collection下,于是就百度了看到好多文章,其中大部分都是使用导入的方法,没有找到在线数据的迁移方法。于是写了python脚本,分享出来。思路:collection数据量比较大,所以一次性操作所有数据太大,于是分段执行操作。先分段按1000条数据量进行查询,处理成json数据把处理后的json数据发送
分类:
编程语言 时间:
2019-09-04 09:39:34
阅读次数:
78
数据仓库是否也需要上云?如果考虑上云,都需要注意哪些方面?目前主流云厂商产品又有何特点呢?本文将一一解答。
分类:
其他好文 时间:
2019-08-29 15:36:33
阅读次数:
72
Sqoop 数据迁移工具 sqoop : SQL to hadOOP 两个功能: 1、 RDB 向HDFS导入 2、 HDFS向RDB导入 注:拷贝mysql-connector.jar 和 json.jar 到sqoop/lib目录下 HDFS导入使用 命令很长,一般写成shell脚本。(运行需要 ...
分类:
其他好文 时间:
2019-08-28 15:57:39
阅读次数:
87
背景: 服务器A 向 服务器B 迁移数据,修改配置重启。发现gitlab的 nginx 无法启动。 查找原因 错误信息: 网上查了查,似乎是宝塔的问题, 原因应该是为了防止nginx冲突, 把gitlab的nginx启动文件名改成了gitlab-web, 但有个配置文件没改造成的 解决办法: 修改n ...
分类:
系统相关 时间:
2019-08-19 22:52:15
阅读次数:
144
redis cluster 数据节点 顺序分区 哈希分区hash(key) % node_count 哈希分区 1.节点取余分区 hash(key) % node_count优点:hash+取余的方式计算节点的分区很简单缺点:当节点伸缩时候,数据节点关系发生变化,导致数据迁移扩容的时候建议翻倍扩容, ...
分类:
其他好文 时间:
2019-08-18 20:03:45
阅读次数:
66