update ecm_order_goods, ecm_goods, ecm_orderset ecm_order_goods.eu_point=ecm_goods.eu_point, ecm_order_goods.au_point=ecm_goods.au_point where ecm_ord ...
分类：
数据库 时间：
2019-09-28 17:54:34
阅读次数：
105
1 数据库拆分过程及挑战 互联网当下的数据库拆分过程基本遵循的顺序是：垂直拆分、读写分离、分库分表(水平拆分)。每个拆分过程都能解决业务上的一些问题，但同时也面临了一些挑战。 1.1 垂直拆分 对于一个 ...
分类：
数据库 时间：
2019-09-24 14:09:48
阅读次数：
74
gh ost 原理 一 简介 上一篇文章介绍 gh ost 参数和具体的使用方法，以及核心特性 可动态调整 暂停，动态修改参数等等。本文分几部分从源码方面解释gh ost的执行过程,数据迁移,切换细节设计。 二 原理 2.1 执行过程 本例基于在主库上执行ddl 记录的核心过程。核心代码在 gith ...
分类：
其他好文 时间：
2019-09-20 17:04:26
阅读次数：
72
问题描述 Django项目启动，当我们执行命令 python manage.py makemigrations 出现如下错误： 解决办法 顺着报错信息，找到报错的位置，把 ...
分类：
数据库 时间：
2019-09-13 17:13:34
阅读次数：
98
阅读本文大概需要 8 分钟。 阅读本文大概需要 8 分钟。 来源：京东技术订阅号（ID：jingdongjishu） 作者：张sir 京东到家订单中心系统业务中，无论是外部商家的订单生产，或是内部上下游系统的依赖，订单查询的调用量都非常大，造成了订单数据读多写少的情况。 我们把订单数据存储在MySQ ...
分类：
数据库 时间：
2019-09-10 10:23:00
阅读次数：
133
上项目的时候，遇见一次需求，需要把在线的其中一个collection里面的数据迁移到另外一个collection下，于是就百度了看到好多文章，其中大部分都是使用导入的方法，没有找到在线数据的迁移方法。于是写了python脚本，分享出来。思路：collection数据量比较大，所以一次性操作所有数据太大，于是分段执行操作。先分段按1000条数据量进行查询，处理成json数据把处理后的json数据发送
分类：
编程语言 时间：
2019-09-04 09:39:34
阅读次数：
78
数据仓库是否也需要上云？如果考虑上云，都需要注意哪些方面？目前主流云厂商产品又有何特点呢？本文将一一解答。
分类：
其他好文 时间：
2019-08-29 15:36:33
阅读次数：
72
Sqoop 数据迁移工具 sqoop : SQL to hadOOP 两个功能: 1、 RDB 向HDFS导入 2、 HDFS向RDB导入 注：拷贝mysql-connector.jar 和 json.jar 到sqoop/lib目录下 HDFS导入使用 命令很长，一般写成shell脚本。（运行需要 ...
分类：
其他好文 时间：
2019-08-28 15:57:39
阅读次数：
87
背景： 服务器A 向 服务器B 迁移数据，修改配置重启。发现gitlab的 nginx 无法启动。 查找原因 错误信息： 网上查了查，似乎是宝塔的问题， 原因应该是为了防止nginx冲突, 把gitlab的nginx启动文件名改成了gitlab-web, 但有个配置文件没改造成的 解决办法： 修改n ...
分类：
系统相关 时间：
2019-08-19 22:52:15
阅读次数：
144
redis cluster 数据节点 顺序分区 哈希分区hash(key) % node_count 哈希分区 1.节点取余分区 hash(key) % node_count优点：hash+取余的方式计算节点的分区很简单缺点：当节点伸缩时候，数据节点关系发生变化，导致数据迁移扩容的时候建议翻倍扩容， ...
分类：
其他好文 时间：
2019-08-18 20:03:45
阅读次数：
66
