从mysql数据库通过java程序导入单表1300w到mongodb,花了大概50分钟,前1000w条数据中每100w条大概要3分钟,之后的300多w条就差不多每100w条要5到6分钟,之后再从其他的mysql表里面导入数据就会越来越慢,请问可以从那些方面可以优化mongodb的写入操作?这是我记录 ...
分类:
数据库 时间:
2019-04-24 13:26:22
阅读次数:
181
1、缘由 在总结了前面几篇的心得之后,朋友叫我给大家分享一下实例,能够更直观的了解到建模,于是自己动手做了简单的订单系统。 2、mysql表 假设mysql中存在下面的八张表: 3、ods ods层和源数据最好保持一致: 4、dwd ①对ODS层数据进行判空过滤。 ②更改压缩算法和文件存储格式 ③对 ...
分类:
其他好文 时间:
2019-04-20 12:52:16
阅读次数:
647
1 Spark读HBase Spark读HBase黑名单数据,过滤出当日新增userid,并与mysql黑名单表内userid去重后,写入mysql。 2 Spark读MySQL表广播出去 3 构建黑名单数据对象rdd 4 Spark写MySQL 5 注意问题 数据存入Mysql注意事项 尽量先设置 ...
分类:
数据库 时间:
2019-04-15 16:41:45
阅读次数:
197
以下是个人根据网上翻阅加个人理解总结结果 mysql 表中数据类型和存储过程都有bigint类型和bigint unsigned 可以看出,bigint unsigned是可以创建的。但是之前陷入误区以为没区别,是因为使用navicat for mysql这个工具无符号在下边显示的,并不会在数据类型 ...
分类:
数据库 时间:
2019-04-14 16:35:30
阅读次数:
1028
整理一下对mysql表结构的简单操作,dos窗口模式的,现在基本上都是些图形化操作mysql,像这种命令形式的少了很多,暂时记忆点,以防以后忘记。 从数据库的创建开始: 差不多了。先这样,基本上就这样啦!!! ...
分类:
数据库 时间:
2019-04-11 16:19:32
阅读次数:
130
表:采用26个英文字母(区分大小写)和0-9的自然数(经常不需要)加上下划线'_'组成,命名简洁明确,多个单词用下划线'_'分隔1.全部小写命名,禁止出现大写2.禁止使用数据库关键字,如:name,time ,datetime,password等3.用单数形式表示名称,例如,使用 employee, ...
分类:
数据库 时间:
2019-04-08 15:15:42
阅读次数:
162
1、优先使用information_schema来检查,如果没有查询这个的权限则使用show tables来检查。 mapper: xml: 通用service: ...
分类:
数据库 时间:
2019-04-08 13:46:22
阅读次数:
2685
mysql表名、库名大小写敏感 关键词:mysql大小写敏感 ...
分类:
数据库 时间:
2019-04-04 12:50:07
阅读次数:
148
网络协议和管理网络拓扑结构总线型网络:当网络之中的两台主机间想要通讯数,借助CSMA/CD(多路访问载波侦听冲突检测机制)进行通讯星型网络(HUB星型结构)环形拓扑网络(令牌环网,主机之间通过持有令牌进行通讯)OSI七层模型(国际标准化组织定义的网络通讯协议)应用层定义多种传输协议,以及用户身份的验证,如http,dns,mysql表示层格式化数据(封装相对应的MAC地址)构建数据提供各种加密机制
分类:
其他好文 时间:
2019-03-31 22:09:40
阅读次数:
218
将实体与实体的关系,反应到最终数据库表的设计上,将关系分为三种:一对一,一对多(多对一)和多对多,所有的关系都是表与表之间的关系; 一对一 一对一:一张表的一条记录只能与另外一条记录进行对应,反之亦然学生表:姓名,性别,年龄,体重,身高,婚姻状况,籍贯,家庭地址,紧急联系人 Id(P) 姓名 性别 ...
分类:
数据库 时间:
2019-03-28 15:18:10
阅读次数:
184