为什么要预处理数据？ 数据缺失：记录为空&属性为空 数据重复：完全重复&不完全重复 数据错误：异常值&不一致 数据不可用：数据正确但不可用 如何预防脏数据？ 制定数据标准 优化系统设计 1. 处理数据缺失： 忽略该记录 使用默认值 使用属性平均值 使用同类样本平均值 预测最可能的值 2. 处理数据重 ...
分类：
其他好文 时间：
2018-10-13 11:44:15
阅读次数：
192
在sql的优化中，会有同学提到一点：使用enum字段类型，代替其他tinyint等类型。以前这也是不少人喜欢优化的，但是现在细想，是非常不合理的。 优点： 1.可以设置区间范围，比如设置性别：1男2女3未知。如果这是出现一个非1、2、3类型的，一眼就是脏数据了。 缺点： 1.数据迁移的时候，他几乎不 ...
分类：
数据库 时间：
2018-10-10 01:05:25
阅读次数：
223
[TOC] 脏读 事务 B 读到了事务 A 尚未提交的数据，脏数据即无效数据。 举例： 1. 事务 A 写操作。 1. 事务 B 读操作。 1. 事务 A 回滚（或：事务 A 写操作并提交）。 不可重复读 事务中，两次读取同一数据得到不一样的结果。 举例： 1. 事务 A 读操作。 1. 事务 B ...
分类：
数据库 时间：
2018-10-07 22:02:39
阅读次数：
184
本文来自网易云社区 作者：孙婷婷 背景 我所在测试项目组目前的测试环境只有一套，在项目版本迭代过程中，开发或产品偶尔会在测试环境进行数据校验，QA人数在不断增加，各个人员在负责不同模块工作时也会产生脏数据，导致QA在功能测试和接口测试过程中需要清理测试环境增加工作量，同时QA组在进行异常测试等多维度 ...
分类：
其他好文 时间：
2018-09-22 12:54:54
阅读次数：
149
本文来自网易云社区 作者：孙婷婷 背景 我所在测试项目组目前的测试环境只有一套，在项目版本迭代过程中，开发或产品偶尔会在测试环境进行数据校验，QA人数在不断增加，各个人员在负责不同模块工作时也会产生脏数据，导致QA在功能测试和接口测试过程中需要清理测试环境增加工作量，同时QA组在进行异常测试等多维度 ...
分类：
其他好文 时间：
2018-09-22 12:48:10
阅读次数：
206
free -g 说明： free -g -/+ buffers/cache 说明： buffer 写缓存，表示脏数据写入磁盘之前缓存一段时间，可以释放。sync命令可以把buffer强制写入硬盘 cache 读缓存，读取过的文件，会缓存一段时间。可以释放。(在数据库中，大多数情况下cache占用内存 ...
分类：
其他好文 时间：
2018-08-05 16:54:44
阅读次数：
989
同步与异步：同步:发送一个请求,等待返回,然后再发送下一个请求 异步:发送一个请求,不等待返回,随时可以再发送下一个请求 同步可以避免出现死锁，读脏数据的发生，一般共享某一资源的时候用，如果每个人都有修改权限，同时修改一个文件，有可能使一个人读取另一个人已经删除的内容，就会出错，同步就会按顺序来修改 ...
分类：
其他好文 时间：
2018-07-13 20:25:38
阅读次数：
189
数据库通常借助日志来实现事务，常见的有undo log、redo log，undo/redo log都能保证事务特性，undolog实现事务原子性，redolog实现事务的持久性。 为了最大程度避免数据写入时io瓶颈带来的性能问题，MySQL采用了这样一种缓存机制：当query修改数据库内数据时，I ...
分类：
数据库 时间：
2018-07-10 20:16:57
阅读次数：
237
一、数据库表关系 1、单表操作： 总结：重复内容过多，浪费大量存储空间，资源浪费。 2、表关系之一对多： 总结：一旦确定表关系是一对多时，在多对应的表中创建关联字段。 3、表关系之多对多： 总结：一旦确定表关系是多对多，创建第三张关系表：id 和 另外两个表的关联字段。 4、表关系之一对一 总结：一 ...
分类：
其他好文 时间：
2018-07-08 10:45:49
阅读次数：
192
主要总结数据库写脏块的机制。 当一个进程要进行修改数据块的时候 1、获取cbc latch 2、修改buffer pin status 3、释放cbc latch 4、生成redo记录 5、修改buffer数据块 6、将脏块移到检查点队列中，到此才算修改完毕 7、获得cbc latch 8、修改bu ...
分类：
数据库 时间：
2018-06-24 23:53:14
阅读次数：
292
