锁主要用于多用户环境下保证数据库完整性和一致性。 我们知道,多个用户能够同时操纵同一个数据库中的数据,会发生数据不一致现象。即如果没有锁定且多个用户同时访问一个数据库,则当他们的事务同时使用相同的数据时可能会发生问题。这些问题包括:脏读、不可重复读和幻读 脏读就是指当一个事务正在访问数据,并且对数据 ...
分类:
数据库 时间:
2017-06-13 20:43:03
阅读次数:
359
R语言数据挖掘实战系列(3)三、数据探索通过检验数据集的数据质量、绘制图表、计算某些特征量等手段,对样本数据集的结构和规律进行分析的过程就是数据探索。数据质量分析数据质量分析的主要任务是检查原始数据中是否存在脏数据,脏数据一般是指不符合要求,以及不能直接进行..
分类:
编程语言 时间:
2017-05-31 18:52:49
阅读次数:
221
成熟度 功能成熟度 Feature特征 Maturity成熟度 Strength强度 Problem问题 Advise建议 User用户 并发控制 Tested 并发控制 试用 连接控制 Tested 连接数控制 试用 直连提供者 Tested 点对点直连服务提供方,用于測试 測试环境使用 Alib ...
分类:
其他好文 时间:
2017-05-28 22:30:11
阅读次数:
344
1、面向对象的特征有哪些方面?答:面向对象的特征主要有以下几个方面:- 抽象:抽象是将一类对象的共同特征总结出来构造类的过程,包括数据抽象和行为抽象两方面。抽象只关注对象有哪些属性和行为,并不关注这些行为的细节是什么。- 继承:继承是从已有类得到继承信息创建新类的过程。提供继承信息的类被称为父类(超 ...
分类:
编程语言 时间:
2017-05-25 11:37:20
阅读次数:
170
上一章我们讲到关于C#线程方向的应用。但是笔者并没有讲到多线程中的另一个知识点——同步。多线程的应用开发都有可能发生脏数据。同步的功能或多或少都会用到。本章就要来讲一下关于线程同步的问题。根据笔者这几年来的.NET开发可以了解到的同步方式至少有四种以上。如。lock、volatile、Monitor ...
分类:
编程语言 时间:
2017-05-21 22:37:38
阅读次数:
244
上一章我们对线程同步进行讲解。了解如何去处理可能发生的脏数据。而本章就要讲有关于C#在读取IO文件的时候,常常用到的操作类。这一章的内容会比较少。但是笔者还是总结出来让读者们有一个学习的方向。不至于不知道学习些什么。 这一个静态类。可以说是一个工具类吧。他里同包含了很多关于处理文件的功能。笔者只是列 ...
分类:
编程语言 时间:
2017-05-21 22:31:36
阅读次数:
215
Spring事务的隔离级别 1. ISOLATION_DEFAULT: 这是一个PlatfromTransactionManager默认的隔离级别,使用数据库默认的事务隔离级别. 另外四个与JDBC的隔离级别相对应 2. ISOLATION_READ_UNCOMMITTED: 这是事务最低的隔离级别 ...
分类:
编程语言 时间:
2017-05-20 17:49:47
阅读次数:
207
采用多线程后, 发现最大的问题是redis和mongodb的脏数据问题 1, upsert 的脏数据问题 多线程对同一个collect进行upsert操作时, 会引发并发脏数据问题, 最开始的解决方案是 在之前和之后 使用 LOCK.lock() 和LOCK.unlock(), 后来无意看到一篇博客 ...
分类:
数据库 时间:
2017-05-19 11:44:58
阅读次数:
378
1) /proc/sys/vm/block_dump该文件表示是否打开Block Debug模式,用于记录所有的读写及Dirty Block写回动作。 缺省设置:0,禁用Block Debug模式2) /proc/sys/vm/dirty_background_ratio该文件表示脏数据到达系统整体 ...
分类:
系统相关 时间:
2017-05-12 23:52:33
阅读次数:
550
最近一段时间,在做数据ETL相关的事,结合实践以及自己的思考,记录下来,以做参考。 概述 一般来说,数据团队自己是很少生产数据的,一般都是对业务线的数据进行分析加工,从而让数据产生价值。一方面,业务线的数据会存到关系数据(如mysql),磁盘(日志)等存储介质;另一方面,基于大数据的分析一般会将数据 ...
分类:
其他好文 时间:
2017-05-09 20:36:27
阅读次数:
304