1) /proc/sys/vm/block_dump该文件表示是否打开Block Debug模式，用于记录所有的读写及Dirty Block写回动作。缺省设置：0，禁用Block Debug模式2) /proc/sys/vm/dirty_background_ratio该文件表示脏数据到达系统整体内 ...
分类：
其他好文 时间：
2016-11-30 16:54:46
阅读次数：
205
爬虫爬下来的数据，有个字段含有大量脏数据，如图1所示，现在需要提取出“红色框”中的“作者机构名称”。 一开始用的excel，替换、分类、按照模式的快速填充各种都用上了，但是，数据量太大了（有上万条，辛苦机器性能还行）而且你懂得，人工操作肯定有误操作而且分列啥的这些功能适应新不怎么强，结果，弄了小半天 ...
分类：
其他好文 时间：
2016-11-28 00:43:26
阅读次数：
136
转自：http://shujuren.org/article/45.html 在数据分析过程中最头疼的应该是如何应付脏数据，脏数据的存在将会对后期的建模、挖掘等工作造成严重的错误，所以必须谨慎的处理那些脏数据。 脏数据的存在形式主要有如下几种情况： 1）缺失值 2）异常值 3）数据的不一致性 下面就 ...
分类：
编程语言 时间：
2016-11-21 14:36:23
阅读次数：
264
==效果等同于一行转多行 数据表名称：zhangb.gid_tags 数据格式，每行是2个字段，（gid，tags) ，可能有脏数据，分隔符为“\t”， ANDROID-9de77225cadb4319adfc1b1fe51c54f0 h65010000,014200,018100,011300,0 ...
分类：
编程语言 时间：
2016-11-18 15:55:48
阅读次数：
191
1、静态参数文件 PFILE:使用操作系统提供的VIM进行编辑，包含多个参数文件 参数文件名是:init.ora(如: D:\app\Administrator\admin\orcl\pfile) 其中，文件里面的background_dump_dest表示数据库报警日志文件和后台进程追踪文件存放位 ...
分类：
数据库 时间：
2016-11-18 12:06:45
阅读次数：
246
Java事务的类型有三种：JDBC事务、JTA(Java Transaction API)事务、容器事务。 事务就是对一系列的数据库操作（比如插入多条数据）进行统一的提交或回滚操作，如果插入成功，那么一起成功，如果中间有一条出现异常，那么回滚之前的所有操作。 这样可以防止出现脏数据，防止数据库数据出 ...
分类：
数据库 时间：
2016-11-13 01:36:27
阅读次数：
207
如何分层 结合Inmon和Kimball的集线器式和总线式的数据仓库的优点，分层为ODS-DW-DM-OLAP/OLAM/app ODS层是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中，数据经过了一定的清洗，比如字段的统一，脏数据的去除等，但是数据的粒度是不会变... ...
分类：
其他好文 时间：
2016-10-29 12:16:00
阅读次数：
248
锁（ locking ） 锁（ locking ） 业务逻辑的实现过程中，往往需要保证数据访问的排他性。如在金融系统的日终结算 业务逻辑的实现过程中，往往需要保证数据访问的排他性。如在金融系统的日终结算 处理中，我们希望针对某个 cut-off 时间点的数据进行处理，而不希望在结算进行过程中 处理中 ...
分类：
数据库 时间：
2016-10-27 07:44:29
阅读次数：
245
上一章我们讲到关于C#线程方向的应用。但是笔者并没有讲到多线程中的另一个知识点——同步。多线程的应用开发都有可能发生脏数据。同步的功能或多或少都会用到。本章就要来讲一下关于线程同步的问题。根据笔者这几年来的.NET开发可以了解到的同步方式至少有四种以上。如。lock、volatile、Monitor ...
分类：
编程语言 时间：
2016-10-17 16:16:07
阅读次数：
167
废话不多说 说下思路:使用aop注解,在Service实现类添加需要用到redis的方法上,当每次请求过来则对其进行拦截,如果是查询则从redis进行get key,如果是update则删除key，防止脏数据或者历史数据出现。建议aop不懂的同学或者SPEL也不太熟悉的先去看看资料再回过来看,会事半 ...
分类：
编程语言 时间：
2016-10-11 18:32:59
阅读次数：
315
