reference :http://www.cnblogs.com/chaosimple/p/4153158.html关于缺失值（missing value）的处理在sklearn的preprocessing包中包含了对数据集中缺失值的处理，主要是应用Imputer类进行处理。首先需要说明的是，nu...
分类：
其他好文 时间：
2015-01-03 14:31:39
阅读次数：
221
王曰芬 章成志 张蓓蓓 吴婷婷 定义：数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。 目的：数据清洗的目的是为信息系统提供准确而有效的数据。 基本原理：利用有关技术,如统计方法、数据...
分类：
其他好文 时间：
2015-01-02 22:25:20
阅读次数：
309
协同过滤显示vs隐式反馈参数调整实例教程协同过滤协同过滤是推荐系统的常用方法。可以填充user-item相关矩阵中的缺失值。MLlib支持基于模型的协同过滤，即使用能够预测缺失值的一个隐藏因素集合来表示用户和产品。MLlib使用交替做小二乘法（alternating least squares, A...
分类：
其他好文 时间：
2014-12-23 12:01:42
阅读次数：
386
Logistic回归的使用和缺失值的处理从疝气病预测病马的死亡率数据集：UCI上的数据，368个样本，28个特征测试方法：交叉测试实现细节：1.数据中因为存在缺失值所以要进行预处理，这点待会再单独谈2.数据中本来有三个标签，这里为了简单直接将未能存活和安乐死合并了3.代码中计算10次求均值缺失值的处...
分类：
其他好文 时间：
2014-11-25 01:39:42
阅读次数：
245
(The record length is the number of characters, including spaces, in a data line.) If your data lines are long, and it looks like SAS is not reading a...
分类：
其他好文 时间：
2014-11-20 23:31:05
阅读次数：
1331
一、数据预处理1、数据如果能够满足其应用的要求，那么他是高质量的。 数据质量涉及许多因素：准确性、完整性、一致性、时效性、可信性、可解释性。2、数据预处理的主要任务：数据清洗、数据集成、数据规约、数据变换。二、数据清理：试图填充缺失值，光滑噪声、识别利群点、纠正数据中的不一致。1、缺失值的处理：1）...
分类：
其他好文 时间：
2014-10-25 22:56:59
阅读次数：
291
继续之前的读书笔记，本次讲解sas主要的变量操作，包括基本赋值语句、累加语句、keep语句、retain语句、array语句、rename语句、length语句。
1.基本赋值语句
z=x y;
z=sum(x,y); sum函数的好处是可以克服缺失值的影响；
2.如果表达式中既有数值型变量又有字符型变量的话，则会将字符型变量转化为数值型变量
...
分类：
其他好文 时间：
2014-09-26 11:18:31
阅读次数：
295
继续之前的读书笔记，废话少说，直奔主题。
本文重点在infile语句。
十一：infile语句
Dsd 规定一个数据集可以包含分隔符，但是要用引号括起来，两个连续分隔符之间的数作为缺失值处理， 默认分隔符为逗号
Firstobs= 规定从该记录行开始读入
Obs= 规定要读入的记录数
Length= virable 把当前行的数据长度赋值给临时...
分类：
其他好文 时间：
2014-09-26 10:11:53
阅读次数：
172
一、缺失值产生的原因缺失值的产生的原因多种多样，主要分为机械原因和人为原因。机械原因是由于机械原因导致的数据收集或保存的失败造成的数据缺失，比如数据存储的失败，存储器损坏，机械故障导致某段时间数据未能收集（对于定时数据采集而言）。人为原因是由于人的主观失误、历史局限或有意隐瞒造成的数据缺失，比如，在...
分类：
其他好文 时间：
2014-09-22 12:52:52
阅读次数：
1024
1、两种注释Commets1 *print the comments;2 /*print the comments*/ 注意：此类注释不能放在第一行2、缺失值表示：缺省的字符型数据用空格表示；缺失的数值型用单点表示（.）的。3、SAS命名规则：1 Libref.member_name /*分为两.....
分类：
其他好文 时间：
2014-07-24 16:55:06
阅读次数：
526
