使用sklearn中的函数可以很方便的将数据划分为trainset 和 testset 该函数为sklearn.cross_validation.train_test_split，用法如下： >>> import numpy as np >>> from sklearn.cross_validati ...
分类：
编程语言 时间：
2016-07-24 17:35:41
阅读次数：
1786
对交叉验证这个问题，一直以来，不明白是怎么回事。近期看材料，涉及到了这个问题，写的通俗易懂，有种恍然大悟的感觉。下面，我写下对这个问题的理解。 现在假设这里有一堆数据，作为统计er的任务就是从这些数据中提取有用的信息。如何提取信息呢，我们的法宝就是–模型。模型在统计当中是极其重要的，学统计就是跟各种 ...
分类：
其他好文 时间：
2016-07-22 21:09:33
阅读次数：
256
交叉验证：拟合的好，同时预测也要准确 我们以K折交叉验证（k-folded cross validation)来说明它的具体步骤。{A1,A2,A3,A4,A5,A6,A7,A8,A9} 为了简化，取k=10。在原始数据A的基础上，我们随机抽取一组观测，构成一个数据子集（容量固定）,记为A1A1 重 ...
分类：
其他好文 时间：
2016-06-26 16:48:32
阅读次数：
204
本文将介绍R中的并行计算，并给出了一些常见的陷进以及避免它们的小技巧。
使用并行计算的原因就是因为程序运行时间太长。大部分程序都是可以并行化的，它们大部分都是Embarrassingly parallel。这里介绍几种可以并行化的方法：
Bootstrapping
交叉验证(Cross-validation)
(Multivariate Imputation by Chained Equation...
分类：
编程语言 时间：
2016-06-21 07:38:31
阅读次数：
208
交叉验证(Cross Validation)为CV.CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set),首先用训练集对分类器进行训练,在利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。于是可以先在一个子集上做分析， 而其它子...
分类：
其他好文 时间：
2016-05-06 12:49:29
阅读次数：
4398
KNN分类CIFAR-10，并且做Cross Validation，CIDAR-10数据库数据如下： knn.py : 主要的试验流程 from cs231n.data_utils import load_CIFAR10 from cs231n.classifiers import KNearest ...
分类：
编程语言 时间：
2016-05-04 21:00:26
阅读次数：
2711
在机器学习分类结果的评估中，ROC曲线下的面积AOC是一个非常重要的指标。下面是调用weka类，输出AOC的源码： 接着说一下交叉验证； 如果没有分开训练集和测试集，可以使用Cross Validation方法，Evaluation中crossValidateModel方法的四个参数分别为，第一个是 ...
分类：
其他好文 时间：
2016-04-13 11:19:01
阅读次数：
192
LIME： 模型是否值得信任？ 我们在建立模型的时候，经常会思考我们的模型是不是够稳定，会不会出现样本偏差效应， p>>N时候会不会过拟合？ 我们检查模型稳定，我们进行一些cross-validation来看看各项评估指标方差大不大。 可是如果样本一开始因为采样偏差导致样本有偏，导致模型和实际情况有差异，这个就不太好评估了。同样，p>>N也会有类似的问题，尤其在文本挖掘领域。一般情况，如果特征不是很多的话，尤其像logistic regression这样的model，我们会把模型权重给打印出来看看，看看训...
分类：
其他好文 时间：
2016-04-11 12:27:20
阅读次数：
229
尊重原创~~~ 转载出处：http://www.matlabsky.com/thread-12411-1-1.html 交叉验证(Cross Validation)方法思想简介http://www.matlabsky.com/forum-v ... -fromuid-18677.html以下内容摘自
分类：
其他好文 时间：
2016-03-06 11:09:31
阅读次数：
1711
交叉验证(CrossValidation)方法思想简介以下简称交叉验证(Cross Validation)为CV.CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation
分类：
其他好文 时间：
2016-03-06 10:00:10
阅读次数：
131
