logistic回归的主要思想： 已知样本数目为m，特征(feature)数目为n。 给出假设h(X)=g(X*theta) g(z)是sigmiod函数：g(z)=1/(1+exp(-z)) 考虑分类器问题：Y取值为0或1，同样地，h(X)取值为0或1。 则P(y|x;theta)=h(x)^y* ...
分类：
其他好文 时间：
2017-03-10 20:37:27
阅读次数：
161
线性回归的主要思想是： 已知样本数目为m，特征(feature)数目为n。 给出假设h(X)=theta0+theta1*x1+theta2*x2+…+thetan*xn=X*theta X=[1,x1,x2,…xn]，xi即第i个特征的值（这里默认利用向量同时处理m个样本值，即xi为m*1的向量） ...
分类：
其他好文 时间：
2017-03-10 18:04:59
阅读次数：
184
1 VC维的定义 VC维其实就是第一个break point的之前的样本容量。标准定义是：对一个假设空间，如果存在N个样本能够被假设空间中的h按所有可能的2的N次方种形式分开，则称该假设空间能够把N个样本打散；假设空间的VC维就是它能打散的最大样本数目N。若对任意数目的样本都有函数能将它们打散，则函 ...
分类：
其他好文 时间：
2017-01-03 22:04:00
阅读次数：
196
主成分分析（PCA）是一种能够极大提升无监督特征学习速度的数据降维算法。更重要的是，理解PCA算法，对实现白化算法有很大的帮助，很多算法都先用白化算法作预处理步骤。这里以处理自然图像为例作解释。 1.计算协方差矩阵： 按照通常约束，x为特征变量，上边表示样本数目，下标表示特征数目。这里样本数为m。 ...
分类：
其他好文 时间：
2016-11-24 19:11:25
阅读次数：
399
1、为什么要做特征选择
在有限的样本数目下，用大量的特征来设计分类器计算开销太大而且分类性能差。
2、特征选择的确切含义
将高维空间的样本通过映射或者是变换的方式转换到低维空间，达到降维的目的，然后通过特征选取删选掉冗余和不相关的特征来进一步降维。
3、特征选取的原则
获取尽可能小的特征子集，不显著降低分类精度、不影响类分布以及特征子集应具有稳定适应性强等特点
4、特征选择需要考虑的问...
分类：
其他好文 时间：
2016-04-22 19:38:34
阅读次数：
197
ML-最大似然估计 MAP-最大后验估计 贝叶斯估计 三者的关系及区别 一。机器学习 核心思想是从past experience中学习出规则，从而对新的事物进行预测。对于监督学习来说，有用的样本数目越多，训练越准确。 用下图来表示机器学习的过程及包含的知识： 简单来说就是： 二。ML vs MAP ...
分类：
其他好文 时间：
2016-04-16 23:15:50
阅读次数：
774
1、安装 2、 样本数目 总共发送到服务器的请求数。 最新样本 代表时间的数字,是服务器响应最后一个请求的时间 吞吐量 是服务器每分钟处理的请求数。 平均值 是总运行时间除以发送到服务器的请求数。 中间值 是代表时间的数字，有一半的服务器响应时间低于该值而另一半高于该值。 偏离 表示
分类：
其他好文 时间：
2016-03-14 11:58:43
阅读次数：
227
前面有文章提到过，K-means算法，第一步骤是找出样本点的的所属聚类。下面用两种方式实现，一种是普通的循环，一种是完全向量化计算。 假设 ： X 是ｍ×ｎ样本矩阵，其每一行是一个样本，ｍ表示样本数目，ｎ表示特征数目； centroids是K×ｎ矩阵，K表示聚类数目，ｎ表示特征数目...
分类：
其他好文 时间：
2016-01-17 21:38:05
阅读次数：
216
你可能不知道的一些机器学习事儿
最近零零碎碎地看了很多机器学习方法的东西，增长了不少新知识。有很多小技巧虽然不会出现在教科书中，但它们真的很实用。
（1）随机森林模型不适合用稀疏特征。
（2）测试集必须使用与训练集相同的方法进行预处理。
（3）L1正则（特征选择）最小样本数目m与特征n呈log关系，m = O(log n) ；
L2正则（旋转不变）最小样本...
分类：
其他好文 时间：
2015-08-31 21:44:15
阅读次数：
234
昨天看了一天的opencv训练分类器的资料，想自己试试。经过昨天一天的折腾终于成功的训练出了自己的分类器，虽然效果不好，但是是个好的开端。在整个过程中我遇到了很多问题，在这里和大家分享一下，希望对你有帮助。
1.正样本的创建过程基本上按照以下步骤：
1) 制作一个正样本描述文件，用于描述正样本文件名（包括绝对路径或相对路径），正样本数目以及各正样本在图片中的位置和大小。...
分类：
其他好文 时间：
2015-08-06 11:13:32
阅读次数：
774
