1.CART分类树的特征选择 分类问题中,假设有K个类,样本点属于第k类的概率为,则概率分布的基尼指数定义为: 如果，集合D根据特征A是否取某一可能值a被分割成和，在特征A的条件下,集合D的基尼指数定义为: 基尼指数代表了模型的不纯度,基尼指数越小,不纯度越小,特征越好. 2.CART分类树的生成算 ...
分类：
其他好文 时间：
2017-05-10 11:15:23
阅读次数：
276
记录一：2017/05/05 以前看到交换空间的栏目，里边的用户不同地区的人互换住宅，包括如今的嘀嘀打车、甚至代码的开源，都是资源利用走向开放的应用。联想到以前看到微软的全息眼镜，能不能这样呢？我在扬州，你在拉萨的街头，我雇你当导游，你利用高清的手机/相机摄像头，实时拍摄景色，并且可以互动，再或者你 ...
分类：
其他好文 时间：
2017-05-05 14:18:45
阅读次数：
213
对于输入x,类别标签Y: 判别模型：由数据直接学习决策面Y=f(x)或条件概率P(Y|x)作为预测模型 生成模型：由数据学习联合概率分布P(x,Y)，然后求出条件概率P(Y|x)作为预测模型 模型区别： 判别模型寻找不同类别之间的分离面，反映不同类别之间的差异。 生成模型通过统计反映同类数据的相似度 ...
分类：
其他好文 时间：
2017-05-02 23:34:38
阅读次数：
175
作者：桂。 时间：2017-04-21 21:11:23 链接：http://www.cnblogs.com/xingshansi/p/6743780.html 前言 看到最近大家都在用Tensorflow，一查才发现火的不行。想着入门看一看，Tensorflow使用手册第一篇是基于MNIST的手写 ...
分类：
其他好文 时间：
2017-04-22 13:06:13
阅读次数：
752
作者：桂。 时间：2017-04-20 18:31:37 链接：http://www.cnblogs.com/xingshansi/p/6740308.html 前言 本文为《统计学习方法》第四章：朴素贝叶斯（naive bayes），主要是借助先验知识+统计估计，本文主要论述其分类的思路。全文包括 ...
分类：
其他好文 时间：
2017-04-20 20:44:13
阅读次数：
284
作者：桂。 时间：2017-04-16 11:53:22 链接：http://www.cnblogs.com/xingshansi/p/6718503.html 前言 今天开始学习李航的《统计学习方法》，考虑到之前看《自适应滤波》，写的过于琐碎，拓展也略显啰嗦，这次的学习笔记只记录书籍有关的内容。前 ...
分类：
其他好文 时间：
2017-04-16 22:47:41
阅读次数：
274
假设训练数据线性可分，那么感知机模型如下： f(x)=ω?χ+b这个超平面可以用来分割平面 不考虑系数，那么感知机的损失函数就可以定义为 ...
分类：
其他好文 时间：
2017-04-08 19:02:10
阅读次数：
140
1. 感知机学习模型 感知机是一个二分类的线性分类问题，求解是使误分类点到超平面距离总和的损失函数最小化问题。采用的是随机梯度下降法，首先任意选取一个超平面w0和b0，然后用梯度下降法不断地极小化目标损失函数，极小化过程中不是一次使所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。假 ...
分类：
其他好文 时间：
2017-04-07 23:42:03
阅读次数：
400
无论是机器学习、模式识别、数据挖掘、统计学习、计算机视觉、语音识别、自然语言处理都涉及到算法。 1.树：决策树(Decision Tree)是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。 ...
分类：
编程语言 时间：
2017-04-01 16:54:44
阅读次数：
209
1、主要内容 介绍集成学习，然后讲述boosting和bagging的区别与联系，同时对adaBoost进行推导然后进行gbdt的推导，最后比较随机森林和gdbt的区别和联系。 2、集成学习 集成学习（ensamble learning）通过构建多个学习器来完成任务。集成学习的一般结构：先产生一组“ ...
分类：
编程语言 时间：
2017-03-15 16:45:34
阅读次数：
308
