标签:贝叶斯 算法 标准 建模 另一个 优化 二分 boost 概念
大纲:
算法分类
有监督学习与无监督学习
分类问题与回归问题
生成模型与判别模型
强化学习
评价指标
准确率与回归误差
ROC曲线
交叉验证
模型选择
过拟合与欠拟合
偏差与方差
正则化
半监督学习归类到有监督学习中去。
有监督学习大部分问题都是分类问题,有监督中的分类问题分为生成式模型和判别模型。
分类问题常用的评价指标是准确率,对于回归问题常用的评价指标是回归误差均方误差。
二分类问题中常为它做ROC曲线。
过拟合通用的解决手段是正则化。
算法分类:
监督信号,就是样本的标签值,根据知否有标签值将机器学习分类为有监督学习、无监督学习、半监督学习。
有监督学习与无监督学习:
有监督学习分两个过程:训练和预测。
预测根据输入样本(x,y),训练出一个模型y=f(x)来预测新的样本的标签值。
无监督学习:聚类和数据降维。
数据降维是为了避免维数灾难,高维数据算法处理起来比较困难,数据之间具有相关性。
强化学习:
是从策略控制领域诞生出来的一种算法,它根据环境数据预测动作,目标是最大化奖励值。
分类问题与回归问题:
有监督学习分为分类问题和回归问题,如判断一个水果的类别就是分类问题,根据个人信息预测收入就是回归问题。
分类问题:
Rn-->Z,把n维向量映射为一个整数值,该值对应一个分类。
人脸检测就是而分类问题,图像中某个位置区域是人脸还是不是人脸。
二分类问题最简单办法是找到一个直线方程进行分类,线性分类器sgn(wTx+b),输出+1或-1。
回归问题:
Rn-->R,R是要预测的实数值。
最简单的算法是线性回归f(x)=wTx+b,相比分类问题省去了sgn函数。
损失函数也叫误差函数,,几乎对于所有的有监督学习,它的目标都是最小化损失函数或者最大化的对数似然函数,在确定了这个优化目标以后,工作就完成一半了,剩下的就是完成最优化求解问题了,可以标准的算法如梯度下降法、牛顿法等,根据自己算法的特点选用一个合适的最优化算法来求解,这是标准化的流程,求解完之后,就求解出了f(x)参数值完成了训练,之后就可以用f(x)来预测新的样本用来做分类或者回归。
线性回归:
,是一个线性函数。
训练的目标是最小化均方误差MSE,训练的时候要求解的是一个无约束条件的凸优化问题(要证明是均方误差损失函数是凸函数,就要证明它的Hession矩阵半正定),凸优化问题就可以找到L的全局极小值点。
证明MSE损失函数是凸函数:
求L的Hession矩阵:
1/lXTX矩阵对应的二次型为xT1/lXTXx,即1/l(xTXT)(Xx),即(Xx)T(Xx),由于(Xx)T是一个行向量,(Xx)是列向量,它们两个相乘是向量做内积,大于等于零,所以Hession矩阵半正定,所以MSE损失函数L是凸函数,存在全局极小值点。
生成模型与判别模型:
对于分类问题按照求解思路可以把它分为两种类型:
①判别模型,直接根据函数判断它是属于哪一个模型。
第一种是y=f(x),直接根据一个预测函数sgn(wT+b)预测出标签值y来。
第二种是p(y|x),算它的后验概率,根据特征x计算它属于每个类的概率,根据特征反推它所属的类,这就是后验概率。
②生成模型
对x、y联合分布建模,p(x,y)=p(x|y)p(y),即假设x服从某种分布对p(x|y)、p(y)进行建模。
生成模型的另一种定义是用来生成数据的算法,如GAN。
判别模型和生成模型区别:
判别模型是求p(y|x),生成模型是求p(x|y)。
学习的大部分的分类算法都是判别模型。
生成模型:贝叶斯分类器,高斯混合模型,隐马尔可夫模型,受限玻尔兹曼机,生成对抗网络等。
判别模型:决策树,kNN算法,人工神经网络,支持向量机,logistic回归,AdaBoost算法等(虽然logistic中用到概率了,但是它是直接计算的p(y|x),即样本属于某类的概率,并没有假设x服从某种概率分布对p(x|y)、p(y)进行建模)。
在解决分类问题时是有本质区别的:
判别模型直接找一个分界线出来,至于两边样本服从哪一种分布,哪里密集哪里稀疏并不关注。生成模型是先算出两边样本服从的分布,再来算样本属于某个类的概率的。
评价指标:
因为要比较算法的优劣,所以引入评价指标。对于同一类问题可能有不同的算法都可以解决它,要判断哪一种算法更好,其中衡量的一个依据就是它的准确率或是叫精度,还有另一个指标是算法的速度。
对于分类和回归问题它的精度的定义是不一样的。
对于分类问题用准确率表示,即正确分类的样本数/测试样本总数,样本分为训练集和测试集,用测试集(和训练集不相交)来统计准确率,因为用训练集统计准确率是没有意义的。
回归误差是回归问题的评价指标,因为分类问题是一个是和否的问题,而回归问题它是一个连续实数值,不能用是和否来回答,所以用回归误差。
准确率与回归误差:
标签:贝叶斯 算法 标准 建模 另一个 优化 二分 boost 概念
原文地址:https://www.cnblogs.com/wisir/p/11843066.html