标签：vector back wiki 性问题 聚类 检测 支持 人工神经网络 ref
注：最近在工作中，高频率的接触到了SVM模型，而且还有使用SVM模型做回归的情况，即SVR。因此就打算在这里做个总结，比较一下使用同一个模型做分类和回归之间的差别。这篇总结，不会涉及太多公式，只是希望通过可视化的方法对SVM有一个比较直观的认识。
原始SVM算法是由弗拉基米尔·万普尼克和亚历克塞·泽范兰杰斯于1963年发明的。1992年，Bernhard E. Boser、Isabelle M. Guyon和弗拉基米尔·万普尼克提出了一种通过将核技巧应用于最大间隔超平面来创建非线性分类器的方法。当前标准的前身（软间隔）由Corinna Cortes和Vapnik于1993年提出，并于1995年发表。
上个世纪90年代，由于人工神经网络(RNN)的没落，SVM在很长一段时间里都是当时的明星算法。被认为是一种理论优美且非常实用的机器学习算法。
在理论方面，SVM算法涉及到了非常多的概念：间隔(margin)、支持向量(support vector)、核函数(kernel)、对偶(dual)、凸优化等。有些概念理解起来比较困难，例如kernel trick和对偶问题。在应用方法，SVM除了可以当做有监督的分类和回归模型来使用外，还可以用在无监督的聚类及异常检测。相对于现在比较流行的深度学习（适用于解决大规模非线性问题），SVM非常擅长解决复杂的具有中小规模训练集的非线性问题，甚至在特征多于训练样本时也能有非常好的表现（深度学习此时容易过拟合）。但是随着样本量$m$的增加，SVM模型的计算复杂度会呈$m^2$或$m^3$增加。
在下面的例子中，均使用上一篇博客中提到的鸢尾属植物数据集。
图1：Iris data set
感知机可以看做是低配版的线性SVM，从数学上可以证明：
在线性可分的两类数据中，感知机可以在有限步骤中计算出一条直线（或超平面）将这两类完全分开。
如果这两类距离越近，所需的步骤就越多。此时，感知机只保证给出一个解，但是解不唯一，如下图所示：
https://zh.wikipedia.org/wiki/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA
原始SVM算法是由弗拉基米尔·万普尼克和亚历克塞·泽范兰杰斯于1963年发明的。1992年，Bernhard E. Boser、Isabelle M. Guyon和弗拉基米尔·万普尼克提出了一种通过将核技巧应用于最大间隔超平面来创建非线性分类器的方法。[9] 当前标准的前身（软间隔）由Corinna Cortes和Vapnik于1993年提出，并于1995年发表。
标签：vector back wiki 性问题 聚类 检测 支持 人工神经网络 ref
原文地址：https://www.cnblogs.com/Belter/p/8975606.html
