最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 ...
分类：
其他好文 时间：
2017-04-05 22:09:53
阅读次数：
298
逻辑回归是一个分类算法，它可以处理二元分类以及多元分类。虽然它名字里面有“回归”两个字，却不是一个回归算法。那为什么有“回归”这个误导性的词呢？个人认为，虽然逻辑回归是分类模型，但是它的原理里面却残留着回归模型的影子，本文对逻辑回归原理做一个总结。 1. 从线性回归到逻辑回归 我们知道，线性回归的模 ...
分类：
其他好文 时间：
2017-04-05 22:05:42
阅读次数：
228
朴素贝叶斯公式 Hmm隐马尔科夫 动态规划: 线性回归: 逻辑回归(sigmoid):在线性组合的基础上加了个非线性的激活函数，用于解决二分类问题，softmax，用于解决多分类问题。 集成学习(连续模型):针对错误的模型进行训练，设置多个模型，每个模型都有不同的权重，逐层进行逻辑回归、或则其他逐层 ...
分类：
编程语言 时间：
2017-04-02 11:35:31
阅读次数：
165
通常说的SVM与逻辑回归的联系一般指的是软间隔的SVM与逻辑回归之间的关系，硬间隔的SVM应该是与感知机模型的区别和联系。而且工程中也不能要求所有的点都正确分类，训练数据中噪声的存在使得完全正确分类很可能造成过拟合。 软间隔SVM与逻辑回归的联系 要说软间隔SVM与联系就要看软间隔SVM的缘由。 软 ...
分类：
其他好文 时间：
2017-03-31 18:08:49
阅读次数：
255
灵感 因为最近一直在做rnn based NLP，其中无论是什么cell，lstm， GRU或者cnn都是基于单词的embedding表示；单词的embdding就是把每个单词表示成一个向量， 然后通过bp训练这些向量的值，这种想法很奇妙，于是我尝试性的把这种思想用在logistic regress ...
分类：
其他好文 时间：
2017-03-16 18:36:09
阅读次数：
264
线性回归和逻辑回归都是监督学习方法，聚类分析是非监督学习的一种，可以从一批数据集中探索信息，比如在社交网络数据中可以识别社区，在一堆菜谱中识别出菜系。本节介绍K-means聚类算法。 1、K-means k是一个超参数，表示要聚类成多少类。K-means计算方法是重复移动类的重心，以实现成本函数最小 ...
分类：
其他好文 时间：
2017-03-13 22:00:51
阅读次数：
356
Svm相关： 1） SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题． 2） 逻辑回归和SVM的区别在于逻辑回归采用的是logistical loss，svm采用的是hin ...
分类：
其他好文 时间：
2017-03-12 12:51:05
阅读次数：
198
简介： scikit-learn是一个基于NumPy、SciPy、Matplotlib的开源机器学习工具包。採用Python语言编写。主要涵盖分类、 回归和聚类等算法，比如knn、SVM、逻辑回归、朴素贝叶斯、随机森林、k-means等等诸多算法，官网上代码和文档 都非常不错，对于机器学习开发人员来 ...
分类：
其他好文 时间：
2017-03-08 22:33:30
阅读次数：
576
1 核型岭回归 首先，岭回归的形式如下： 在《核型逻辑回归》中我们介绍过一个定理，即以上这种形式的问题，求得的w都能表示为z的线性组合： 因此我们把w代入，问题就转化为求β的问题，同时引入核技巧： 求解这个问题，先求梯度： 令 ...
分类：
其他好文 时间：
2017-03-08 13:04:04
阅读次数：
161
R语言︱决策树族——随机森林算法 笔者寄语：有一篇《有监督学习选择深度学习还是随机森林或支持向量机?》（作者Bio：SebastianRaschka）中提到，在日常机器学习工作或学习中，当我们遇到有监督学习相关问题时，不妨考虑下先用简单的假设空间（简单模型集合），例如线性模型逻辑回归。若效果不好，也 ...
分类：
编程语言 时间：
2017-02-19 18:29:33
阅读次数：
350
