总述：这篇文章是一次听讲座，吴大鹏教授做的why deep learning works，佛罗里达大学教授，很有名。自己对该讲座做个理解。 一、深度学习的背景相关介绍 1、machine learning：一般的ml只针对线性分类，即只是一个linear methods。 2、neural netw ...
分类：
其他好文 时间：
2016-11-30 16:44:39
阅读次数：
237
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 ...
分类：
其他好文 时间：
2016-11-23 22:23:15
阅读次数：
308
运用对偶的（对应原始）感知机算法实现线性分类。 参考书目：《统计学习方法》(李航) 算法原理： 代码实现： 环境：win7 32bit + Anaconda3 +spyder 和原始算法的实现基本框架是类似的，只是判断和权值的更新算法有点变化。 输出： ...
分类：
编程语言 时间：
2016-11-18 18:17:18
阅读次数：
334
代码1如下： 迭代两百次，loss值到后面开始趋于饱和，accuracy为0.49，可见这种单层的神经网络和线性分类得到的最终效果并不好，效果图如下： 下面我们来使用双层神经网络和relu激活函数来进行非线性分类，代码如下： ...
分类：
其他好文 时间：
2016-11-17 13:32:00
阅读次数：
694
运用最简单的原始（对应的有对偶）感知机算法实现线性分类。 参考书目：《统计学习方法》(李航) 算法原理： 踩到的坑：以为误分类的数据只使用一次，造成分类结果很差，在train函数内加个简单的递归，解决问题；不同的学习率结果差别很大，通过循环学习率取最优解决。 AND：个人理解尚浅，理论和代码都未免有 ...
分类：
编程语言 时间：
2016-11-16 02:06:08
阅读次数：
327
cs231n线性分类器学习笔记，非翻译，根据自己的学习情况总结出的内容： 线性分类 本节介绍线性分类器，该方法可以自然延伸到神经网络和卷积神经网络中，这类方法主要有两部分组成，一个是评分函数(score function)：是原始数据和类别分值的映射，另一个是损失函数：它是用来衡量预测标签和真是标签 ...
分类：
其他好文 时间：
2016-11-13 01:48:56
阅读次数：
206
首先，提出一个问题：如何构造非线性分类器？ 可以从线性回归到逻辑回归的变化过程中得到启发，逻辑回归本质上是增加了一个逻辑函数g(z)来映射输入x到{0,1}。 逻辑回归的计算过程可以简化为上图，圈表示一个计算节点，即激活函数（activation function）g(z)，这里取Sigmoid函数 ...
分类：
其他好文 时间：
2016-11-10 18:42:13
阅读次数：
256
感知机：二类分类线性分类模型，输入是具体的输入（实例）的特征向量，输出是具体输入（实例）的类别，+1或-1 目的：求出将训练数据进行线性划分的超平面 我们同统计学习的三要素来学习感知机，首先，我们先来学习模型 1.感知机模型 具体介绍如下： 对感知机模型有了一定的了解之后，就要开始学习感知机学习策略 ...
分类：
其他好文 时间：
2016-11-06 13:58:05
阅读次数：
206
LDA（Linear Discriminant Analysis 线性判别分析），是一种监督学习。将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。LDA是一种线性分类器。分类的目标是，使得类别 ...
分类：
其他好文 时间：
2016-10-29 21:45:39
阅读次数：
242
主成份分析： 主成份分析是最经典的基于线性分类的分类系统。这个分类系统的最大特点就是利用线性拟合的思路把分布在多个维度的高维数据投射到几个轴上。如果每个样本只有两个数据变量，这种拟合就是 其中和分别是样本的两个变量，而和则被称为loading,计算出的P值就被称为主成份。实际上，当一个样本只有两个变... ...
分类：
其他好文 时间：
2016-10-16 09:34:36
阅读次数：
496
