2017-08-12 Logistic 回归，作为分类器： 分别用了梯度上升，牛顿法来最优化损失函数： # -*- coding: utf-8 -*-'''function: 实现Logistic回归，拟合直线，对数据进行分类；利用梯度上升，随机梯度上升，改进的随机梯度上升，牛顿法分别对损失函数优化 ...
分类：
编程语言 时间：
2017-08-13 00:18:32
阅读次数：
347
Regressor 回归 作者: Alice 编辑: Morvan 神经网络可以用来模拟回归问题 (regression)，例如给下面一组数据，用一条线来对数据进行拟合，并可以预测新输入 x 的输出值。 用 Keras 构建回归神经网络的步骤： 导入模块并创建数据 models.Sequential ...
分类：
其他好文 时间：
2017-08-01 12:36:43
阅读次数：
401
1. Logistic回归： 1）优点：计算代价不高，易于理解和实现； 2）缺点：容易欠拟合，分类精度可能不高； 3）适用数据类型：数值型和标称型数据； 2. 分类思想： 根据现有数据对分类边界线建立回归公式，以此进行分类。 这里借助sigmoid函数，其特点为当z为0时，sigmoid函数值为0. ...
分类：
其他好文 时间：
2017-07-27 16:36:48
阅读次数：
149
声明： 1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结。不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。 2，因为本人在学习初始时有非常多数学知识都已忘记。因此为了弄懂当中的内容查阅了非常多资料。所以里面应该会有引用其它帖子的小部分内容，假设原作者看到能够私信我。我会将您的 ...
分类：
编程语言 时间：
2017-07-19 17:40:42
阅读次数：
220
1-参数估计与矩阵运算基础 2-凸优化 3- 广义线性回归和对偶优化 4-牛顿、拟牛顿、梯度下降、随机梯度下降(SGD) 5-熵、最大熵模型MaxEnt、改进的迭代尺度法IIS 6-聚类（k-means、层次聚类、谱聚类等） 7-K近邻、决策树、随机森林(random decision forest ...
分类：
其他好文 时间：
2017-07-18 15:35:12
阅读次数：
162
感知机 （一）概念 1，定义： （二），学习策略 1，线性可分 ：存在一个超平面将正实例和负实例划分开来，反之不可分 2，学习策略：寻找极小损失函数，通过计算误分点到超平面的距离 3，学习算法 即求解损失函数最优化的算法，借用随机梯度下降法 3.1 原始形式 学习率也叫步长（0,1] 例题： 特点： ...
分类：
其他好文 时间：
2017-07-01 01:10:54
阅读次数：
277
SGD 中 stochastic 什么意思： Mini-Batch。。。 随机梯度下降算法（SGD）是mini-batch GD的一个特殊应用。SGD等价于b=1的mini-batch GD。即，每个mini-batch中只有一个训练样本。full batch GD每一轮迭代需要所有样本参与，对于大 ...
分类：
其他好文 时间：
2017-06-27 08:06:21
阅读次数：
328
简介 H2O的深度学习基于多层前馈人工神经网络，该网络是由使用了反向传播的随机梯度下降算法训练而来该网络可以包含大量由携带tanh、rectifier、maxout激活函数的神经元组成的隐藏层。如自适应学习率、率退火、动量训练、dropout, L1 or L2 regularization, ch ...
分类：
其他好文 时间：
2017-06-25 17:03:58
阅读次数：
429
感知机是简单的线性分类模型 ，是二分类模型。其间用到随机梯度下降方法进行权值更新。参考他人代码，用matlab实现总结下。 权值求解过程通过Perceptron.m函数完成 之后测试一下，总共8个二维点（为了画图观察选择2维数据），代码如下： 其显示图为： （完） ...
分类：
编程语言 时间：
2017-06-08 19:44:02
阅读次数：
271
解决一个机器学习问题的一般套路是先构建一个目标函数，然后解决一个优化问题。目标函数通常由损失函数和正则项组成。常见的损失函数log-loss,square-loss,cross-entropy-loss等，常见的正则化方法有L1正则、L2正则等，常见的优化方法有梯度下降、随机梯度下降等。SVM也可以 ...
分类：
编程语言 时间：
2017-05-25 23:31:27
阅读次数：
263
