在机器学习中，我们非常关心模型的预测能力，即模型在新数据上的表现，而不希望过拟合现象的的发生，我们通常使用正则化（regularization）技术来防止过拟合情况。正则化是机器学习中通过显式的控制模型复杂度来避免模型过拟合、确保泛化能力的一种有效方式。如果将模型原始的假设空间比作“天空”，那么天空 ...
分类：
其他好文 时间：
2018-02-21 18:14:58
阅读次数：
362
梯度下降算法： 线性回归模型： 线性假设： 平方差成本函数： 将各个公式代入，对θ0、θ1分别求偏导得： 再将偏导数代入梯度下降算法，就可以实现寻找局部最优解的过程了。 线性回归的成本函数总是一个凸函数，故梯度下降算法执行后只有一个最小值。 “批”梯度下降：每一个步骤都使用所有的训练样本 ...
分类：
编程语言 时间：
2018-02-21 17:46:25
阅读次数：
190
一、封装新的PyTorch函数 继承Function类 forward：输入Variable->中间计算Tensor->输出Variable backward：均使用Variable 线性映射 调用方法一 类名.apply(参数) 输出变量.backward() 开始前向传播 type in for ...
分类：
其他好文 时间：
2018-02-19 11:35:01
阅读次数：
3205
7-16 一元多项式求导（20 分） 设计函数求一元多项式的导数。 输入格式: 以指数递降方式输入多项式非零项系数和指数（绝对值均为不超过1000的整数）。数字间以空格分隔。 输出格式: 以与输入相同的格式输出导数多项式非零项的系数和指数。数字间以空格分隔，但结尾不能有多余空格。 输入样例: 3 4 ...
分类：
其他好文 时间：
2018-02-17 15:03:36
阅读次数：
163
查看非叶节点梯度的两种方法 在反向传播过程中非叶子节点的导数计算完之后即被清空。若想查看这些变量的梯度，有两种方法： 使用autograd.grad函数 使用hook autograd.grad和hook方法都是很强大的工具，更详细的用法参考官方api文档，这里举例说明基础的使用。推荐使用hook方 ...
分类：
其他好文 时间：
2018-02-15 21:28:19
阅读次数：
937
一、Variable类源码简介 二、Variable类和计算图 简单的建立一个计算图，便于理解几个相关知识点： requires_grad参数：是否要求导数，默认False，叶节点指定True后，依赖节点都被置为True .backward()方法：根Variable的方法会反向求解叶Variabl ...
分类：
其他好文 时间：
2018-02-14 23:16:40
阅读次数：
505
有记录进行插入时，自增列产生的值就有可能与已有的记录主键冲突，导致出错。首先想办法解决问题，通过人工调大自增列的值，保证大于表内已有的主键即可，调整后，导数据正常问题发生的前置条件：?????? 1.mysql复制基于row模式?????? 2.innodb表?&nbs
分类：
其他好文 时间：
2018-02-08 16:32:56
阅读次数：
227
在上篇文章《Support Vector Machine(1):线性可分集的决策边界》中，我们最后得到，求SVM最佳Margin的问题，转化为了如下形式： 到这一步后，我个人又花了很长的时间去查阅资料，因为数学较差的原因，理解起来相当慢，不过探索的乐趣也就在于不断的打破瓶颈向前，OK继续。上述的问题 ...
分类：
系统相关 时间：
2018-02-05 23:13:24
阅读次数：
247
梯度下降法 一种无约束的优化算法 1.1梯度 在微积分里面，对多元函数的参数求?偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。 for example . 几何意义： 函数变化增加最快的方向，换句话说，沿梯度向量的方向，容易找到函数的最大值。梯度向量相反的方向，是函数减小最快的方向， ...
分类：
系统相关 时间：
2018-02-04 22:36:26
阅读次数：
249
0. 组合模型概述 我们已经学习了一系列不同的模型用于解决分类问题和回归问题。经常发现的一件事情是，我们可以通过某种方式将多个模型结合到一起的方法来提升性能，而不是独立地使用一个单独的模型。这个小节我们先来提纲挈领的讨论一下“组合模型”的思想方法，这种讨论可以给我们以启发， （1）例如，我么可以训练 ...
分类：
其他好文 时间：
2018-02-04 15:41:46
阅读次数：
223
