https://www.zhihu.com/question/64134994 1、增加batch size会使得梯度更准确，但也会导致variance变小，可能会使模型陷入局部最优； 2、因此增大batch size通常要增大learning rate，比如batch size增大m倍，lr增大m ...
分类：
其他好文 时间：
2019-09-13 17:10:55
阅读次数：
105
1、什么是逻辑回归； 2、逻辑回归的流程及推导； 3、逻辑回归的多分类 4、逻辑回归VS线性回归 5、逻辑回归 VS SVM 1、什么使逻辑回归； 名为回归，实际是分类，通过计算$P(y=0|x;\theta )$的大小来预测分类类别，预测的是类别0，1，而不是概率，但计算的是概率；$0\leq P ...
分类：
其他好文 时间：
2019-09-01 14:52:04
阅读次数：
76
[1]特征选择标准criterion：string类型，可以使用"gini"或者"entropy"，前者代表基尼系数，后者代表信息增益。一般说使用默认的基尼系数"gini"就可以了，即CART算法。除非你更喜欢类似ID3, C4.5的最优特征选择方法。 [2]特征划分点选择标准splitter：st ...
分类：
编程语言 时间：
2019-08-30 14:03:33
阅读次数：
95
1.1 梯度下降 梯度下降，全称Grandient Descent，简称GD。 梯度下降是一种非常通用的优化算法，能够为大范围的问题找到最优解。梯度下降的中心思想就是迭代地调整参数，从而使成本函数最小化。 首先，初始化一个随机的θ值（可设θ=0），然后逐步改进，每次踏出一步，就尝试降低一点成本函数， ...
分类：
编程语言 时间：
2019-08-24 18:35:49
阅读次数：
84
遗传算法 一次次求得最优解 进化策略 有效避免局部最优（过拟合） 并行能力计算 强化学习 什么都不懂->找到规律 给你的行为打分 核心思想：同样的行为拿到高分，并避免低分的行为 分数导向性 不理解环境：从环境中得到反馈 理解环境：为现实世界建模，多出来个虚拟环境 通过过往的经验理解现实世界是怎样的， ...
分类：
其他好文 时间：
2019-08-19 19:29:25
阅读次数：
95
贪心 1. poj2287 N匹马的田忌赛马问题 稳稳地赢。 寻找最优的方案。 更优的收益。 有时候，局部最优导致全局最优。 马的能力值。 使得让我赢的局数最多。 对于对方的任何一匹马，如果我的马能打败它，那么我就要用能打败它的马里面能力值最小的马去迎战，如果我的马不能打败它，那么我就用剩下的所有马 ...
分类：
其他好文 时间：
2019-08-18 23:53:52
阅读次数：
122
1.了解不同优化器 2.书写优化器代码3.Momentum4.二维优化，随机梯度下降法进行优化实现5.Ada自适应梯度调节法6.RMSProp7.Adam8.PyTorch种优化器选择 梯度下降法： 1.标准梯度下降法：GD每个样本都下降一次，参考当前位置的最陡方向迈进容易得到局部最优，且训练速度慢 ...
分类：
其他好文 时间：
2019-08-18 19:49:45
阅读次数：
94
基于DNN HMM的语音识别声学模型结构如下图所示，与传统的基于GMM HMM的声学模型相比，唯一不同点在于用DNN替换了GMM来对输入语音信号的观察概率进行建模。DNN与GMM相比具有如下优点： DNN不需要对声学特征所服从的分布进行假设； DNN的输入可以采用连续的拼接帧，因而可以更好地利用上下 ...
分类：
其他好文 时间：
2019-08-10 19:10:37
阅读次数：
132
梯度下降法（Gradient Descent） 优化思想：用当前位置的负梯度方向作为搜索方向，亦即为当前位置下降最快的方向，也称“最速下降法”。越接近目标值时，步长越小，下降越慢。 如下图所示，梯度下降不一定能找到全局最优解，可能寻找到的是局部最优解。（当损失函数是凸函数时，梯度下降得到的解一定是全 ...
分类：
其他好文 时间：
2019-08-07 22:28:45
阅读次数：
186
众所周知，贪心是一个比较恶心的算法。 区别于常规的算法或数据结构，贪心题一般不会让人看到就想到思路，而是需要我们在一些猜测或是感性分析下，找到一种局部最优的方案，并且可以通过局部最优解推出全局最优解。 T1：防晒 有C头奶牛进行日光浴，第i头奶牛需要minSPF[i]到maxSPF[i]单位强度之间 ...
分类：
其他好文 时间：
2019-08-02 00:31:44
阅读次数：
298
