在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（GradientDescent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1.梯度在微积分里面，对多元函数的参数求偏导数，把求得的各个参数的偏导数以向量的形式写出来，就..
分类：
其他好文 时间：
2017-05-14 10:55:32
阅读次数：
139
http://www.matrix67.com/blog/archives/4294 我理想中的微积分课本则应该是先讲定积分，再讲导数，再讲不定积分。先讲定积分，不过千万不能用现在的定积分符号，避免学生误认为 定积分是由不定积分发展而来的。讲自古就有的积分思想，讲分割求和取极限的方法，自创一套定积分 ...
分类：
其他好文 时间：
2017-05-09 15:48:41
阅读次数：
203
不同于标准的MySQL服务器和MySQL集群，MySQL/MariaDBGalera集群在启动方式上有一些细小的区别。Galera需要在集群启动一个节点作为参考点，剩余的节点才能加入形成集群。这个过程被称为集群引导。引导是一个初始步骤，引导数据库节点作为主节点，其它节点将主节点作为参考点同步..
分类：
数据库 时间：
2017-05-08 10:05:54
阅读次数：
1253
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 在微积分里面，对多元函数的参数求?偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数 ...
分类：
其他好文 时间：
2017-05-03 17:30:08
阅读次数：
207
线性微分方程介绍 $\Delta y$表示的是变量$y$的变化量。 微分（differential），即微变化量，数学上表示为$dy$，$dy$被成为different of $y$。 导数（derivative），即变化率，数学上表示微$\frac{dy}{dt}$，也就是极短时间内$y$的变化量 ...
分类：
其他好文 时间：
2017-05-01 22:10:53
阅读次数：
185
相量 线性性质 正弦量的线性组合的相量等于各相量的同一线性组合 相量变换是线性变换 微分性质 正弦量对时间的一阶导数等于该正弦量的相量变换乘虚数$j\omega $ $\frac{\mathrm{d}f(t)}{\mathrm{d}t}=\frac{\mathrm{d}}{\mathrm{d}t}\ ...
分类：
其他好文 时间：
2017-05-01 09:55:37
阅读次数：
157
深度学习说到底就是要调节网络中得权重，使网络的分类结果更接近于训练值。这个重复迭代的过程又是一个线性回归的问题。在这种可能会用到高数，线性代数，概率论中的知识。 一、数学基础提一提。 1.高数中得知识。 高数中最重要的就是微积分了，那在深度学习中出现最多的一个概念就是梯度。什么是梯度呢?要说导数，学 ...
分类：
其他好文 时间：
2017-04-23 20:14:22
阅读次数：
307
http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006924.html 这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。 与k-means一样，给定的训练样 ...
分类：
其他好文 时间：
2017-04-15 14:59:07
阅读次数：
223
构造：输入神经元个数等于输入向量维度，输出神经元个数等于输出向量维度。（x1=(1,2,3),则需要三个输入神经元） 一 前向后传播 隐层： 输出层： 一般化，向量表示 二 反向传播 1计算梯度delta：均方误差，利用了sigmoid函数导数的有趣性。 输出层梯度： --> eg. 隐层梯度： - ...
分类：
其他好文 时间：
2017-04-15 12:28:05
阅读次数：
257
