拉格朗日乘数法 拉格朗日乘数法是一个理论结果，用于求解带有等式约束的函数极值。对于如下问题： 构造拉格朗日乘子函数： 在最优点处对x和乘子变量的导数都必须为0： 解这个方程即可得到最优解。对拉格朗日乘数法更详细的讲解可以阅读任何一本高等数学教材。 机器学习中用到拉格朗日乘数法的地方有： 主成分分析 ...
分类：
其他好文 时间：
2018-08-21 12:15:32
阅读次数：
135
无论做任何事情，人们总是希望以最小的代价获取最大的利益，力求最好！为此，人们发明各式各样的数学工具：导数、积分等。现代优化理论大都来源于处理多元问题时导致的复杂性，它有三个重要的基础： 矩阵理论：矩阵是描述多元问题的最基本的工具，为多元问题分析和求解提供了基本的数据结构。 数值分析：导数和微分为多元 ...
分类：
其他好文 时间：
2018-08-17 22:23:49
阅读次数：
111
设计函数求一元多项式的导数。（注：x^n^（n为整数）的一阶导数为n*x^n-1^。） 输入格式：以指数递降方式输入多项式非零项系数和指数（绝对值均为不超过1000的整数）。数字间以空格分隔。 输出格式：以与输入相同的格式输出导数多项式非零项的系数和指数。数字间以空格分隔，但结尾不能有多余空格。注意 ...
分类：
其他好文 时间：
2018-08-09 13:48:49
阅读次数：
112
高三数学各章节模块思维导图(使用幕布可以制作很好的思维导图) 1、 "集合函数导数微积分" 2、 "三角函数和平面向量" 3、 "数列和不等式" 4、 "解析几何" 5、 "立体几何" 6、 "概率与统计" 7、 "其他内容" ...
分类：
其他好文 时间：
2018-08-06 11:43:51
阅读次数：
148
最优化理论里面 0阶优化算法 1阶优化算法 2阶优化算法 具体定义和缺陷如下：针对深度学习以一阶的优化算法为主为主线 0阶优化算法：该算法仅仅需要因变量的数值，而不需要导数信息。因变量通过最小二乘法的拟合值近似，而约束极小化问题用罚函数转化为无约束问题，极小化过程在近似的罚函数上迭代。直到获得收敛的 ...
分类：
编程语言 时间：
2018-08-04 23:19:26
阅读次数：
190
一、梯度消失、梯度爆炸产生的原因 假设存在一个网络结构如图： 其表达式为： 若要对于w1求梯度，根据链式求导法则，得到的解为： 通常，若使用的激活函数为sigmoid函数，其导数： 这样可以看到，如果我们使用标准化初始w，那么各个层次的相乘都是0-1之间的小数，而激活函数f的导数也是0-1之间的数， ...
分类：
其他好文 时间：
2018-08-04 13:02:19
阅读次数：
298
1.导数的定义 2.初等函数的导数 习题1 3.反函数的导数 习题1 习题2 习题3 所有初等函数的导数 4.复合函数的导数 习题1 习题2 5.泰勒展开 6.罗尔定理 7.微分中值定理和柯西中值定理 微分中值定理 证明过程 柯西中值定理 证明过程 8.罗必塔法则 习题1：求极限 9.泰勒展开的证明 ...
分类：
其他好文 时间：
2018-07-29 15:16:34
阅读次数：
144
一、电容 电容是构成基础电路的原件，它的重要性就不多说了，下面是关于电容的一些特性： 【1】线性电容端电压和积聚的电荷量的关系是：q=Cu(其中C就是电容，单位法拉，u是电压，单位福特，q单位库伦) 【2】电容伏安特性：i = dq/dt=Cdu/dt（上面知道q=Cu,两边对u求导数，则dq/du ...
分类：
其他好文 时间：
2018-07-29 13:02:27
阅读次数：
238
1、夹逼定理 2、导数 导数就是曲线的斜率，是曲线的变化快慢的反映 3、泰勒展开 应用：数值计算和实践中的模型简化 4、方向导数 5、梯度 6、凸函数 ...
分类：
其他好文 时间：
2018-07-29 11:48:06
阅读次数：
151
梯度下降法 既然在变量空间的某一点处，函数沿梯度方向具有最大的变化率，那么在优化目标函数的时候，自然是沿着负梯度方向去减小函数值，以此达到我们的优化目标。 如何沿着负梯度方向减小函数值呢？既然梯度是偏导数的集合，如下： 同时梯度和偏导数都是向量，那么参考向量运算法则，我们在每个变量轴上减小对应变量值 ...
分类：
其他好文 时间：
2018-07-28 17:21:04
阅读次数：
164
