神经元的数学表示 神经元可以理解为一个具有多个输入、单个输出的模型，输入和输出的关系可以用一个函数来表示。如果用$x_1,x_2,x_3,\cdots,x_n$表示输入，$y$表示输出，那么这个函数可以表示为: $$y = a(w_1x_1+w_2x_2+w_3x_3+\cdots+w_nx_n+b ...
分类：
其他好文 时间：
2020-03-05 15:21:36
阅读次数：
61
J=0;dw1=0;dw2=0;db=0; for i = 1 to m z(i) = wx(i)+b; a(i) = sigmoid(z(i)); J += -[y(i)log(a(i))+(1-y(i)）log(1-a(i)); dz(i) = a(i)-y(i); dw1 += x1(i)dz ...
分类：
其他好文 时间：
2020-03-04 18:50:11
阅读次数：
52
1.概述 GBDT基于GB算法。GB算法的主要思想是，每次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数是评价模型性能(一般为拟合程度+正则项)，认为损失函数越小，性能越好。而让损失函数持续下降，就能使得模型不断调整提升性能，其最好的方法就是使损失函数沿着梯度方向下降。GBDT再此基础上， ...
分类：
数据库 时间：
2020-03-04 09:52:00
阅读次数：
84
导读 Epoch，Batchsize，Iterations，这三个都是深度学习训练模型时经常遇到的概念。你一定有过这样的时刻，面对这几个词傻傻分不清楚，这三个概念究竟是什么，它们又有什么区别？ 梯度下降法 一切的一切，要从机器学习中的梯度下降法说起。 首先让我们来回顾一下这个常见的不能再常见的算法。 ...
分类：
其他好文 时间：
2020-03-03 12:55:15
阅读次数：
74
在各类比赛中经常出现预测回归问题，一般使用scikit learn的模型，本文就对这些类库的使用做一个总结，总结时注重自己做比赛中的使用经验。 1. Ordinary Least Squares（最小二乘法） 最简单的线性模型，损失函数是平方差损失，常用梯度下降法求解参数。 使用要点：这个模型不像其 ...
分类：
其他好文 时间：
2020-02-29 15:05:01
阅读次数：
105
今天解释梯度下降法的实践 从昨天工资模型中我们引入两个变量 姓名 月工资 考勤率 上税率 合计 W 4700元 0.9 0.15 3760元 Z 4900元 0.85 0.26 3675 元 T 4850元 0.99 0.35 4122.5元 p 4750元 0.95 0.17 4037.5元 .. ...
分类：
其他好文 时间：
2020-02-28 01:32:09
阅读次数：
124
为什么使用卷积？（Why convolutions?） 我们来分析一下卷积在神经网络中如此受用的原因，然后对如何整合这些卷积，如何通过一个标注过的训练集训练卷积神经网络做个简单概括。和只用全连接层相比，卷积层的两个主要优势在于参数共享和稀疏连接，举例说明一下。 假设有一张32×32×3维度的图片，这 ...
分类：
其他好文 时间：
2020-02-27 20:34:30
阅读次数：
68
目录 简述 梯度下降与梯度上升 梯度下降法算法详解 梯度下降法大家族（BGD，SGD，MBGD） 梯度下降法和其他无约束优化算法的比较 总结 在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法(在【2】中已... ...
分类：
其他好文 时间：
2020-02-23 21:50:51
阅读次数：
65
【梯度下降法】一：快速教程、Python简易实现以及对学习率的探讨 【梯度下降法】二：冲量（momentum）的原理与Python实现 【梯度下降法】三：学习率衰减因子（decay）的原理与Python实现 ...
分类：
其他好文 时间：
2020-02-23 11:50:12
阅读次数：
79
Gradient Descent For Multiple Variables 问题提出：Week2的梯度下降问题由单一变量转变成了多变量： 相应的公式如下： 梯度下降算法 $$ \begin{array}{l}{\text { repeat until convergence: }\{} \\ { ...
分类：
系统相关 时间：
2020-02-20 22:12:11
阅读次数：
76
