Cost Function: 前向传播（Forward propagation） 反向传播（Back propagation） 对于反向传播算法最直观的表示就是对于每个节点都计算这样一项（误差项）： 计算完每个节点的误差之后我们便可以得到损失函数对于所有参数的偏导数： 注：这里忽略了正则化项。（aj ...
分类：
其他好文 时间：
2017-07-26 00:09:59
阅读次数：
269
背景 反向传播(Backpropagation)是训练神经网络最通用的方法之中的一个，网上有很多文章尝试解释反向传播是如何工作的，可是非常少有包括真实数字的样例，这篇博文尝试通过离散的数据解释它是如何工作的。 Python实现的反向传播 你能使用Python来实现反向传播，我以前在this Gith ...
分类：
其他好文 时间：
2017-07-25 13:29:54
阅读次数：
235
今天在导出数据的时候。忽然就想起了上次导数据的惊险时刻。 当时导出数据，有40g。分盘。/backup有几T的空间，非常easy。果断搞！是daochu.dmp，导出后传到还有一个主机，还有一个主机的/backup也非常大空间，40g洒洒水，然后開始scp： [root@single1 ~]# sc ...
分类：
其他好文 时间：
2017-07-24 20:18:06
阅读次数：
136
我们可以将成本函数的两个条件情形压缩为一个情形： 注意到当y=1，那么=0也就是说没有效果。 当y=0，那么=0。 我们可以完全写出我们的全部成本函数如下： 矢量化实现： 梯度下降 请记住，梯度下降的一般形式是： 利用微积分可以求出导数的部分： 注意，这个算法与我们在线性回归中使用的算法是一样的。我 ...
分类：
其他好文 时间：
2017-07-23 21:02:21
阅读次数：
168
所以我们有了我们的假设函数，我们有一种方法来测量它与数据的吻合程度。现在我们需要估计假设函数中的参数。这就是梯度下降的来源。想象我们图基于其领域θ0和θ1我们假设函数（实际上我们是图形的成本函数作为参数估计的函数）。我们不是绘制x和y本身，而是我们假设函数的参数范围和选择一组特定参数所产生的代价我们 ...
分类：
其他好文 时间：
2017-07-23 11:16:55
阅读次数：
151
先看一个函数：functionderivative(f,delta)delta=deltaor1e-4returnfunction(x)return(f(x+delta)-f(x))/deltaendend对特定的函数f调用derivative(f)将（近似地）返回其导数，例如c=derivative(math.sin)print(math.cos(10),c(10))--c(10)这样的调用相当于derivative(math.sin..
分类：
其他好文 时间：
2017-07-22 22:33:58
阅读次数：
121
1、tanh（）函数 tanh是双曲函数中的一个，tanh()为双曲正切。 双曲正切函数的导数公式： 2、tensorflow tanh（）例子 import tensorflow as tf input=tf.constant([1,2,3,4],dtype=tf.float32) #在tenso ...
分类：
其他好文 时间：
2017-07-22 09:50:40
阅读次数：
160
1.sigmoid函数 S(x)=1/(1+exp(-x)) 导数为：S(x)*(1-S(x))。 这个数值不会超过0.25.。通过sigmoid函数计算的函数值在0~1之间，如果神经网络的层数很多，如果每一层的激励函数采用sigmoid函数，就会产生梯度弥散的问题。因为利用BP函数更新参数的时候， ...
分类：
其他好文 时间：
2017-07-22 09:47:48
阅读次数：
3161
1、函数 函数：f(z) = 1 / (1 + exp( ? z)) 导数：f(z)' = f(z)(1 ? f(z)) 2、tensorflow实现 输出为： [[ 5.00000000e-01 9.99954581e-01 4.53978719e-05] [ 7.31058598e-01 8.8 ...
分类：
其他好文 时间：
2017-07-21 19:56:50
阅读次数：
188
navicat11.2.16企业版。mysql5.7.17数据格式*.json准备了一份数据，json格式的。通过navicat11.2.16entepries版本导入到mysql5.7.17数据库中。其中的数据被无故截断了，正数，小数点后13位，负数，小数点后12位。数据库中正确的数据通过navicat软件导入的数据负数，小数点后少..
分类：
其他好文 时间：
2017-07-17 22:06:16
阅读次数：
150
