局部加权回归（ locally weighted regression ） 特征选择问题：underfitting,overfitting parametric learing algorithm:有固定数目的参数以用来数据拟合的算法； Non parametric learing algorith ...
分类：
其他好文 时间：
2020-01-29 18:23:37
阅读次数：
97
单层的感知机结构可写成以下公式： y=XW+b(y = Σxi*wi+b) 这里单层感知机的激活函数改成使用现代化的sigmoid激活函数 # 定义网络结构 x=tf.random.normal([1,3]) w=tf.ones([3,1]) b=tf.ones([1]) y = tf.consta ...
分类：
其他好文 时间：
2020-01-29 01:04:28
阅读次数：
100
Relu优点： 1、可以使网络训练更快。 相比于sigmoid、tanh，导数更加好求，反向传播就是不断的更新参数的过程，因为其导数不复杂形式简单。 2、增加网络的非线性。 本身为非线性函数，加入到神经网络中可以是网格拟合非线性映射。 3、防止梯度消失。 当数值过大或者过小，sigmoid，tanh ...
分类：
其他好文 时间：
2020-01-28 21:01:30
阅读次数：
295
梯度下降的各种优化算法下面参考文献表述都很全面了，不在赘述，主要谈谈个人理解 其实对SGD的优化，跟自动控制中的PID思路其实是一样的 P（Propotion）比例项即当前偏差 I（Intergration）积分项即偏差的累积 D（differentiation）微分项即偏差的变化 SGD加入微分项 ...
分类：
其他好文 时间：
2020-01-27 19:11:38
阅读次数：
91
BP 4 大核心公式推导, 即损失函数对 输出层, 中间层, 偏置, 权值 的梯度(误差) ...
分类：
编程语言 时间：
2020-01-26 20:47:42
阅读次数：
136
1. 感知机模型 输入为实例的特征向量， 输出为实例的类别， 取+1和-1；感知机对应于输入空间中将实例划分为正负两类的分离超平面， 属于判别模型；导入基于误分类的损失函数；利用梯度下降法对损失函数进行极小化；感知机学习算法具有简单而易于实现的优点， 分为原始形式和对偶形式；1957年由Rosenb ...
分类：
其他好文 时间：
2020-01-26 11:40:01
阅读次数：
130
BP再次推导, 重点理解BP过程及变量定义, 尤其是将误差, 定义为 梯度, 这脑洞太大了. ...
分类：
编程语言 时间：
2020-01-25 23:39:38
阅读次数：
143
一般都是用机器学习、梯度下降或sklearn、pytorch来做函数拟合运算，今天介绍遗传编程，或称基因编程/GP，来做这个计算 最终就是构造一棵树AST，来表示运算的先后、权重： 具体原理可以参考这篇文章：https://blog.csdn.net/ocd_with_naming/article/ ...
分类：
其他好文 时间：
2020-01-25 23:34:32
阅读次数：
89
在《手写数字识别——手动搭建全连接层》一文中，我们通过机器学习的基本公式构建出了一个网络模型，其实现过程毫无疑问是过于复杂了——不得不考虑诸如数据类型匹配、梯度计算、准确度的统计等问题，但是这样的实践对机器学习的理解是大有裨益的。在大多数情况下，我们还是希望能多简单就多简单地去搭建网络模型，这同时也 ...
在上一篇中，我们回顾了先知的方法，但是在这个案例中表现也不是特别突出，今天介绍的是著名的l s t m算法，在时间序列中解决了传统r n n算法梯度消失问题的的它这一次还会有令人杰出的表现吗？ 长短期记忆(Long Short-Term Memory) 是具有长期记忆能力的一种时间递归神经网络(Re ...
分类：
其他好文 时间：
2020-01-24 22:31:49
阅读次数：
287
