1、线性回归 回归的目的是预测数值型数据的目标值。目标值的计算是通过一个线性方程得到的，这个方程称为回归方程，各未知量（特征）前的系数为回归系数，求这些系数的过程就是回归。 对于普通线性回归使用的损失函数一般为平方误差。把其用最小二乘法进行优化得到的关于系数w求导所得到的矩阵形式的表达式求得的w便为 ...
分类：
其他好文 时间：
2019-06-23 16:10:10
阅读次数：
139
定义：表示神经网络性能的“恶劣程度”的指标，即当前的神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。 均方误差 yk 是表示神经网络的输出，tk 表示监督数据，k 表示数据的维数。 代码实现 交叉熵误差 代码实现： mini-batch使用损失函数 计算损失函数时必须将所有的训练数据作为对 ...
分类：
其他好文 时间：
2019-06-21 12:34:48
阅读次数：
125
终于明白了反向传播的意义。 核心要明白一个概念就是求导就是要通过构建的正向链，然后再通过反向链求导数值。 为什么要求导数值？因为要求最小值。求什么最小值？ 求的是损失函数的最小值，可以通过数值方式（倒数公式）来进行求导，也可以通反向传播的方式来求导。 为什么要求损失函数的极值？ 因为要通过损失函数的 ...
分类：
其他好文 时间：
2019-06-09 00:48:43
阅读次数：
127
1、神经网络中损失函数和优化函数的作用 训练出一个网络模型之后如何对模型进行评估？往往是衡量预测值与真实值之间的差异程度，这就是通过损失函数来完成的。另外损失函数也是神经网络中优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数越小，说明模型的预测值就越接近真实值，模型的准确 ...
分类：
其他好文 时间：
2019-06-06 00:16:53
阅读次数：
371
● 分层抽样的适用范围 参考回答： 分层抽样利用事先掌握的信息,充分考虑了保持样本结构和总体结构的一致性,当总体由差异明显的几部分组成的时候,适合用分层抽样。 ● LR的损失函数 参考回答： M为样本个数,为模型对样本i的预测结果,为样本i的真实标签。 ● LR和线性回归的区别 参考回答： 线性回归 ...
分类：
编程语言 时间：
2019-06-03 21:45:15
阅读次数：
198
LSTM特性, CNN特性, 损失函数, paper, 项目 ...软件 激活函数: -> sigmod: 硬饱和性, y(0,1), 斜率趋于0;-> tanh: 软饱和性, y(-1,1), 虽然输出均值为0， 可以更快收敛, 但斜率依然会趋于0;-> relu: 当x<0时, 存在硬饱和, y ...
分类：
编程语言 时间：
2019-06-03 14:05:10
阅读次数：
197
前言 感知器是分类的线性分类模型，其中输入为实例的特征向量，输出为实例的类别，取+1或-1的值作为正类或负类。感知器对应于输入空间中对输入特征进行分类的超平面，属于判别模型。 通过梯度下降使误分类的损失函数最小化，得到了感知器模型。 本节为大家介绍实现感知机实现的具体原理代码: 学习从来不是一个人的 ...
分类：
编程语言 时间：
2019-06-01 23:08:03
阅读次数：
230
学习率 learning_rate：表示了每次参数更新的幅度大小。学习率过大，会导致待优化的参数在最 小值附近波动，不收敛；学习率过小，会导致待优化的参数收敛缓慢。 在训练过程中，参数的更新向着损失函数梯度下降的方向。 参数的更新公式为： 𝒘𝒏+𝟏 = 𝒘𝒏 ? 𝒍𝒆𝒂𝒓𝒏𝒊? ...
分类：
其他好文 时间：
2019-06-01 21:17:11
阅读次数：
121
目录 大白话5分钟带你走进人工智能-第一节开篇介绍以及线性回归简介篇 大白话5分钟带你走进人工智能-第二节概率基础及高斯分布 大白话5分钟带你走进人工智能-第三节最大似然推导mse损失函数（深度解析最小二乘来源）（1） 大白话5分钟带你走进人工智能-第四节最大似然推导mse损失函数（深度解析最小二乘 ...
分类：
其他好文 时间：
2019-05-27 10:29:12
阅读次数：
152
1. 线性回归的模型函数和损失函数 对于m个样本，n维特征， 如果y是连续的，则是回归问题，否则是分类问题。 它的线性回归模型是： θi (i = 1,2...n)是参数，xi (i = 1,2...n)是每个样本的n个特征。 这里增加一个特征 x0 = 1，得到 矩阵形式的线性回归模型：hθ(x) ...
分类：
其他好文 时间：
2019-05-22 15:34:57
阅读次数：
94
