以下信息均来自官网 损失函数的使用 损失函数（或称目标函数、优化评分函数）是编译模型时所需的两个参数之一： 你可以传递一个现有的损失函数名，或者一个 TensorFlow/Theano 符号函数。 该符号函数为每个数据点返回一个标量，有以下两个参数: y_true: 真实标签。TensorFlow/ ...
分类：
其他好文 时间：
2019-07-27 09:31:50
阅读次数：
145
Q1多维特征 上图中列数即为特征的个数，行数是样本数。函数假设如下： 其中x0=1。 Q2多变量梯度下降 和单变量的损失函数相同： 其中， 求导迭代如下： Q3梯度下降法实践1-特征缩放 特征之间的尺度变化相差很大（如一个是0-1000，一个是0-5），梯度算法需要非常多次的迭代才能收敛，如下图所示 ...
分类：
其他好文 时间：
2019-07-25 23:17:46
阅读次数：
127
1. 线性回归 1.1 算法原理 （1）情景：给定一定数量的数据点，通过拟合得到其回归直线，使得所有点到这个直线的距离之和（损失函数）最小。 即：已知各个点的坐标，反求直线表达式的最优系数解。 假定直线参数为θ，则直线表达式为： 得到的直线（平面）表达式应使得损失函数最小，其中损失函数表达式： （2 ...
分类：
其他好文 时间：
2019-07-23 15:32:54
阅读次数：
113
代码都有注释。适合初学者理解。 例子主要回归了一个自定义的函数 y = x2 本例子的网络结构： 搭建步骤： ① 定义图 ② 定义损失函数 ③ 定义会话，在会话中运行 ④训练 ⑤评估 ...
分类：
其他好文 时间：
2019-07-21 16:32:41
阅读次数：
71
范数在深度学习中的应用是作为损失函数正则化选项，从而减少模型的过拟合情况。在继续讲解正则化之前，我们先介绍欠拟合、过拟合的概念。 1 范数要解决的问题 过拟合现象 &n ...
分类：
其他好文 时间：
2019-07-21 13:27:03
阅读次数：
77
1 线性回归的模型 线性回归的模型十分的简单，就是对回归问题中每一个特征X乘以一个系数，使其拟合到输出Y，线性回归模型就是找到这样一组系数。 线性回归的模型如下： 其中x是数据的特征，是一个d维的列向量，是权重系数，也是一个d维的列向量，y是模型的输出 2 线性回归的损失函数 在做回归问题的时候，模 ...
分类：
其他好文 时间：
2019-07-21 13:24:18
阅读次数：
78
支持向量机原理(一) 线性支持向量机 支持向量机原理(二) 线性支持向量机的软间隔最大化模型 支持向量机原理(三)线性不可分支持向量机与核函数 支持向量机原理(四)SMO算法原理 支持向量机原理(五)线性支持回归 在支持向量机原理(一) 线性支持向量机中，我们对线性可分SVM的模型和损失函数优化做了... ...
分类：
其他好文 时间：
2019-07-19 18:59:11
阅读次数：
89
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量... ...
分类：
其他好文 时间：
2019-07-19 18:26:51
阅读次数：
102
''' 岭回归： 普通线性回归模型使用基于梯度下降的最小二乘法，在最小化损失函数的前提下，寻找最优模型参数， 在此过程中，包括少数异常样本在内的全部训练数据都会对最终模型参数造成程度相等的影响， 异常值对模型所带来影响无法在训练过程中被识别出来。为此，岭回归在模型迭代过程所依据的损失函数中增加了正则... ...
分类：
其他好文 时间：
2019-07-14 09:37:12
阅读次数：
140
前提 神经网络中有合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为学习。神经网络的学习分为下面4 个步骤。 步骤1（mini-batch） 从训练数据中随机选择一部分数据。步骤2（计算梯度） 计算损失函数关于各个权重参数的梯度。步骤3（更新参数） 将权重参数沿梯度方向进行微小的更新。步骤4 ...
分类：
其他好文 时间：
2019-06-24 21:14:50
阅读次数：
115
