Siamese network 训练神经网络存在两种形式： 第一种：通过Siamese network 和 三元组损失函数 来训练图片之间的间隔 第二种： 通过Siamese network 和 sigmoid函数来实现二分类的训练 第一种情况： 在最后一层使用得是128， 1， d(x(1), x ...
分类：
编程语言 时间：
2018-10-15 14:28:59
阅读次数：
845
通用的损失函数最优化的数值方法，来源于泰勒展开式，多元函数的泰勒展开式为： 一、一阶逼近与一阶方法 一阶泰勒展开式： 其中，是代表了β变化的可能性，t在之后说到的梯度下降方法中演变成了学习速率。 现在，我们需要第二项最小，向量内积，最小为-|梯度||a|，这就是β的改变量。梯度的方向是函数在给定点上 ...
分类：
编程语言 时间：
2018-10-15 12:15:11
阅读次数：
186
1）机器学习模型理解 统计学习，神经网络 2）预测结果的衡量 代价函数（cost function）、损失函数（loss function） 3）线性回归是监督学习 ...
分类：
编程语言 时间：
2018-10-14 22:01:05
阅读次数：
230
softmax loss: N是样本的数量，i代表第i个样本，j代表第j个类别，fyi代表着第i个样本所属的类别的分数 fyi是全连接层的输出，代表着每一个类别的分数， 每一个分数即为权重W和特征向量X的内积 每个样本的softmax值即为： L-softmax loss: 假设一个2分类问题，x属 ...
分类：
其他好文 时间：
2018-10-12 13:57:31
阅读次数：
1385
3. 支持向量机 3.1 本质 基本模型是定义在特征空间上的间隔最大的线性分类器。核技巧使之成为实质上的非线性分类器。 学习策略是间隔最大化，可形式化为求解凸二次优化问题。等价于正则化的合页损失函数的最小化问题。 学习算法是求解凸二次规划的最优化算法。 理解支持向量机可以从简至繁推进：线性可分支持向 ...
分类：
其他好文 时间：
2018-10-10 01:00:30
阅读次数：
215
感知机模型是一个二分类的线性分类模型。其输入为实例的特征峰向量。输出是实例的类别，取+1和-1两种值。感知机对应于输入空间中讲实例划分为正负两类的分离超平面，属于判别模型。其判别函数为： w是超平面的法向量，b是超平面的截距。 如图 其损失函数的选择是误分点到决策面的距离。因此决策面可以有多个。感知 ...
分类：
编程语言 时间：
2018-10-09 12:16:39
阅读次数：
220
第一种形式：y=0/1 第二种形式：y=+1/-1 第一种形式的损失函数可由极大似然估计推出: 第二种形式的损失函数： ， 参考：https://en.wikipedia.org/wiki/Loss_functions_for_classification ...
分类：
其他好文 时间：
2018-10-08 00:50:01
阅读次数：
893
import numpy as np import tensorflow as tf y_pred = np.array([[1], [2], [3]],dtype=np.float32) y_real = np.array([[1], [1], [1]]) bias = np.array([1,2 ...
分类：
其他好文 时间：
2018-10-07 00:38:03
阅读次数：
395
L1和L2正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过你和而加在损失函数后面的一项。 L1是模型的各个参数的绝对值之和 L2是模型各个参数的平方和的开方值 区别： 从图形上理解：应为最优的参数值很大概率出现在坐标轴上，这样就导致某一维的权重为0，产生稀疏权重矩阵。 从贝叶斯的角度理解：加 ...
分类：
其他好文 时间：
2018-10-02 20:33:11
阅读次数：
266
1. Dropout简介 1.1 Dropout出现的原因 在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测 ...
分类：
其他好文 时间：
2018-09-27 19:46:08
阅读次数：
196
