URL:http://ydwen.github.io/papers/WenECCV16.pdf这篇论文主要的贡献就是提出了Center Loss的损失函数，利用Softmax Loss和Center Loss联合来监督训练，在扩大类间差异的同时缩写类内差异，提升模型的鲁棒性。为了直观的说明softm... ...
分类：
移动开发 时间：
2019-12-25 23:34:57
阅读次数：
108
1.作用 L2的作用是防止参数太大。 2.求导过程 Wij是参数矩阵 假设神经网络表达式如下 使用绝对值损失，对应的y'是true label 加入L2损失，损失函数变为如下 按照链式求导法则，损失L对W的导数如下： 新参数的更新如下： 同理可以对bias有L2损失。 ...
分类：
其他好文 时间：
2019-12-25 17:53:29
阅读次数：
524
时间过得很快，这篇文章已经是机器学习入门系列的最后一篇了。短短八周的时间里，虽然对机器学习并没有太多应用和熟悉的机会，但对于机器学习一些基本概念已经差不多有了一个提纲挈领的了解，如分类和回归，损失函数，以及一些简单的算法——kNN算法、决策树算法等。 那么，今天就用聚类和K Means算法来结束我们 ...
分类：
编程语言 时间：
2019-12-23 13:09:39
阅读次数：
82
系列博客，原文在笔者所维护的github上：https://aka.ms/beginnerAI， 点击star加星不要吝啬，星越多笔者越努力。 第2章 神经网络中的三个基本概念 2.0 通俗地理解三大概念 这三大概念是：反向传播，梯度下降，损失函数。 神经网络训练的最基本的思想就是：先“猜”一个结果 ...
分类：
其他好文 时间：
2019-12-20 11:52:06
阅读次数：
460
import torch import torch.nn as nn import torch.utils.data as data import torchvision.transforms as TF import torchvision.utils as vutils import torch ...
分类：
其他好文 时间：
2019-12-20 00:58:25
阅读次数：
340
import tensorflow as tf # 1. sparse_softmax_cross_entropy_with_logits样例。 # 假设词汇表的大小为3， 语料包含两个单词"2 0" word_labels = tf.constant([2, 0]) # 假设模型对两个单词预测时，... ...
分类：
编程语言 时间：
2019-12-19 16:16:25
阅读次数：
116
在吴恩达 人工智能视频学习过程中，关于线性回归之标准方程法求损失函数最小值，比较经典的两处截图： 图1 图2 关于图2的证明，其实有个简单的思路。在电脑上打数字公式太为难了，我还是在纸上写吧： 先将图1的X矩阵转置为1行n列。那么就有 更详细的推演可以参考： https://blog.csdn.ne ...
分类：
其他好文 时间：
2019-12-17 15:18:18
阅读次数：
167
线性回归的定义 利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式 线性回归的分类 线性关系 非线性关系 损失函数 最小二乘法 线性回归优化方法 正规方程 梯度下降法 正规方程 -- 一蹴而就 利用矩阵的逆,转置进行一步求解 只是适合样本和特征比较少的情 ...
总结对比下$L_1$ 损失函数，$L_2$ 损失函数以及$\text{Smooth} L_1$ 损失函数的优缺点。 均方误差MSE ($L_2$ Loss) 均方误差（Mean Square Error,MSE）是模型预测值$f(x)$ 与真实样本值$y$ 之间差值平方的平均值，其公式如下 $$ M ...
分类：
其他好文 时间：
2019-12-11 13:33:45
阅读次数：
376
目录 简述 K-means聚类 密度聚类 层次聚类 一、简述 聚类算法是常见的无监督学习（无监督学习是在样本的标签未知的情况下，根据样本的内在规律对样本进行分类）。 在监督学习中我们常根据模型的误差来衡量模型的好坏，通过优化损失函数来改善模型。而在聚类算法中是怎么来度量模型的好坏呢？聚类算法模型的性 ...
分类：
编程语言 时间：
2019-12-02 14:04:05
阅读次数：
101
