softmax和分类模型 softmax的基本概念 分类问题 一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。 图像中的4像素分别记为 $x_1, x_2, x_3, x_4$ 假设真实标签为狗、猫或者鸡，这些标签对应的离散值为 $y_1, y_2, y_3$ 。 我们通常使用离散的 ...
分类：
其他好文 时间：
2020-02-14 22:32:45
阅读次数：
79
1 # 加载各种包或者模块 2 import torch 3 from torch import nn 4 from torch.nn import init 5 import numpy as np 6 import sys 7 sys.path.append("/home/kesci/input ...
分类：
其他好文 时间：
2020-02-14 22:19:49
阅读次数：
256
softmax和分类模型 内容包含： 1. softmax回归的基本概念 2. 如何获取Fashion MNIST数据集和读取数据 3. softmax回归模型的从零开始实现，实现一个对Fashion MNIST训练集中的图像数据进行分类的模型 4. 使用pytorch重新实现softmax回归模型 ...
分类：
其他好文 时间：
2020-02-14 20:37:12
阅读次数：
69
理论部分： softmax的基本概念 分类问题一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。图像中的4像素分别记为x1,x2,x3,x4。假设真实标签为狗、猫或者鸡，这些标签对应的离散值为y1,y2,y3。我们通常使用离散的数值来表示类别，例如y1=1,y2=2,y3=3。 权重矢 ...
分类：
其他好文 时间：
2020-02-14 20:30:48
阅读次数：
62
softmax和分类模型 内容包含： softmax回归的基本概念 如何获取Fashion-MNIST数据集和读取数据 softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型 使用pytorch重新实现softmax回归模型 softmax的基本概 ...
分类：
其他好文 时间：
2020-02-13 17:26:49
阅读次数：
77
一、什么是softmax？ 有一个数组S，其元素为Si ，那么vi 的softmax值，就是该元素的指数与所有元素指数和的比值。具体公式表示为： softmax回归本质上也是一种对数据的估计 二、交叉熵损失函数 在估计损失时，尤其是概率上的损失，交叉熵损失函数更加常用。下面是交叉熵 当我们预测单个物 ...
分类：
其他好文 时间：
2020-02-13 00:30:19
阅读次数：
115
很简单的一个问题，当softmax的变量过大或过小怎么办，比如 softmax([100,101,102])的结果是什么？ 有一个方法计算上溢的情况，也就是每个变量都减去最大值，然后做softmax， 所以softmax([100,101,102])和softmax([-2,-1,0])是一样的结果 ...
分类：
其他好文 时间：
2020-02-12 16:45:25
阅读次数：
85
卷积神经网络 整体结构 全连接层:相邻层的所有神经元之间都有连接 CNN的结构 Convolution层 ReLU层 Pooling层 靠近输出的层中使用了"Affine ReLU"组合 最后的输出层中使用了"Affine Softmax"组合 卷积层 全连接层存在的问题 数据的形状被忽视:图像向全 ...
分类：
其他好文 时间：
2020-02-05 18:03:02
阅读次数：
108
resnet的结构 f（x）=conv-》relu-》conv（x） +x 注意：pytorch的交叉熵输入是原始数据 不需要softmax resnet不能用dropout，最好用bn 将32*32*3 初始的5*5*6卷积核替换为3*3*16后，表现良好 输出：(W-Wf+2*Padding)/ ...
分类：
其他好文 时间：
2020-02-05 09:21:14
阅读次数：
70
1. softmax 损失函数：归一化指数函数，可以将一个K维向量z“压缩”到另一个K维实向量σ(z)中，使每一个元素的范围在(0,1)之间，并且所有元素的和为1。 softmax loss包含三个部分：指数化、归一化、取-log(x) ①指数化：是指将一个样本中各个分类的得分指数化，使得各分类的得 ...
分类：
其他好文 时间：
2020-01-22 23:57:32
阅读次数：
245
