1. softmax 损失函数：归一化指数函数，可以将一个K维向量z“压缩”到另一个K维实向量σ(z)中，使每一个元素的范围在(0,1)之间，并且所有元素的和为1。 softmax loss包含三个部分：指数化、归一化、取-log(x) ①指数化：是指将一个样本中各个分类的得分指数化，使得各分类的得 ...
分类：
其他好文 时间：
2020-01-22 23:57:32
阅读次数：
245
记录一下李宏毅机器学习课程关于对抗攻击的内容； 1、 一般模型training过程： 输入x_0，调整模型Network的参数θ，使得输出y_0和y_true的loss越小越好；损失函数：L_train(θ) = C(y_0, y_true) Non-targeted Attack： 固定模型Net ...
分类：
其他好文 时间：
2020-01-17 23:03:56
阅读次数：
83
参考：https://github.com/vandit15/Class-balanced-loss-pytorch 其中的class_balanced_loss.py: import numpy as np import torch import torch.nn.functional as F ...
分类：
其他好文 时间：
2020-01-15 19:13:33
阅读次数：
96
使用XGBoost实现多分类预测的实践代码 import pandas as pd import numpy as np import xgboost as xgb from sklearn.preprocessing import LabelEncoder from sklearn.model_s ...
分类：
其他好文 时间：
2020-01-15 00:03:53
阅读次数：
187
分布式锁 在实际应用场景中，我们可能有多个worker，可能在一台机器，也可能分布在不同的机器，但只有一个worker可以同时持有一把锁，这个时候我们就需要用到分布式锁了。 这里推荐python的实现库，Redlock-py (Python 实现). 正常情况下，worker获得锁后，处理自己的任务 ...
分类：
编程语言 时间：
2020-01-14 00:07:43
阅读次数：
119
[TOC] "He K, Zhang X, Ren S, et al. Deep Residual Learning for Image Recognition[C]. computer vision and pattern recognition, 2016: 770 778." @article ...
分类：
Web程序 时间：
2020-01-11 23:53:54
阅读次数：
171
根据已知特征值X和标签结果Y,我们利用线性回归模型（为了简化，作者以一元线性回归为例说明）可以得出 yi^=wxi+b。 损失函数：loss=Σ(yi-yi^)2 ，为了得到更加准确的拟合模型，我们的目标就转化为使损失函数loss最小，即： argmin loss=argmin Σ(yi-yi^)2 ...
分类：
其他好文 时间：
2020-01-11 14:57:31
阅读次数：
154
官方原理图 前向传播过程：将数据按照batch维度分发到各个GPU上（平均分配），而后将模型拷贝到GPU，各GPU并行前向传播，将各个输出(o1、02、03、04)汇总到总的GPU。 后向传播过程：在总GPU上并行计算得到损失，并得到初始梯度；将各梯度分发到各GPU；并行计算梯度；汇总梯度，更新网络 ...
分类：
其他好文 时间：
2020-01-11 00:36:46
阅读次数：
135
一 知识背景 3D scan&cloud points(点云）patch-based features，fully convolutional network, deep metric learning, sparse tensors,sparse convolutions, hard negeti ...
分类：
其他好文 时间：
2020-01-09 01:23:53
阅读次数：
148
前言 在 "上一讲" 中，我们通过分析选用了softmax模型，并用tf创建之。本讲的内容就是为了训练这个模型以便于测试。 训练模型 为了训练我们的模型，我们首先需要定义一个指标来评估这个模型是好的。其实，在机器学习，我们通常定义指标来表示一个模型是坏的，这个指标称为成本（cost）或损失（loss ...
分类：
其他好文 时间：
2020-01-07 00:54:44
阅读次数：
75
