在神经网络中，我们经常会用到 back propagation 算法来训练神经网络，根据网络的loss 函数，对网络
中的权值(weights)与偏移量(bias)求导，根据导数对权值与偏移量进行更新。
本文总结一下神经网络中，常用的几种 loss 函数，以及该 loss 函数的导数。假设输出层的值为：
f=wx+b f=wx+b
ww 是权值， bb 是偏移量， xx 是上一个...
分类：
其他好文 时间：
2016-06-21 07:35:05
阅读次数：
208
文章结构 一、引言 二、 二分类 线性可分 2）处理数据中的outliers 3）非线性可分，核函数 4）SVM的另一种解释Hinge Loss 三、多分类 1. Introduction 支持向量机（Support Vector Machine，SVM）是定义在特征空间中的最大间隔线性分类器，对于 ...
分类：
其他好文 时间：
2016-05-29 18:03:35
阅读次数：
127
linear classification上节中简单介绍了图像分类的概念，并且学习了费时费内存但是精度不高的knn法，本节我们将会进一步学习一种更好的方法，以后的章节中会慢慢引入神经网络和convolutional neural network。这种新的算法有两部分组成：
1. 评价函数score function，用于将原始数据映射到分类结果
2. 损失函数loss function， 用于定...
分类：
Web程序 时间：
2016-05-27 12:17:33
阅读次数：
368
本体的存储方法或称本体持久化，大致分为基于内存的方式、基于文件的方式、基于数据库的方式和专门的管理工具方式4种(傅柱等, 2013)。其中，基于数据库的方式又有基于关系数据库、基于面向对象数据库、基于Native XML数据库和基于NoSQL的三元组数据库（Triple Store）4种主要方式。基 ...
分类：
数据库 时间：
2016-05-25 10:59:16
阅读次数：
1680
比如现在要添加一个vision layer，名字叫Ly_Layer：（一般命名第一个字母大写，其余小写。） 1、属于哪个类型的layer（共五种：common_layer, data_layer, loss_layer, neuron_layer, vision_layer ），就打开哪个 hpp文 ...
分类：
其他好文 时间：
2016-05-22 18:06:23
阅读次数：
298
/*稀疏矩阵的压缩存储、转置、快速转置*/
#include<iostream>
usingnamespacestd;
#include<vector>
//三元组
template<classT>
structTriple
{
size_t_row;
size_t_col;
T_value;
Triple(size_trow=0,size_tcol=0,constT&value=T())
:_row(row)..
分类：
编程语言 时间：
2016-05-21 16:07:05
阅读次数：
629
CS231n - CNN for Visual Recognition Assignment1 —- SVM做不出来， 我抄别人的……O(∩_∩)O~
linear_svm.py
import numpy as np
from random import shuffledef svm_loss_naive(W, X, y, reg):
"""
Structured SVM loss func...
分类：
其他好文 时间：
2016-05-13 01:20:00
阅读次数：
482
#include<iostream>
#include<vector>
template<classT>
structTriple
{
T_value;
size_t_row;
size_t_col;
Triple(constT&t=T(),size_trow=0,size_tcol=0)
:_value(t)
,_row(row)
,_col(col)
{}
};
template<classT>
classSpareMat..
分类：
编程语言 时间：
2016-05-11 20:11:50
阅读次数：
185
上周五实验课上，老师要求我们给自己的虚拟机添加新网卡，主机虚拟网络地址为192.168.56.1，DHCP的地址范围是192.168.56.101到192.168.56.254. 之后在Ubuntu下输入ping 192.168.56.1 结果100%loss 我又试着去ping 192.168.5 ...
分类：
系统相关 时间：
2016-05-06 00:20:22
阅读次数：
212
Tutorial: Triplet Loss Layer Design for CNN Xiao Wang Recently, I meet a ...
分类：
其他好文 时间：
2016-05-02 15:32:17
阅读次数：
576
