softmax回归用来解决K类分类问题，其实就是logistic回归的扩展。注意：1.对于sigmod函数g(x)，当x∈[-1,1]时效果比较好。所以先把样本数据进行归一化(本例中就是对每一个数都除以10)2.这次的参数θ不再是一维的向量了而是二维的矩阵: tt[1..CLS][1..LEN] ....
分类：
其他好文 时间：
2015-06-20 00:19:19
阅读次数：
278
深度神经网络结构以及Pre-Training的理解Logistic回归、传统多层神经网络1.1 线性回归、线性神经网络、Logistic/Softmax回归线性回归是用于数据拟合的常规手段，其任务是优化目标函数：h(θ)=θ+θ1x1+θ2x2+....θnxn线性回归的求解法通常为两种：①解优化多...
分类：
其他好文 时间：
2015-06-19 18:29:17
阅读次数：
227
此次主要由自我学习过度到深度学习，简单记录如下：
(1)深度学习比浅层网络学习对特征具有更优异的表达能力和紧密简洁的表达了比浅层网络大的多的函数集合。
(2)将传统的浅层神经网络进行扩展会存在数据获取、局部最值和梯度弥散的缺点。
(3)栈式自编码神经网络是由多层稀疏自编码器构成的神经网络(最后一层采用的softmax回归或者logistic回归分类)，采用逐层贪婪的训练方法得到初始的参数，这...
分类：
其他好文 时间：
2015-06-11 14:41:24
阅读次数：
594
1：softmax回归
当p(y|x,theta)满足多项式分布，通过GLM对其进行建模就能得到htheta(x)关于theta的函数，将其称为softmax回归。教程中已经给了cost及gradient的求法。需要注意的是一般用最优化方法求解参数theta的时候，采用的是贝叶斯学派的思想，需要加上参数theta。
习题答案：
(1) 数据加载——————代码已给
(2) %% STEP ...
分类：
其他好文 时间：
2015-06-09 21:54:11
阅读次数：
226
在Oracle 中我们知道有一个 Hierarchical Queries 通过CONNECT BY 我们可以方便的查了所有当前节点下的所有子节点。但很遗憾，在MySQL的目前版本中还没有对应的功能。在MySQL中如果是有限的层次，比如我们事先如果可以确定这个树的最大深度是4, 那么所有节点为根的树...
分类：
数据库 时间：
2015-06-05 19:13:13
阅读次数：
218
3 External assertion files Syntax1 vunit name (hierarchical_HDL_design_unit)2 {3 default clock is ;4 ;5 ...6 } Example1 vunit check_dram_cont...
分类：
其他好文 时间：
2015-06-03 21:23:40
阅读次数：
121
要实现的部分为：forward prop, softmax函数的cost function，每一层的gradient，以及penalty cost和gradient。forwad propforward prop是输入sample data，使sample data通过神经网络后得到神经网络输出的过...
分类：
Web程序 时间：
2015-05-25 21:58:07
阅读次数：
203
笔者实力有限，诸多错误之处还望指出。
SAE与DBN两个都可以用于提取输入集特征的算法。
SAE是由多个Spase AutoEncoder堆叠而成，单个Spase AutoEncoder的结构如下：
在堆叠成SAE时的结构如下：
以上SAE的结构可以化分为两个sparse autoencoder和一个 softmax（这里不讨论softmax）.其中的两个sparse autoenc...
分类：
数据库 时间：
2015-05-25 14:43:49
阅读次数：
1356
今天太长姿势了，什么叫懂了也写不出代码说的不就是我吗，就那么几行代码居然叽叽歪歪写了一个小时。首先exercise要实现的是softmax的cost function和gradient，如下图：（1）（2）（3）下面就来仔细分析怎么不借助for循环高效的实现上面三个函数。首先P是一个关键，因为在J和...
分类：
其他好文 时间：
2015-05-23 16:43:39
阅读次数：
187
Problem DescriptionThere is going to be a party to celebrate the 80-th Anniversary of the Ural State University. The University has a hierarchical str...
分类：
其他好文 时间：
2015-05-21 23:57:35
阅读次数：
308
