本文是《Neural networks and deep learning》概览 中第三章的一部分,讲机器学习/深度学习算法中常用的正则化方法。(本文会不断补充)正则化方法:防止过拟合,提高泛化能力在训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合)。其直观的表现如下图所示,随着训练过程,网络在training data上的error渐渐减小,但是在验证集上...
分类:
其他好文 时间:
2015-03-14 18:32:59
阅读次数:
63684
Robotic SortTime Limit: 6000/2000 MS (Java/Others)Memory Limit: 32768/32768 K (Java/Others) 【Problem Description】Somewhere deep in the Czech Technical...
分类:
其他好文 时间:
2015-03-13 20:25:11
阅读次数:
156
用N个串中找到最短的公共串(不要求连续,只要相对位置一样即可)
迭代加深搜索即可
剪枝:当前的深度+最少还有加深的深度是否大于限制的长度,若是,则退回。
#include "stdio.h"
#include "string.h"
const char ch[10]="ATCG";
int deep,n;
char s[10][10];
int pos[10];
int Max(...
分类:
其他好文 时间:
2015-03-13 18:52:07
阅读次数:
190
本文是《Neural networks and deep learning》概览 中第三章的一部分,讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为: 其中y是我们期望的输出,a为神经元的实际输出【 a=σ(z), where z=wx+...
分类:
其他好文 时间:
2015-03-13 14:27:18
阅读次数:
293
最近阅读了《Neural networks and deep learning》这本书(online book,还没出版),算是读得比较仔细,前面几章涉及的内容比较简单,我着重看了第三章《Improving the way neural networks learn》,涉及深度神经网络优化和训练的各种技术,对第三章做了详细的笔记(同时参考了其他资料,以后读到其他相关的论文资料也会补充或更改),欢迎有...
分类:
Web程序 时间:
2015-03-12 13:21:17
阅读次数:
189
原作者:zouxy09原文链接:http://blog.csdn.net/zouxy09/article/details/9993371Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现zouxy09@qq.comhttp://blog.csdn.net/zouxy09自己平时看...
分类:
其他好文 时间:
2015-03-10 21:19:19
阅读次数:
239
under review as a conference paper at ICLR 2015.Motivation:本文提出来一种regularization的方法,叫做FaMe (Factored Mean training). The proposed FaMe model aims to a...
分类:
Web程序 时间:
2015-03-10 18:58:58
阅读次数:
186
这是2014年nips workshop的一篇paper。这个paper号称他们提出了invariant dropout,可以对inputs和activation units的additive shift transform(我理解的其实就是加additive noise)具有不变性。通常如果在每一...
分类:
其他好文 时间:
2015-03-10 16:58:38
阅读次数:
162
C# 类型
引言
本文之初的目的是讲述设计模式中的 Prototype(原型)模式,但是如果想较清楚地弄明白这个模式,需要了解对象克隆(Object Clone),Clone其实也就是对象复制。复制又分为了浅度复制(Shallow Copy)和深度复制(Deep Copy),浅度复制 和 深度复制又是以 如何复制引用类型成员来划分的。由此又引出了 引用类型和 值类型,以及相关的对象判等...
JuergenSchmidhuber 是瑞士的一位牛人,主要贡献是rnn, lstm。google的deep mind新作,Human-level control through deep reinforcement learning一文出来,这位大神表达了不满。原因就是文章中提到说他们是第一次实现...
分类:
其他好文 时间:
2015-03-05 16:24:32
阅读次数:
153