假设给定m个训练样本的训练集，用梯度下降法训练一个神经网络，对于单个训练样本(x,y)，定义该样本的损失函数：那么整个训练集的损失函数定义如下：第一项是所有样本的方差的均值。第二项是一个归一化项（也叫权重衰减项），该项是为了减少权连接权重的更新速度，防止过拟合。我们的目标是最小化关于W和 b 的函数...
分类：
编程语言 时间：
2014-10-13 02:27:02
阅读次数：
310
此组寄存器主要设置某个中断对应的目标处理器，即某个中断应该发往哪个处理器进行处理；和上一组优先级设置寄存器一样，本组寄存器同样是每个寄存器可以设置4个中断的目标处理器，每个中断有8个bit位可进行设置；此组寄存器的个数同样也由GICD_TYPER.ITLinesNumber决定，为(8*(GICD_TYPER.ITLinesNumber+1))个.
相对偏移区间为0x800-0xbf8；每个寄...
分类：
其他好文 时间：
2014-10-12 23:17:38
阅读次数：
430
1. 例子引入：如上篇的play or not 例子。未知分类的样本：D:, 是 or 否？我们要判断该样本的分类，即比较该样本属于是的概率大还是否的概率大 P(是/否|A=sunny, B=cool, C=high ,D=strong)P(是|A=sunny, B=cool, C=high ,D=...
分类：
编程语言 时间：
2014-10-12 22:01:08
阅读次数：
488
1、k-近邻算法算法原理：存在一个样本数据集（训练样本集），并且我们知道样本集中的每个数据与其所属分类的对应关系。输入未知类别的数据后将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似（最近邻）的k组数据。然后将k组数据中出现次数最多的分类，来作为新数据的分类。算法步...
分类：
其他好文 时间：
2014-10-12 20:39:28
阅读次数：
199
整理了一下最近对协同过滤推荐算法中的皮尔森相似度计算，顺带学习了下R语言的简单使用，也复习了概率统计知识。一、概率论和统计学概念复习1）期望值（Expected Value）因为这里每个数都是等概率的，所以就当做是数组或向量中所有元素的平均数吧。可以使用R语言中函数mean()。2）方差（Variance）方差分为population variance总体方差和sample variance样本方...
分类：
编程语言 时间：
2014-10-12 16:35:38
阅读次数：
1714
对于$D$维数据集$X$，若其样本$\boldsymbol{x}$服从$\mathcal{N} (\boldsymbol{x} | \boldsymbol{\mu}, \boldsymbol{A})$，那么用极大似然法对协方差矩阵$\boldsymbol{A}$进行估计时，则不可避免会遇到\be.....
分类：
其他好文 时间：
2014-10-12 04:37:17
阅读次数：
286
1. 偏差和方差平衡在线性回归中，对于同一个数据集，可以拟合出简单的线性模型或者较为复杂一些的多项式例如：图中的训练样本是一致的，但是可以拟合出不同的模型。最右边图中拟合出的5阶多项式，并不见得就是一个好模型，虽然该模型能够准确预测出样本点的y值,因为这种模型过分拟合了训练样本（过拟合），当对非训练...
分类：
其他好文 时间：
2014-10-12 01:39:27
阅读次数：
272
原文:算法---大整数相加 开通博客开始第一次写发表算法博客。深知一半算法考试都是用C,C++，由于大四开始到今年毕业工作到现在一直从事C#开发，C++用得很少了。链表，指针也只知道一个概念了。用得没以前熟练了。所以后续更新的算法题我都是基于C#语法的。算法主要体现的是解题思路。跟题目一样，本次算法...
分类：
编程语言 时间：
2014-10-12 00:28:26
阅读次数：
285
Xpath快速解析 如题一样，本篇主要说说Xpath快速查找XML文档 * Xpatn、Xquery，是专门用来查询xml的语言 * 查询xml非常快 Xpatn、Xquery，是专门用来查询xml的语言 查询xml非常快 下面主要记录一下w2school 上面学习的笔记 XPa...
分类：
其他好文 时间：
2014-10-11 20:44:46
阅读次数：
184
混合高斯模型和EM算法 这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。 与K-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，...
分类：
编程语言 时间：
2014-10-11 17:15:25
阅读次数：
231
