在进行参数估计的时候， 常用到最大似然估计，其形式很简单，对于含有N个样本的训练数据集DN，假设样本独立同分布，分布参数为，则似然概率定义如下： 简单说就是参数为时训练集出现的概率，然后我们根据不同的分布形式求导，得到参数的最有值使得似然概率最大。 贝叶斯学习过程不同之处在于，一开始并不试图去求解一...
分类：
其他好文 时间：
2015-07-08 09:27:00
阅读次数：
96
设计函数求一元多项式的导数。（注：xn（n为整数）的一阶导数为n*xn-1。）输入格式：以指数递降方式输入多项式非零项系数和指数（绝对值均为不超过1000的整数）。数字间以空格分隔。输出格式：以与输入相同的格式输出导数多项式非零项的系数和指数。数字间以空格分隔，但结尾不能有多余空格。注意“零多项式”...
分类：
其他好文 时间：
2015-07-07 12:40:12
阅读次数：
147
最近在看李航的统计学习方法P11时发现一个多项式函数拟合问题觉得公式的推导有问题，于是看了一些资料发现这里的推倒是有错误的，用python编程验证后发现按书上的求导结果拟合后的函数图像完全不对，下面给出正确的推导结果和对应的python实现与拟合效果。...
分类：
其他好文 时间：
2015-07-05 09:41:04
阅读次数：
342
本文主要讲解基本最小二乘法和带有约束条件的最小二乘法。
一 基本最小二乘法
最小二乘法是回归中最为基础的算法。它是对模型的输出和训练样本输出的平方误差（这里还乘以了1/2只是为了求导简化）为最小时的参数 进行学习。
特别地，对于线性模型有：
求导可得：
其中设计矩阵：
%基本最小二乘法
clear all;
close all;
n = 50;
N ...
分类：
其他好文 时间：
2015-07-04 23:34:03
阅读次数：
157
A note on matrix implementations将J对softmax的权重W和每个word vector进行求导：尽量使用矩阵运算（向量化），不要使用for loop。模型训练中有两个开销比较大的运算：矩阵乘法f=Wx和指数函数expSoftmax(=logistic regression) is not very powerfulsoftmax只是在原来的向量空间中给出了一些lin...
分类：
其他好文 时间：
2015-07-04 22:20:10
阅读次数：
283
从上一篇可知，在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小，从而确定h(θ).
上一篇通过梯度下降法求得J(θ)最小，这篇我们将使用矩阵的方法来解释。
1、普通最小二乘法
利用矩阵的方式，m个训练集（x,y）可以如下表示：
因此,所以
根据 可知，
为使J(θ)最小，通过求导推导可得：
...
分类：
其他好文 时间：
2015-07-02 12:09:01
阅读次数：
207
Y = A * X --> DY/DX = A'Y = X * A --> DY/DX = AY = A' * X * B --> DY/DX = A * B'Y = A' * X' * B --> DY/DX = B * A'于是把以前学过的矩阵求导部分整理一下：1. 矩阵Y对标量x求导：相当于每...
分类：
其他好文 时间：
2015-07-01 23:30:27
阅读次数：
189
设计函数求一元多项式的导数。（注：xn（n为整数）的一阶导数为n*xn-1。）输入格式：以指数递降方式输入多项式非零项系数和指数（绝对值均为不超过1000的整数）。数字间以空格分隔。输出格式：以与输入相同的格式输出导数多项式非零项的系数和指数。数字间以空格分隔，但结尾不能有多余空格。注意“零多项式”...
分类：
其他好文 时间：
2015-06-27 23:58:05
阅读次数：
162
02-线性结构1. 一元多项式求导 (25)设计函数求一元多项式的导数。（注：xn（n为整数）的一阶导数为n*xn-1。）输入格式：以指数递降方式输入多项式非零项系数和指数（绝对值均为不超过1000的整数）。数字间以空格分隔。输出格式：以与输入相同的格式输出导数多项式非零项的系数和指数。数字间以空格...
分类：
其他好文 时间：
2015-06-15 18:03:02
阅读次数：
191
业务需求最近给公司做一个小工具，把某个数据库（数据源）的数据导进另一个数据（目标数据库）。要求导入目标数据库的数据不能出现重复。但情况是数据源本身就有重复的数据。所以要先清除数据源数据。于是就把关于重复数据的查询和处理总结一下。这里只可虑基于数据库解决方案。不考虑程序的实现。环境为：SQL Serv...
分类：
数据库 时间：
2015-06-12 19:06:07
阅读次数：
163
