全文转载自： softmax的log似然代价函数（公式求导） 在人工神经网络（ANN）中，Softmax通常被用作输出层的激活函数。这不仅是因为它的效果好，而且因为它使得ANN的输出值更易于理解。同时，softmax配合log似然代价函数，其训练效果也要比采用二次代价函数的方式好。 1. softm ...
分类：
其他好文 时间：
2017-11-10 18:39:44
阅读次数：
146
最近的一个项目，要求导出Visio图纸，因为是建筑类的，所以，需要设置墙壁，门，房间等信息的参数。 拿墙壁为例，选中墙壁模型，右键属性，会弹出以下对话框。 需要设置墙长、墙壁厚度等一些列信息。 现在C#操作Visio里例子比较少，所以，花了好久，都没有看到有用的帖子，直到今天下午，在Bing里发现了 ...
NDArray可以很方便的求解导数，比如下面的例子：（代码主要参考自https://zh.gluon.ai/chapter_crashcourse/autograd.html） 用代码实现如下： 对控制流求导 NDArray还能对诸如if的控制分支进行求导，比如下面这段代码： 数学公式等价于： 这样 ...
分类：
其他好文 时间：
2017-11-04 16:27:02
阅读次数：
134
1. 定义 如果对于随机变量X的分布函数F(x),存在非负函数f(x),使得对于任意实数有 则称X为连续型随机变量，其中F(x)称为X的概率密度函数，简称概率密度。（f(x)>=0,若f(x)在点x处连续则F(x)求导可得）f(x)并没有很特殊的意义，但是通过其值得相对大小得知，若f(x)越大，对于 ...
分类：
其他好文 时间：
2017-11-01 18:52:20
阅读次数：
133
最近同事讨论到mae无法作为objective function的事情，因为mae无法求导。用mse作为objective，使用mae作为eval是通常的做法，但是优化不太好。就在网上找了些资料，看是否有好的objective来代替mae的，整理如下： kaggle上的讨论 https://www. ...
分类：
其他好文 时间：
2017-11-01 13:35:24
阅读次数：
163
这次来讲讲尼曼皮尔森决策（Neyman-Pearson），两类错误率和ROC曲线 在一些情况下，要求将一类的错误率控制在一个常数，满足此前提的情况下要求另一个错误率尽可能小，而与总的错误代价无关 这便是Neyman-pearson决策 关于求解过程，一般使用Lagrange乘子法 转化为另一类问题： ...
分类：
其他好文 时间：
2017-10-24 13:14:11
阅读次数：
125
主问题 (primal problem)具有 \(m\) 个等式约束和 \(n\) 个不等式约束，且可行域 \(\mathbb{D} \subset \mathbb{R}^d\)的非空优化问题 \[\begin{align}\min_x \ f(\boldsymbol{x}) \notag\\ s.... ...
分类：
其他好文 时间：
2017-10-22 22:02:11
阅读次数：
361
1、sigmoid函数 ? sigmoid函数，也就是s型曲线函数，如下： 函数： 导数： ? 上面是我们常见的形式，虽然知道这样的形式，也知道计算流程，不够感觉并不太直观，下面来分析一下。 1.1 从指数函数到sigmoid ? 首先我们来画出指数函数的基本图形： ? 从上图，我们得到了这样的几个 ...
分类：
其他好文 时间：
2017-10-16 16:46:52
阅读次数：
2739
1. Backpropagation：沿着computational graph利用链式法则求导。每个神经元有两个输入x、y，一个输出z，好多层这种神经元连接起来，这时候已知?L/?z，可以求出?L/?x = ?L/?z * ?z/?x，?L/?y = ?L/?z * ?z/?y。靠这种方式可以计算 ...
分类：
编程语言 时间：
2017-10-15 22:23:42
阅读次数：
188
1. Loss function是用来量化评估当前预测的好坏，loss function越小表明预测越好。 几种典型的loss function： 1）Multiclass SVM loss：一般的SVM是针对0、1两类标签，现在是把它拓展到n类标签。它的物理意义是：现在要预测一个样本的标签，根据之 ...
分类：
编程语言 时间：
2017-10-14 23:26:47
阅读次数：
217
