前言在之前的关于回归问题的讨论中，笔者主要给出了一般原始的线性回归模型（主要以最小二乘法形式进行的）以及其它两种主流的线性回归模型的补充内容，它们主要是为了解决样本之间存在线性相关性的问题，包括岭回归和LASSO回归。一般而言，对于多分类问题，我们希望能将样本的..
分类：
其他好文 时间：
2017-10-17 12:40:19
阅读次数：
188
不管是GMM，还是k-means，都面临一个问题，就是k的个数如何选取？比如在bag-of-words模型中，用k-means训练码书，那么应该选取多少个码字呢？为了不在这个参数的选取上花费太多时间，可以考虑层次聚类。 假设有N个待聚类的样本，对于层次聚类来说，基本步骤就是： 1、（初始化）把每个样 ...
分类：
其他好文 时间：
2017-10-13 21:24:52
阅读次数：
217
原文在：http://dev.mysql.com/tech-resources/articles/hierarchical-data.html 来源： http://www.cnblogs.com/phaibin/archive/2009/06/09/1499687.html 译文:Yimin 引言 ...
分类：
数据库 时间：
2017-10-11 10:57:34
阅读次数：
204
tensorboard可以将训练过程中的一些参数可视化，比如我们最关注的loss值和accuracy值，简单来说就是把这些值的变化记录在日志里，然后将日志里的这些数据可视化。 首先运行训练代码 注意我将训练日志保存在 /home/xxx/logs/ 路径下，打开终端，输入以下命令 tensorboa ...
分类：
其他好文 时间：
2017-10-09 15:27:10
阅读次数：
360
二次代价函数(quadratic cost): 其中,C表示代价函数,x表示样本,y表示实际值,a表示输出值,n表示样本的总数。为简单起见,使用一个样本为例进行说明,此时二次代价函数为: 假如我们使用梯度下降法(Gradient descent)来调整权值参数的大小,权值w和偏置b的梯度推导如下: ...
分类：
其他好文 时间：
2017-10-08 11:16:07
阅读次数：
1235
做机器学习的同志们应该对这个都不陌生，这里简单举个例子。一般来说，使用softmax函数来将神经元输出的数值映射到0到1之间，这样神经元输出的值就变为了一个概率值。 公式和例子如下图 公式和例子如下图 ...
分类：
其他好文 时间：
2017-10-07 18:47:23
阅读次数：
109
logistic 函数： 二分类问题 softmax 函数： 将k维向量压缩成另一个k维向量，进行多分类，logistic 是softmax的一个例外 ...
分类：
其他好文 时间：
2017-10-01 18:09:57
阅读次数：
189
【softmax分类器的加速器】 https://www.tensorflow.org/api_docs/python/tf/nn/sampled_softmax_loss This is a faster way to train a softmax classifier over a huge ...
分类：
其他好文 时间：
2017-09-30 11:44:18
阅读次数：
360
Softmax回归是Logistic回归在多分类问题上的推广，是有监督的。 回归的假设函数（hypothesis function）为，我们将训练模型参数，使其能够最小化代价函数： 在Softmax回归中，我们解决的是多分类问题，类标y可以取k个不同的值。对于给定的测试输入x，我们想用假设函数针对每 ...
分类：
其他好文 时间：
2017-09-29 21:24:33
阅读次数：
181
把输入值当成幂指数求值，再正则化这些结果值。这个幂运算表示，更大的证据对应更大的假设模型（hypothesis）里面的乘数权重值。反之，拥有更少的证据意味着在假设模型里面拥有更小的乘数系数。假设模型里的权值不可以是0值或者负值。Softmax然后会正则化这些权重值，使它们的总和等于1，以此构造一个有 ...
分类：
其他好文 时间：
2017-09-28 20:48:34
阅读次数：
149
