把输入值当成幂指数求值，再正则化这些结果值。这个幂运算表示，更大的证据对应更大的假设模型（hypothesis）里面的乘数权重值。反之，拥有更少的证据意味着在假设模型里面拥有更小的乘数系数。假设模型里的权值不可以是0值或者负值。Softmax然后会正则化这些权重值，使它们的总和等于1，以此构造一个有 ...
分类：
其他好文 时间：
2017-09-28 20:48:34
阅读次数：
149
有时我想：如果我能复制好几份，每个自己都活在不同的平行宇宙多好。人都有永恒不朽的愿望，也有尽善尽美的追求。我们的征途是星辰大海，然而现实中常在泥潭里打滚……想起了一个笑话：Arguing with an Engineer is a lot like wrestling in the mud with ...
分类：
其他好文 时间：
2017-09-24 20:25:39
阅读次数：
239
均值归一化可以让算法运行得更好。 现在考虑这样一个情况：一个用户对所有的电影都没有评分，即上图所示 的Eve用户。现在我们要学习特征向量（假设n=2） 以及用户5的向量θ(5),因为用户Eve没有对任何电影打分，所以前面的一项为0，只有后面正则化的项，所以影响θ取值的只有后面的θ的正则化的项。所以要 ...
分类：
其他好文 时间：
2017-09-19 22:52:27
阅读次数：
225
实验需要，在一个含有几亿个字符的txt文件中查找特定的字符串，首先用re模块进行查找 re.finditer(filename, label_str)可以在label_str中查找filename的位置，s=match.start()返回字符串开始的索引，e=match.end()，返回字符串结束的 ...
分类：
编程语言 时间：
2017-09-12 13:54:54
阅读次数：
214
xent_regularize, Cross Entropy Regularize nnet3/nnet-discriminative-trainning.cc:109 void NnetDiscriminativeTrainer::ProcessOutputs() 交叉熵正则化，即帧平滑 《解读深... ...
分类：
其他好文 时间：
2017-09-09 23:13:18
阅读次数：
326
第一周 深度学习的实用层面 1.1 训练、验证、测试集 应用机器学习是个高度迭代的过程：想法 >编码 >实验 （1）神经网络的层数 （2）隐含层神经元个数 （3）学习率 （4）激励函数 小规模数据：训练集70%，验证集30% 或者 训练60% 验证20% 测试20% 大规模数据：训练90%以上 注： ...
分类：
其他好文 时间：
2017-09-09 21:00:32
阅读次数：
200
文章导读： 1.交叉熵损失函数 1.1 交叉熵损失函数介绍 1.2 在MNIST数字分类上使用交叉熵损失函数 1.3 交叉熵的意义以及来历 1.4 Softmax 2. 过拟合和正则化 2.1 过拟合 2.2 正则化 2.3 为什么正则化可以减轻过拟合问题 2.4 正则化的其它方法 3. 参数初始化 ...
分类：
编程语言 时间：
2017-09-07 18:16:36
阅读次数：
878
恢复内容开始 学习正则化 一下知识需要全部掌握： 1.线性回归 2.逻辑回归 接下来的笔记中，将假设上面的基础知识全部掌握的程度讲解： 学习 正则化 首先 我们需要知道为什么学习正则化！ 无论是我们在进行线性拟合 还是逻辑拟合的时候，都会发生以下三种情况： . 根据图可以看到3中情况，我们来说明以下 ...
分类：
其他好文 时间：
2017-09-06 14:36:09
阅读次数：
137
