1. 前言 现在的机器学习和深度学习中，在模型结构确定的情况下，不同的超参数的选择对整个结果的好坏有着至关重要的影响。不少人还嬉称人工智能工程师，其实是“调参侠”。 1.1 超参数 在模型开始学习过程之前人为设置值的参数，而不是（像bias、weights）通过训练可得到的参数数据。 这些参数定义关 ...
分类：
其他好文 时间：
2019-09-14 16:17:51
阅读次数：
112
https://www.zhihu.com/question/64134994 1、增加batch size会使得梯度更准确，但也会导致variance变小，可能会使模型陷入局部最优； 2、因此增大batch size通常要增大learning rate，比如batch size增大m倍，lr增大m ...
分类：
其他好文 时间：
2019-09-13 17:10:55
阅读次数：
105
当我们在机器学习领域进行模型训练时,出现的误差是如何分类的? 我们首先来看一下,什么叫偏差(Bias),什么叫方差(Variance): 这是一张常见的靶心图 可以看左下角的这一张图,如果我们的目标是打靶子的话,我们所有的点全都完全的偏离了这个中心的位置,那么这种情况就叫做偏差 再看右上角这张图片, ...
分类：
其他好文 时间：
2019-08-19 13:17:38
阅读次数：
138
个人感觉理解误差、偏置、方差的一个好的解释，感谢分享：https://baijiahao.baidu.com/s?id=1601092478839269810&wfr=spider&for=pc 该作者写的我感觉已经很容易懂了。 Error：反映的模型的准确度。误差越大，模型越不准确。 Bias：反 ...
分类：
其他好文 时间：
2019-08-18 15:21:35
阅读次数：
55
Conv1d(in_channels，out_channels，kernel_size，stride=1，padding=0，dilation=1，groups=1，bias=True) filters:卷积核的数目(即输出的维度) kernel_size:整数或由单个整数构成的list/tuple ...
分类：
其他好文 时间：
2019-07-30 09:26:24
阅读次数：
1006
CNN中最重要的就是参数了，包括W,b。 我们训练CNN的最终目的就是得到最好的参数，使得目标函数取得最小值。参数的初始化也同样重要，因此微调受到很多人的重视，那么tf提供了哪些初始化参数的方法呢，我们能不能自己进行初始化呢？ 所有的初始化方法都定义在tensorflow/python/ops/in ...
分类：
其他好文 时间：
2019-07-14 15:02:29
阅读次数：
86
快速定义一个神经网络 Sequential( (0): Linear(in_features=2, out_features=10, bias=True) (1): ReLU() (2): Linear(in_features=10, out_features=2, bias=True) ) ...
分类：
其他好文 时间：
2019-07-08 19:21:19
阅读次数：
85
打印散点图 定义时必须要继承torch.nn.Module 继承两次 然后定义每层的结点数 然后进行向前传播的过程 Net( (hidden): Linear(in_features=1, out_features=10, bias=True) (predict): Linear(in_featur ...
分类：
其他好文 时间：
2019-07-07 12:21:57
阅读次数：
77
一.写在前面 本节所讲的内容主要是讨论如何进一步提高通过机器学习获得fbest的准确度使其更进一步接近ftrue，为了解决这个问题我们必须先明确我们学习得到的fbest的误差来自于哪里。这里先提一下误差的主要两个来源分别是bias和variance,即偏差和方差，换句话说当你想进一步提高你模型的精确 ...
分类：
其他好文 时间：
2019-06-30 14:13:12
阅读次数：
101
介绍ShadowMap的变种Variance Shadow Map的实现方法 ...
分类：
其他好文 时间：
2019-06-07 23:19:09
阅读次数：
267
