有监督学习类似于学习数学，先做题 对答案，然后老师出卷子进行月考 无监督学习 挖掘数据 需要与环境交互 回归问题数学用语比较多，但是对大学高数部分熟悉的话，应该不是问题。 线性回归 损失函数（loss function，优化方向，评估方式）/代价函数/目标函数 找到最好的权重/参数 如何衡量最好？ ...
分类：
其他好文 时间：
2018-02-19 11:34:36
阅读次数：
141
Preface 查看损失函数的时候，突然想手工模拟梯度传递过程。 Script 损失函数是这个: $l(x)= ||x| |x 1||$。程序脚本: 先回顾一下梯度传递的理论基础:如果$y=f(z(x))$，其中$f,z$都可看作不同layer代表的映射，那么需要求得对$x$的梯度，易于推广的方法是 ...
分类：
其他好文 时间：
2018-02-17 13:09:55
阅读次数：
179
前面我们用Tensorboard显示了tensorflow的程序结构，本节主要用Tensorboard显示各个参数值的变化以及损失函数的值的变化。 这里的核心函数有： histogram 例如： 这里用tf.summary.histogram函数来显示二维数据在不同网络层的变化情况，其中第一个参数是 ...
分类：
其他好文 时间：
2018-02-13 10:33:03
阅读次数：
296
极大似然估计是概率论中一个很常用的估计方法，在机器学习中的逻辑回归中就是基于它计算的损失函数，因此还是很有必要复习一下它的相关概念的。 背景 先来看看几个小例子： 猎人师傅和徒弟一同去打猎，遇到一只兔子，师傅和徒弟同时放枪，兔子被击中一枪，那么是师傅打中的，还是徒弟打中的？ 一个袋子中总共有黑白两种 ...
分类：
其他好文 时间：
2018-02-05 20:07:23
阅读次数：
213
本文介绍了机器学习中基本的优化算法—梯度下降算法和随机梯度下降算法，以及实际应用到线性回归、Logistic回归、矩阵分解推荐算法等ML中。 梯度下降算法基本公式 常见的符号说明和损失函数 X :所有样本的特征向量组成的矩阵 x(i) 是第i个样本包含的所有特征组成的向量x(i)=（x(i)1,x( ...
分类：
编程语言 时间：
2018-01-31 14:39:56
阅读次数：
221
一、介绍 Logistic回归是广泛应用的机器学习算法，虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）。 面对一个回归或者分类问题，建立代价函数(损失函数)，使用最优化算法（梯度上升法、改进的随机梯度上升法），找到最佳拟合参数，将数据拟合到一 ...
分类：
其他好文 时间：
2018-01-27 11:25:47
阅读次数：
209
损失函数(Loss/Error Function): 计算单个训练集的误差 代价函数(Cost Function): 计算整个训练集所有损失之和的平均值 至于目标函数(Objective function)，字面一些，就是有某个（最优化）目标的函数，比如最优化这个目的。没有找到定义，个人理解，目标函 ...
分类：
其他好文 时间：
2018-01-20 21:22:52
阅读次数：
418
一、目标定位 这一小节视频主要介绍了我们在实现目标定位时标签该如何定义。 上图左下角给出了损失函数的计算公式(这里使用的是平方差) 如图示，加入我们需要定位出图像中是否有pedestrian，car，motorcycles。注意在这里我们假设图像中只肯呢个存在这三者中的一种或者都不存在，所以共有四种 ...
分类：
其他好文 时间：
2018-01-17 20:59:35
阅读次数：
185
TensorFlow四种Cross Entropy算法实现和应用 对比两个函数tf.nn.softmax_cross_entropy_with_logits和tf.nn.sparse_softmax_cross_entropy_with_logits 从神经网络视角看均方误差与交叉熵作为损失函数时的 ...
分类：
其他好文 时间：
2018-01-12 11:29:00
阅读次数：
177
一、确定目标 业务需求 数据 特征工程 （占70%，主要包括数据的清洗，提取，转换） 二、训练模型 定义模型 定义损失函数 （偏差的大小） 优化算法 三、模型评估 交叉验证 效果评估 ...
分类：
其他好文 时间：
2018-01-06 11:54:20
阅读次数：
110
