简介 GloVe是一种非常简单快速的训练词向量的算法。与复杂的word2vec相比，其是一个log双线性模型，仅通过一个简单的损失函数就能够得到很好的结果。 (1)J=∑i,jNf(Xi,j)(viTvj+bi+bj?log(Xi,j))2 其中，vi和vj是i和j的词向量，bi和bj是两个偏差项， ...
分类：
其他好文 时间：
2018-04-07 13:55:56
阅读次数：
734
整理自Andrew Ng 的 machine learnig 课程 week1 目录： 什么是机器学习 监督学习 非监督学习 一元线性回归 模型表示 损失函数 梯度下降算法 模型表示 损失函数 梯度下降算法 1、什么是机器学习 Arthur Samuel不是一个playing checker的高手， ...
分类：
系统相关 时间：
2018-04-06 15:20:00
阅读次数：
224
梯度下降是迭代法的一种，可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函... ...
分类：
其他好文 时间：
2018-04-03 23:53:43
阅读次数：
240
一、疑问 二、知识点 1. 损失函数可视化 ? 损失函数一般都是定义在高维度的空间中，这样要将其可视化就很困难。然而办法还是有的，在1个维度或者2个维度的方向上对高维空间进行切片，例如，随机生成一个权重矩阵 ，该矩阵就与高维空间中的一个点对应。然后沿着某个维度方向前进的同时记录损失函数值的变化。换句 ...
分类：
其他好文 时间：
2018-04-03 12:51:40
阅读次数：
248
一、疑问 1. assignments1 linear_svm.py文件的函数 svm_loss_naive中，使用循环的方式实现梯度计算 linear_svm.py文件的函数 svm_loss_vectorized中，梯度的向量化实现 SVM的损失函数在某个数据点上的计算： 对函数进行微分，比如对 ...
分类：
其他好文 时间：
2018-04-03 12:51:31
阅读次数：
117
常用于大规模稀疏机器学习问题上 1.优点： 高效 简单 2.可以选择损失函数 loss=”hinge”: (soft-margin)线性SVM. loss=”modified_huber”: 带平滑的hinge loss. loss=”log”: logistic回归 3.通过penalty参数，可 ...
分类：
其他好文 时间：
2018-03-29 22:38:29
阅读次数：
920
一、决策树 1、决策树是一种基本的分类与回归方法，本文主要讨轮用于分类的决策树，决策树模型呈现树形结构，在分类问题中，表示基于特征对实例进行分类的过程， 学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型 预测时，对新的数据，利用决策树模型进行分类， 决策树学习通常分为3个步骤：特征选择、 ...
分类：
其他好文 时间：
2018-03-27 12:30:41
阅读次数：
143
内容:线性回归；逻辑回归，应用场景。 一、线性回归 有监督学习，根据学习样本{x->y},学习一个映射f：X->Y(线性相关),输出预测结果y_i。最简单的例子：y=ax+b 重要组成：训练数据集 training set, 学习算法 learning algorithm, 损失函数 loss fu ...
分类：
其他好文 时间：
2018-03-25 14:27:24
阅读次数：
235
整理自Andrew Ng的machine learning课程。 目录： 梯度下降算法 梯度下降算法的直观展示 线性回归中的梯度下降 前提： 线性回归模型 ：$h(\theta_0,\theta_1)=\theta_0+\theta_1x$ 损失函数：$J(\theta_0,\theta_1)=\f ...
分类：
其他好文 时间：
2018-03-24 21:31:26
阅读次数：
161
正则化 定义： 正则化就是在计算损失函数时，在损失函数后添加权重相关的正则项。 作用： 减少过拟合现象 正则化有多种，有L1范式，L2范式等。一种常用的正则化公式 $$J_{regularized} = \small \underbrace{ \frac{1}{m} \sum\limits_{i = ...
分类：
其他好文 时间：
2018-03-24 17:27:50
阅读次数：
210
