本文简单整理了以下内容： （一）线性判别函数与广义线性判别函数 （二）感知器 （三）松弛算法 （四）Ho-Kashyap算法 （一）线性判别函数与广义线性判别函数 一、线性判别函数 这篇总结继续关注分类问题。假设判别函数（Discriminant function）的参数形式已知，用训练的方法直接根 ...
分类：
编程语言 时间：
2017-04-21 23:17:25
阅读次数：
2696
一般来说，回归是不用于分类的，因为回归是连续的，受噪声影响较大。为了能够处理分类问题，引入了逻辑回归。 逻辑回归本质上来说还是线性回归，他只是在线性回归的基础上加了一个映射函数。 假设函数：$h_\theta\left(x\right) = g\left(\theta^T x \right) = \ ...
分类：
其他好文 时间：
2017-04-18 10:12:59
阅读次数：
156
机器学习二 逻辑回归作业 作业在这，http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/hw2.pdf 是区分spam的。 57维特征，2分类问题。采用逻辑回归方法。但是上述数据集在kaggle中没法下载，于是只能用替代的方法了，下 ...
分类：
其他好文 时间：
2017-04-18 10:06:56
阅读次数：
260
我们在设计机器学习系统时，特别希望能够建立类似人脑的一种机制。神经网络就是其中一种。但是考虑到实际情况，一般的神经网络（BP网络）不需要设计的那么复杂，不需要包含反馈和递归。人工智能的一大重要应用，是分类问题。本文通过分类的例子，来介绍神经网络。 1.最简单的线性分类 一个最简单的分类，是在平面上画 ...
分类：
编程语言 时间：
2017-04-18 00:52:49
阅读次数：
250
在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBC）。决策树模型通过构造树来解决分类问题。首先利用训练数据集来构造一棵决策树，一旦树建立起来，它就可为未知样本产生一个分类。在分 类问题 ...
分类：
编程语言 时间：
2017-04-17 10:01:42
阅读次数：
281
数据分析 1.探索性数据分析 数据分析中的必要步骤，通过作图了解数据。 2.统计推断 基于数据得出正式结论（错误概率≤5%）的过程 —不确定性（噪音数据） 结论+结论是错误的概率 3.回归分析 线性模型拟合数据（结果变量与预测变量之间的关系） —预测变量 —结果变量 预测 4.机器学习—分类问题（c ...
分类：
编程语言 时间：
2017-04-08 16:58:18
阅读次数：
162
1. 感知机学习模型 感知机是一个二分类的线性分类问题，求解是使误分类点到超平面距离总和的损失函数最小化问题。采用的是随机梯度下降法，首先任意选取一个超平面w0和b0，然后用梯度下降法不断地极小化目标损失函数，极小化过程中不是一次使所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。假 ...
分类：
其他好文 时间：
2017-04-07 23:42:03
阅读次数：
400
Xgboost是GB算法的高效实现，xgboost中的基学习器除了可以是CART（gbtree）也可以是线性分类器（gblinear）。 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问 ...
分类：
其他好文 时间：
2017-04-07 13:25:44
阅读次数：
389
Softmax回归：K分类问题， 2分类的logistic回归的推广。其概率表示为： 对于一般训练集： 系统参数为： Softmax回归与Logistic回归的关系 当Softmax回归用于2分类问题，那么可以得到： 令θ=θ0-θ1，就得到了logistic回归。所以... ...
分类：
其他好文 时间：
2017-04-05 23:57:07
阅读次数：
362
朴素贝叶斯公式 Hmm隐马尔科夫 动态规划: 线性回归: 逻辑回归(sigmoid):在线性组合的基础上加了个非线性的激活函数，用于解决二分类问题，softmax，用于解决多分类问题。 集成学习(连续模型):针对错误的模型进行训练，设置多个模型，每个模型都有不同的权重，逐层进行逻辑回归、或则其他逐层 ...
分类：
编程语言 时间：
2017-04-02 11:35:31
阅读次数：
165
