k NN是一种基本分类回归方法。k近邻法输出为实例类别，可以取多类 k NN假定给定一个训练集，其中的实例类别已定。分类时，对于新实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式预测。因此，k NN不具有显式的学习过程 $k$的选择、距离度量及分类决策规则(如多数表决)是k NN的三个基本 ...
分类：
其他好文 时间：
2019-11-24 15:59:39
阅读次数：
53
输入空间为欧式空间或离散空间、特征空间为希尔伯特空间，支持向量机的学习是在特征空间进行的。 线性可分支持向量机与硬间隔最大化 线性可分支持向量机定义 给定线性可分训练集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为 $$w^ \cdot x + b^ = 0$$ 以及相应的分 ...
分类：
其他好文 时间：
2019-11-24 15:28:32
阅读次数：
54
基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入，利用贝叶斯定理求出后验概率最大的输出$y$。 朴素贝叶斯法通过训练数据集学习联合概率分布$P(X,Y)$。具体地，学习以下先验概率分布及条件概率分布。先 ...
分类：
其他好文 时间：
2019-11-24 15:20:43
阅读次数：
67
[toc] 质量评估大佬AC Bovik的作品，1200+引用。 目标问题 ：提出一些普适的、与主观质量接近的客观评估指标。普适意味着：无失真先验。 背景 ：现有的普适NR IQA方法需要训练集（图像包含预期的失真，且需要人类评分数据）。这种方法泛化能力差，且要求高。 解决思路 ：从自然图像中获取一 ...
分类：
其他好文 时间：
2019-11-24 00:03:57
阅读次数：
161
一、正则化与偏差-方差分解 Regularization：减少方差的策略 误差可分解为：偏差，方差与噪声之和，即误差 = 偏差 + 方差 + 噪声之和 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画 ...
分类：
其他好文 时间：
2019-11-21 23:19:49
阅读次数：
224
模型评价 第二章：模型评价与损失函数 要点一： 逻辑回归模型对样本的预测取决于权值向量和偏置。 概念： 序号概念解释 1 训练集 包含真实类别标签的样本集 2 训练 根据训练集寻找最优参数的过程 3 损失函数 是模型参数的函数，用于衡量模型参数的优劣 逻辑回归预测样本x = （x1 ,x2, x3, ...
分类：
其他好文 时间：
2019-11-18 18:50:13
阅读次数：
90
模型评估与选择 经验误差与过拟合 （1）错误率：分类错误的样本数占样本总数的比例 精度：1$ $错误率 （2）误差：学习器的实际输出与样本真实值之间的差异 误差有训练误差和泛化误差两种。训练误差指的是学习器在训练集上的误差，也称为经验误差；泛化误差指的是在新样本上的误差。 (但是，对于训练样本，其分 ...
分类：
其他好文 时间：
2019-11-17 00:59:46
阅读次数：
100
KNN算法分析iris种类 数据集iris_dataset.txt, 首先加载数据 查看种类有哪些 将iris种类，类别型数据转为数值型 构建训练集，测试集数据，数据量比值 4:1 自实现knn算法预测iris种类准确率 结果可视化 knn算法特点， k值不同，预测结果不同。 ...
分类：
编程语言 时间：
2019-11-16 12:53:48
阅读次数：
67
交叉验证 将拿到的训练数据，分为训练集和验证机。以下图为例：将训练数据分为4份，其中一份作为验证集，。然后经过5次的测试，每次都更换不同的验证机， 最后得到5组模型的结果。最后取平均值作为最后的结果。这也称为4折交叉验证。 网格搜索（超参数搜索）: 通常情况下，有很多参数是需要手动指定的（如K-近邻 ...
分类：
其他好文 时间：
2019-11-16 12:30:06
阅读次数：
55
1.1训练，验证，测试集（Train/Dev/Test sets） （1）深度学习是一个按照下图进行循环的快速迭代的过程，往往需要多次才能为应用程序找到一个称心的神经网络。 （2）在机器学习中，通常将样本分成训练集，验证集和测试集三部分，数据规模相对较小，适合传统的划分比例（如6:2:2），数据集规 ...
分类：
其他好文 时间：
2019-11-15 20:48:32
阅读次数：
86
