一、关于spark ml pipeline与机器学习 一个典型的机器学习构建包含若干个过程 1、源数据ETL 2、数据预处理 3、特征选取 4、模型训练与验证 以上四个步骤可以抽象为一个包括多个步骤的流水线式工作，从数据收集开始至输出我们需要的最终结果。因此，对以上多个步骤、进行抽象建模，简化为流水 ...
分类：
其他好文 时间：
2017-04-17 09:34:50
阅读次数：
321
最近做目标跟踪时，需要度量两个模板的相似性，来寻找目标，当跟踪的目标的特征选取后，相似性度量函数，就是影响跟踪效果的关键因素了，对比了几种相似性度量函数，最终选取了一种方法 直方图欧氏距离的相似性度量方法。 理论公式为： matlab代码为： ...
分类：
其他好文 时间：
2017-03-19 11:43:40
阅读次数：
146
目前大多数中文文本分类系统都采用词作为特征项，作为特征项的词称作特征词。这些特征词作为文档的中间表示形式，用来实现文档与文档、文档与用户目标之间的相似度计算 。 1 基于频率的过滤方法 基于频率的过滤方法中，一条留言中一个词语出现一次以上都是按照一次计算。本文采用了长匹配优先的方式对其进行匹配。如果 ...
分类：
其他好文 时间：
2017-03-17 23:15:39
阅读次数：
245
1、为什么要做特征选择
在有限的样本数目下，用大量的特征来设计分类器计算开销太大而且分类性能差。
2、特征选择的确切含义
将高维空间的样本通过映射或者是变换的方式转换到低维空间，达到降维的目的，然后通过特征选取删选掉冗余和不相关的特征来进一步降维。
3、特征选取的原则
获取尽可能小的特征子集，不显著降低分类精度、不影响类分布以及特征子集应具有稳定适应性强等特点
4、特征选择需要考虑的问...
分类：
其他好文 时间：
2016-04-22 19:38:34
阅读次数：
197
关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释，防止自己忘记的同时，望对其他人有个借鉴的作用，如...
分类：
其他好文 时间：
2015-06-16 22:51:30
阅读次数：
159
特征选取是机器学习领域非常重要的一个方向。主要有两个功能：（1）减少特征数量、降维，使模型泛化能力更强，减少过拟合（2）增强度特征和特征值之间的理解几种常用的特征选取方法一、去掉取值变化小的特征考察某个特征下，样本的方差值，可以人为给定一个阈值，抛开那些小于这个阈值的特征。二、单变量特征选择单变量特...
分类：
编程语言 时间：
2015-06-11 18:49:59
阅读次数：
256
一.文本预处理
定义：将文本转化为计算机可处理的形式，将文章分成单个的词语，形成向量形式。
二.降维(特征选取)三.分类器的构建...
分类：
其他好文 时间：
2015-05-03 12:00:38
阅读次数：
90
来源: http://biostar.blog.sohu.com/61246458.html训练：训练集——>特征选取——>训练——>分类器分类：新样本——>特征选取——>分类——>判决最初的数据挖掘分类应用大多都是在这些方法及基于内存基础上所构造的算法。目前数据挖掘方法都要求具有基于外存以处理大规...
分类：
其他好文 时间：
2015-04-12 16:07:54
阅读次数：
588
原帖：http://blog.sina.com.cn/s/blog_4d3a41f40101akfd.html 1 介绍 在计算机视觉、模式识别、数据挖掘很多应用问题中，我们经常会遇到很高维度的数据，高维度的数据会造成很多问题，例如导致算法运行性能以及准确性的降低。特征选取（Feature Sele...
分类：
其他好文 时间：
2014-12-19 11:58:19
阅读次数：
290
最近学习特征工程（Feature Enginnering）的相关技术，主要包含两块：特征选取（Feature Selection）和特征抓取（Feature Extraction）。这里记录一些要点，作为备忘。特征选取R中的FSelector包实现了一些特征选取的算法，主要分两大类：Algorith...
分类：
其他好文 时间：
2014-11-18 23:32:39
阅读次数：
317
