一、连续变量与连续变量的相关分析 > 用相关分析 相关分析是指连续变量之间的一种非严格的相依赖的变化关系，具体表现为：当一个变量发生时，另一个变量随之发生相应线性变动的关系，我们一般可以用相关系数 r 大小来衡量两个连续变量的相关性强弱（注意：不是衡量因果关系），例如衡量客户入网时长和每月话费的相关 ...
分类：
其他好文 时间：
2019-04-13 21:45:43
阅读次数：
176
朴素贝叶斯的“朴素”，并不是简单的意思，而是指样本的特征之间是相互独立的。在所有的机器学习分类算法中， 朴素贝叶斯和其他绝大部分分类算法都不同，其他分类算法基本都是判别方法，即直接学习出特征输出Y和特征向 量X之间的关系，要么是决策函数Y=f(X)，要么是条件分布P(Y|X)，但是朴素贝叶斯却是生成 ...
分类：
其他好文 时间：
2019-04-10 13:49:34
阅读次数：
135
3.1 数据预处理 数据质量的三个要素：准确性、完整性和一致性。 3.1.2 数据预处理的主要任务 数据清理：填写缺失的值，光滑噪声数据，识别或删除离群点，并解决不一致性来”清理“数据。 数据集成：相关性分析，卡方，协方差，相关系数 数据归约:大->小，维归约，数据压小 数据变换和数据离散化:规范化 ...
分类：
其他好文 时间：
2019-04-06 22:47:56
阅读次数：
253
相关分析就是对总体中确实具有联系的标志进行分析，其主体是对总体中具有因果关系标志的分析。它是描述客观事物相互间关系的密切程度并用适当的统计指标表示出来的过程。在一段时期内出生率随经济水平上升而上升，这说明两指标间是正相关关系；而在另一时期，随着经济水平进一步发展，出现出生率下降的现象，两指标间就是负 ...
分类：
其他好文 时间：
2019-04-03 10:57:06
阅读次数：
178
降维技术 对数据进行降维有如下一系列的原因： 在以下3种降维技术中， PCA的应用目前最为广泛，因此本章主要关注PCA。 主成分分析(Principal Component Analysis, PCA) 通俗理解：就是找出一个最主要的特征，然后进行分析。 在PCA中，数据集从原始坐标系转换为新的坐标 ...
分类：
其他好文 时间：
2019-04-01 11:49:08
阅读次数：
168
快速了解dataframe 提供的功能. 避免重复工作 版本 spark 2.2 相关性 cov corr 删除 dropDuplicates dropna 选择 select colRegex 正则 selectExpr 支持 sql 表达式 where exceptAll 在df1不在df2 f ...
使用自定义内核对图像进行卷积。该功能将任意线性滤波器应用于图像。支持就地操作。当光圈部分位于图像外部时，该功能会根据指定的边框模式插入异常像素值。 语法 函数原型： 参数： 改函数实际计算的是相关性，而不是卷积 $$\texttt{dst} (x,y) = \sum _{ \stackrel{0\l ...
分类：
编程语言 时间：
2019-03-26 13:27:06
阅读次数：
1334
模块独立性由两个定性标准度量 模块自身的内聚 模块之间的耦合 内聚性分类： 偶然性内聚（最不好的一种内聚）：模块内的各个任务在功能上没有实质性联系，纯属“偶然”因素组合了块内各个互不相关的任务。 一个处理正方形的模块有两个功能：计算面积，画出这个正方形。 改进：分成两个模块，计算面积和画出正方形 逻 ...
分类：
其他好文 时间：
2019-03-24 17:25:04
阅读次数：
190
一 、光流法基本原理与应用 1950年，Gibson首先提出了光流的概念，所谓光流就是指图像表现运动的速度。物体在运动的时候之所以能被人眼发现，就是因为当物体运动时，会在人的视网膜上形成一系列的连续变化的图像，这些变化信息在不同时间，不断的流过眼睛视网膜，就好像一种光流过一样，故称之为光流。 光流法 ...
分类：
其他好文 时间：
2019-03-14 18:39:01
阅读次数：
341
内容目录 1. 统计函数 2. 窗口函数 3. 加深加强 数据准备 1.统计函数 最常见的计算工具莫过于一些统计函数了。 这里我们首先构建一个包含了用户年龄与收入的 DataFrame。我们可以通过 cov 函数来求出年龄与收入之间的协方差，计算的时候会丢弃缺失值。除了协方差之外，我们还可以通过 c ...
分类：
其他好文 时间：
2019-03-11 23:38:30
阅读次数：
252
