特征工程的整体思路： 1. 对于特征的理解、评估 2. 特征处理： 2.1 特征处理 2.1.1 特征清洗 清洗异常、采样 2.1.2 预处理 单特征情况：归一化、离散化、哑变量编码、缺失值填充等。数据变换例如log服从正态分布。 多特征情况： 降维：PCA、LDA（这个不太了解、待学习） 特征选择 ...
分类：
其他好文 时间：
2018-07-03 16:57:21
阅读次数：
187
理论讲的再多不会做也白弄 直接上手 一.针对接近正态分布的（均值，方差，标准差，极差，变异系数，偏度，峰度） 这里我必须提前说明一点就是，你在写好函数后，函数的名是dts,你保存的文件名也必须是dts.m才行，这样调用dts()函数的时候才不会出现错。 二.针对 有极端值（中位数，上下四分位数，四分 ...
分类：
其他好文 时间：
2018-06-20 18:34:49
阅读次数：
235
必要性的证明 充分性的证明 参考 参考1：《概率论与数理统计教材》（茆诗松，第二版） 参考2：[公式推导]用最简洁的方法证明多元正态分布的条件分布 参考3：《线性统计模型-线性回归与方差分析》（王松桂） 参考3：百度文库--《随机过程-正态马尔科夫过程》。 后续更新： 在定理1的基础上证明的定理2： ...
分类：
其他好文 时间：
2018-06-04 23:27:39
阅读次数：
274
线性滤波与卷积的基本概念 线性滤波可以说是图像处理最基本的方法，它可以允许我们对图像进行处理，产生很多不同的效果。做法很简单。首先，我们有一个二维的滤波器矩阵（有个高大上的名字叫卷积核）和一个要处理的二维图像。然后，对于图像的每一个像素点，计算它的邻域像素和滤波器矩阵的对应元素的乘积，然后加起来，作 ...
分类：
其他好文 时间：
2018-06-03 21:26:44
阅读次数：
6864
通用的特殊矩阵 zeros函数，产生全0矩阵 ones函数，产生全1矩阵 eye函数，产生对角线为1的矩阵，当矩阵为方阵时，得到一个单位矩阵 rand函数，产生（0，1）区间均匀分布的随机矩阵 randn函数，产生均值为0，方差为1的标准正态分布随机矩阵 以zeros函数为例，说明函数调用格式 ze ...
分类：
其他好文 时间：
2018-06-01 21:10:42
阅读次数：
164
上面是一个简单的回归算法，下面是一个简单的二分值分类算法。从两个正态分布(N(-1,1)和N(3,1))生成100个数。所有从正态分布N(-1,1)生成的数据目标0；从正态分布N(3,1)生成的数据标为目标类1，模型算法通过sigmoid函数将这些生成的数据转换成目标类数据。换句话讲，模型算法是si ...
分类：
其他好文 时间：
2018-05-29 21:13:03
阅读次数：
187
1） 最大似然估计 MLE 给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参，即“模型已定，参数未知”。例如，我们知道这个分布是正态分布，但是不知道均值和方差；或者是二项分布，但是不知道均值。 最大似然估计（MLE，Maximum Likelihood Es ...
分类：
其他好文 时间：
2018-05-14 10:29:13
阅读次数：
158
其中 tf.random_normal是正太分布 除了这个 还有tf.truncated_normal:去掉过大偏离点（大于2个标准差）的正态分布 tf.random_uniform:平均分布 [2,3]是生成2x3的矩阵 stddev是标准差 mean是均值 seed是随机数种子 构造其余量的方法 ...
分类：
其他好文 时间：
2018-05-12 19:17:03
阅读次数：
241
线性回归时若数据不服从正态分布，会给线性回归的最小二乘估计系数的结果带来误差，所以需要对数据进行结构化转换。 常用数据转换方式为： P值比较 普通数据转化的局限性 对比Box-Cox变换公式和普通数据变换公式，发现Box-Cox只是在形式上又一定的改进。 确定λ的值 ...
分类：
其他好文 时间：
2018-05-05 11:15:45
阅读次数：
231
1）线性回归要求变量服从正态分布，logistic回归对变量分布没有要求。 2）线性回归要求因变量是连续性数值变量，而logistic回归要求因变量是分类型变量。 3）线性回归要求自变量和因变量呈线性关系，而logistic回归不要求自变量和因变量呈线性关系 4）logistic回归是分析因变量取某 ...
分类：
其他好文 时间：
2018-04-30 14:32:23
阅读次数：
184
