按照我们对于变量的分类:分为数值变量和分类变量,数值变量可以分为连续型和离散型,分类变量又有有序的和无序的。下面我将介绍一些对于这些变量进行离散化处理。 无序分类变量的离散化方法: 比如在泰坦尼克号当中,有一个变量叫做乘客登陆的港口,取值为(C, Q, S)代表三个地方。这是一个典型的无序分类变量, ...
分类:
其他好文 时间:
2018-03-15 22:14:14
阅读次数:
292
网约车公司在运营过程中经常会遇到一个问题,就是如果司机不接单,却把车开出去接乘客,相当于开黑车。那么系统如何发现这种行为,其中就需要人体姿态估计。相对于传统方法,只识别人体来数人数有一个问题,就是如果乘客之间发生遮挡,或者后排乘客没有露出面部,就会找不到乘客。使用人体姿态估计的方法就可以在上述情况下也能清楚判断车内人数,并且为车内行为识别提供很好的数据预处理。该方法对于接入公司平台的出租车公司有很
分类:
其他好文 时间:
2018-03-14 11:22:31
阅读次数:
195
1 std mean std标准偏差。 对于向量,Y = std(X)返回标准偏差。对于矩阵, Y是包含每列的标准偏差的行向量。对于 N-D数组,std沿着X的第一个非单实例维度运行。 std通过(N-1)归一化Y,其中N是样本大小。这是 sqrt的人口方差的无偏估计 只要X由独立的,相同的X构成 ...
分类:
其他好文 时间:
2018-03-12 17:01:15
阅读次数:
670
本期问题的解答结合了具体的Hulu业务案例,可以说是很有趣又好懂了。快快学起来吧! 今天的内容是 【分类、排序、回归模型的评估】 场景描述 在模型评估过程中,分类问题、排序问题、回归问题往往需要使用不同的评估指标进行评估。但在诸多的评估指标中,大部分指标只能片面的反映模型一部分的能力,如果不能合理的 ...
分类:
编程语言 时间:
2018-02-27 23:24:32
阅读次数:
474
数据层 数据层是模型最底层,提供提供数据输入和数据从Blobs转换成别的格式进行保存输出,通常数据预处理(减去均值,放大缩小,裁剪和镜像等)也在这一层设置参数实现. 参数设置: name: 名称 type: 类型 Data: 从LMDB读取数据和标签, 转换(http://deepdish.io/2 ...
分类:
其他好文 时间:
2018-02-26 19:40:06
阅读次数:
621
文本数据预处理,包括文档切分、文本分词、去停用词(包括标点、数字、单字和其它一些无意义的词)、文本特征提取、词频统计、文本向量化等操作。 1.文档切分 文档切分这个操作是可选的,取决于你获取到的文档集合的形式。如果你得到的文档集合本身就是一篇一篇文章分开的,那么这一步就可以省略了。反之,如果文档集合 ...
分类:
其他好文 时间:
2018-02-23 18:53:26
阅读次数:
1079
数据预测的步骤:1. 数据预处理; 2. 数据预测
分类:
其他好文 时间:
2018-02-23 17:10:46
阅读次数:
102
仍旧不完全统计,边学边加 理论: Normalization Regularization 数据预处理 Normalization归一化 针对数据;Regularization正则化 针对代价函数 对internal covariate shift的解释 caffe: 模型描述中的各参数含义 sol ...
分类:
其他好文 时间:
2018-02-02 17:08:19
阅读次数:
139
数据预处理——构建好的训练数据集机器学习算法最终学习结果的优劣取决于两个主要因素:数据的质量和数据中蕴含的有用信息的数量。缺失数据的处理在实际应用过程中,样本由于各种原因缺少一个或多个值得情况并不少见。其原因主要有:数据采集过程中出现了错误,常用得度量方法不适用于某些特征,或者在调查过程中某些数据未... ...
分类:
编程语言 时间:
2018-01-26 22:45:50
阅读次数:
269