一、背景与挖掘目标 相关背景自查 二、分析方法与过程 1、EDA(探索性数据分析) 1.分布分析 2.周期性分析 2、数据预处理 1.数据清洗 过滤非居民用电数据,过滤节假日用电数据(节假日用电量明显低于工作日) 2.缺失值处理 3.数据变换 以线损指标为例,可自定义为 通过这种方式,将上面各种复杂 ...
分类:
编程语言 时间:
2019-03-01 12:54:38
阅读次数:
389
在Fashion MNIST数据集上使用tf.keras完成对服饰图像分类的神经网络模型。 1,导入数据集 数据大小:70000张 灰度图像, 10个类别 28*28的像素 ==> 60000张图像 用于训练, 10000张 用来评估 2,探索数据 3,预处理数据 灰度值 0-255 缩小到 0-1 ...
分类:
其他好文 时间:
2019-02-23 20:43:56
阅读次数:
267
一、 图像语义分割模型DeepLab v3 随着计算机视觉的发展,语义分割成为了很多应用场景必不可少的一环。 比如网络直播有着实时剔除背景的要求,自动驾驶需要通过语义分割识别路面,与日俱增的应用场景对语义分割的精度和速度的要求不断提高。同时,语义分割数据集也在不断地进化,早期的Pascal VOC2 ...
分类:
其他好文 时间:
2019-02-13 20:57:11
阅读次数:
202
数据源:融360 用户贷款风险预测 参考资料: "https://www.jianshu.com/p/aba5685c580a" 流程如下: 项目目标 数据解读 数据预处理 特征工程 1.基于业务理解筛选 2.基于机器学习筛选 模型建立 一、项目目标 通过举办方提供的用户基本信息,消费行为,还款情况 ...
分类:
编程语言 时间:
2019-02-13 20:52:20
阅读次数:
246
解锁普惠AI开发,华为云ModelArts一站式AI开发平台一、ModelArts服务简介:ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。二、ModelArts功能介绍?数据治理支持数据筛选、标注等数据处理,提供数据集版本管理,特别是深度学习的大数
分类:
其他好文 时间:
2019-02-01 11:23:51
阅读次数:
218
传统的机器学习任务从开始到建模的一般流程是:获取数据 -> 数据预处理 -> 训练建模 -> 模型评估 -> 预测,分类。本文我们将依据传统机器学习的流程,看看在每一步流程中都有哪些常用的函数以及它们的用法是怎么样的。希望你看完这篇文章可以最为快速的开始你的学习任务。 1. 获取数据 1.1 导入s ...
分类:
编程语言 时间:
2019-01-27 10:44:33
阅读次数:
223
数据预处理有四种技术:数据合并,数据清洗,数据标准化,以及数据转换。 数据合并技术:(1)横向或纵向堆叠合数据 (2)主键合并数据 (3)重叠合并数据 1.堆叠合并数据: 堆叠就是简单的把两个表拼接在一起,也被称作轴向连接,绑定,或连接。依照连接轴的方向,数据堆叠可分为横向堆叠和纵向堆叠。 (1)横 ...
分类:
其他好文 时间:
2019-01-26 22:05:48
阅读次数:
198
函数说明: 1. PolynomialFeatures(degree=2, interaction_only=False, include_bias=False) 参数说明:degree=2,表示多项式的变化维度为2,即^2, interaction_only表示是否只使用a*b, include_ ...
分类:
其他好文 时间:
2019-01-25 20:00:28
阅读次数:
413
1.LabelEncoder() # 用于构建数字编码 2 .map(dict_map) 根据dict_map字典进行数字编码的映射 3.OnehotEncoder() # 进行one-hot编码,输入的参数必须是二维的,因此需要做reshape,同时使用toarray() 转换为列表形式 3 pd ...
分类:
Web程序 时间:
2019-01-25 17:47:00
阅读次数:
1987